自動収集botの拒否

質問

プログラムに詳しい方のほうが対処法を知っているかなと思ったのでこちらのカテで失礼します。

私は現在ブログ(アダルト)をやっています。半年ほど続けてきてアクセスもある程度はいくようになってきました。
先日、検索エンジンで検索するとどれぐらいの位置に表示されるかなと思い検索してみたのですが、まったく違うサイトが出てきました。

よく見ると私の記事をそのままbotのようなプログラムで収集して、自動で投稿されているようです。
私のブログでは記事のタイトルと一緒にブログのタイトルも表示されるようにしているので、当然その記事には私のブログのタイトルもそのまま転載されています。
それで検索エンジンで私のブログタイトルを検索しても引っかかると。

私のブログの方で、この自動収集のbotを拒否するような設定はできないでしょうか？
ちなみに私のブログはFC2です。

ご存知の方いらっしゃいましたらご教示ください。
よろしくお願いします。

回答No.2

cheese014 · ベストアンサー

投稿主さんの環境を考慮した場合、最も現実的な方法としては「Googleに報告する」という手段になるかと思います。

パクりサイトの事を「スクレイピングサイト」と呼びますが、Googleは以前から「スクレイピングサイト」の撲滅に力を入れています。

■スクレイピングサイトの報告
https://docs.google.com/spreadsheet/viewform?formkey=dGM4TXhIOFd3c1hZR2NHUDN1NmllU0E6MQ&ndplr=1

■著作権侵害によるURLの削除依頼
https://www.google.com/webmasters/tools/dmca-notice?pli=1&hl=ja

■その他参考になれば…
https://www.google.co.jp/search?q=google+%E3%82%B3%E3%83%94%E3%83%BC%E3%82%B5%E3%82%A4%E3%83%88+%E5%A0%B1%E5%91%8A

以下は技術的な話です。

オーソドックスなものとしてはIPアドレスで弾く方法がありますが、実現するには…

・botのIPアドレスをアクセス解析やログ等で確認する事ができる
・ブログにIPアドレスで弾く機能がある

…事が前提になります。

botは、特有の「環境変数」を吐いていたり、普通の人では開いていない筈の「port」が開いていたり、JavaScriptやクッキーを処理できなかったり、<iframe>タグの処理が通常のブラウザと異なっていたり…といった何かしらの特徴がありますので、知識さえあれば大抵のbotは弾くことが可能です。

お礼

cheese014さん

回答ありがとうございました。
御礼が遅くなり申し訳ありません。

スクレイピングサイトと言うんですね。
個人サイトとかで.htaccessが使えればサイトのURLで弾けるかもしれないでですが、FC2ブログで弾くのは無理そうですね。
教えて頂いた方法を試してみます。

ありがとうございました。

回答No.1

Taiyonoshizuku

FC2ブログを使ったことが無いからわからないけど何か特定のIPアドレスをはじく設定とかあるのかな？

どっちにしても野良bot(語弊があるかもしれないけど)ははじくの難しいよ。
IPが固定ならそのIPを蹴ればいいんだけど、そのIPがそのbotと判別するのがまず難しい。

だってユーザーエージェンシーを普通のブラウザと同じにしておけば、ブラウザでのアクセスなのか、botのアクセスなのかわからない。