検索エンジンへのアクセスについて

質問

各種検索エンジン(google,yahoo,bing)へのプログラムからのアクセスについて
わかる方いましたらご教授頂きたいのですが。
サイトのインデックス数を取得する為、プログラムから検索エンジンへアクセスしインデックス数を取得しております。「約○○○○件」の文字列から取得

１、検索エンジンへアクセスしHTMLを取得する行為は違法でしょうか？他にインデックス数の取得を行う方法ありますでしょうか？

２、１を行う際、連続で数回アクセスする可能性があります、検索エンジンごとにアクセス数の制限などあるのでしょうか？

３、連続でアクセスする際に負荷をかけないよう間隔はあけていますがどのくらいあければ許容範囲でしょうか？

回答No.1

pringlez

その手の話では有名な事件があります。

岡崎市立中央図書館事件 - Wikipedia
http://ja.wikipedia.org/wiki/%E5%B2%A1%E5%B4%8E%E5%B8%82%E7%AB%8B%E4%B8%AD%E5%A4%AE%E5%9B%B3%E6%9B%B8%E9%A4%A8%E4%BA%8B%E4%BB%B6

1秒に1回程度のアクセスを行っただけで、偽計業務妨害容疑で逮捕されました。
日本はそういう国です。大昔の話ではなく2010年の話です。

ちなみに検察はこういっているそうです。
---------------------------
コンピュータに詳しい技術者なので、リクエストを大量に送りつけたら、図書館のサーバに影響が出ることを予想できた。事実、まったく予想しなかった訳ではなく、少しは影響が出ることを予想していたはずだ。それなのに、リクエストを大量に送りつけたので、「故意があった」ものと判断した。
---------------------------

Librahack ： 容疑者から見た岡崎図書館事件
http://librahack.jp/

1秒に1回程度のアクセスを行っただけで「大量のリクエスト」に相当し「サーバに影響が出ることを予想できる」ということですよ。本来は三菱電機インフォメーションシステムズのバグのせいと考えるのが常識的だと思いますが、日本の検察はそうは考えずに逮捕するのが妥当だと思っているようです。

もう一度端的に書きますと
日本の検察は1秒に1回のアクセスする者は逮捕するのが妥当と考えているのです。

それを踏まえて質問にお答えしますと

1：「検索」という本来の目的以外の行為を行うのであれば、違法と判断される可能性は十分にあります。特に日本なら。

2：「何回までなら本来の目的外のアクセスを許す」などというルールなど設けているところはまずないと思います。「本来の目的外のアクセスはしないでください」というのが普通でしょうね

3：少なくとも1秒に1回は「大量アクセス」と認定され逮捕された前例があります。なので数秒に1回という間隔はやめたほうがいいかもしれません。5分に1回程度なら問題視される可能性は極めて低下すると思います。

お礼

ご回答ありがとうございます！
検索エンジンから欲しい情報を調べるという意味では、インデックス数を調べるのは目的とずれていないのかなと思っていましたが、やはり本来の目的とは異なりますか？

どちらかというとアクセスを大量に行なう可能性がある事が問題なのかと思います、分単位間隔でアクセスとなると実行時間が長くなる為避けたい所ですが仕方ないですね。

http://tools.beans.jp
一般的はSEOツールなどはどのようにインデックス数を取得してるんでしょうかね？