dos攻撃の基準について

質問

スクレイピングの練習で、ブログサイトなどから
記事ごとのコメントを取得するプログラムを作っています。
サムネイルに５０の記事があるサイトですと、１度に５０回アクセスすることになります。
作りながらプログラムを走らせて、修正をしてを繰り返していてふと気づいたのですが、
５０回ほどプログラムを起動したので、数時間で２０００回くらいアクセスしたことになります。
これって、DOS攻撃と間違えられてしまうのでしょうか。
この量のアクセスはDOS攻撃の範疇に入るのでしょうか。

ご教授いただけると幸いです。

回答No.2

akauntook · ベストアンサー

基準についてはサイト管理者によります。

スクレイピング自体をあまりよく思わない管理者もいると思うので、そうすると練習しているうちに意図せずDos攻撃したと判断されて、アクセス制限されるかもしれません。

私なら気がついたら制限しちゃいますねw

ですので、同じ事をするなら以下のような手順を踏みます。

1.wgetでテストに使うサイトのページをダウンロード

2.自前で用意したテストサーバー（仮想でもなんでも）に1のページを設置する

3.テストサーバーをスクレイピングする。

1で一気にサイト丸ごとダウンロードしたりするのでなければ、嫌がられることはないかと。
1ページだけ1回だけなら、ユーザーがページに1回アクセスするのと何ら変わらない。

私が気をつけるところとしては、各ページをスクレイピングするために取得する際に、スクリプト側で強制的に10秒スリープ処理を入れるようにしています。

回答No.1

bardfish

それを判断するのはサーバー運営側になると思いますが、数時間で2千回だったら目くじら立てるほどでもないと思います。
数秒で2千回なら流石にヤバイと思いますけど・・・

可能であれば、テスト環境をローカルで構築して、デバッグはテスト環境で行うほうが望ましいですね。