- 締切済み
スクレイピングでのアクセス回数や頻度について
月間PV20万(Similarweb調べ)ぐらいのヨーロッパのサイトに約3000回アクセスして、テキストを取得したいのですが、アクセス頻度は、どのぐらいにしておくべきなのでしょうか? この辺の知識はほどんどないのですが、無知でも相手には出来るだけ負荷をかけたくありません。 現在は1日50回を10秒おきにしているのですが、このままだと60日間もかかってしまうため、やはり、できるだけ早く終わらせたいと考えています。 何か、ご教授をお願いいたしますm(__)m
- みんなの回答 (1)
- 専門家の回答
みんなの回答
noname#212058
回答No.1
> アクセス頻度は、どのぐらいにしておくべきなのでしょうか? ブラウザで手で操作した場合のアクセス頻度と同じくらいであれば大丈夫かと。 10秒毎に1ページなら、そんなものではないでしょうか。 > 現在は1日50回を10秒おきにしているのですが この計算が良くわかりませんが、10秒おきに1アクセスなら、1日 8640 回アクセスできませんか?
お礼
遅れてすみません。ご回答ありがうございます。 > 現在は1日50回を10秒おきにしている これの意味は1日のアクセスを50回程度に抑えて、その1回1回を10秒間隔でアクセスしているという意味でした。 そうでしたら、10秒間隔を守れば、一日に300回ぐらいはアクセスしても、問題はなさそうでしょうか? 特に私のIPからのアクセスブロックなどの処置をされるのが困るため、この点を防ぎたいと考えています。