※ ChatGPTを利用し、要約された質問です(原文:自作webクローラーの実行サーバ)
自作webクローラーの実行サーバ
このQ&Aのポイント
phpで自作のクローラーを作成し、とあるサイトの詳細ページの情報のみを取得する。どのようなサーバが適しているか?
サイトの規模はGoogle総インデックス数で300,000件程、詳細ページ数は60,000件程。共有サーバではバッチ処理がkillされる可能性があるため、専用サーバが望ましい。
コストを抑えたサーバの選定方法について、知識のある方からのアドバイスを求めている。
phpで自作でクローラーを作成しました。
とあるサイトのすべてのページを徘徊し、詳細ページの情報のみ取得してくるといったものです。
ちなみにphpのhtmlsqlを拡張して作成しております。
phpスクリプトでの実行時の想定最大使用メモリ数は512Mほどあれば足りるといった感じです。
■サイト規模
google総インデックス数:300,000件程
詳細ページ数:60,000件程
そこで質問なのですが、このような重い処理を実行する場合に搭載するサーバはどのようなものがいいのでしょうか?
おそらく共有サーバですと、サーバ管理会社側にバッチ処理をkillされてしまうかとおもうので、
専用サーバなどになってしまうかと思ってします。
できるだけコストが安いサーバを希望しています。
どなたか知識のある方いらっしゃいましたらご教授いただけませんでしょうか。
どうぞ宜しくお願い致します。
お礼
ご回答ありがとうございます。 安かったのでさくらのVPSでやることにしました!