cronを使った最適な処理[PHP]

質問

現在、cronを使用して以下の処理を実現したいと思っておりますが、
どのようなやり方が最適なのか困っております。

■やりたいこと

http://goodkeyword.net/

こちらのサイトに検索ワードを指定して、アクセスし
その検索結果の一部のテキストを抽出してmysqlに保存。

また、指定する検索ワードは既にmysqlに入っており、50000語くらいあります。
アクセスする際にはデータベースから検索ワードを引っ張てきて以下のようにアクセスします。

$url = 'http://goodkeyword.net/search.php?formquery=' .$hoge['keyword']. '';
file_get_html($url);

上記処理をもし、ループ処理するとしたら問題なくできますが、
如何せん、約50000回のループ処理はこちらのサイトにも迷惑になるので
好ましくないのかなと思っております。

どのようしたらよいのか正直困惑しておりますので、
解決策をご教授いただけますと幸いです。（cronを使った解決策でお願い申し上げます。）

回答No.1

agunuz · ベストアンサー

>指定する検索ワードは既にmysqlに入っており

・テーブル定義に「前回検索日時」の列を追加する
・検索して処理が終わったら、前回検索日時を更新する

として、

・前回更新日時が古いデータから（ORDER BY で指定）最大 N 件を処理して終了する（LIMIT で指定）

ことになるかと。

N 件がどのくらいが最適かは、更新したい頻度とサーバ負荷を勘案して決めることになります。cronでの起動間隔とも絡みますよね。

お礼

ご回答ありがとうございます。

上記、検索日時追加で問題なく実装できました。

また、limit 30で更新頻度を１時間毎にしようとおもっているのですが、
これくらいでしたら問題なさそうでしょうか？

ご回答いただきました後に、No.1をベストアンサーとさせていただきます。

以上、宜しくお願いします。

回答No.2

agunuz

>また、limit 30で更新頻度を１時間毎

件数としてはじゅうぶん許容範囲だとは思いますが、50000件だと2ヶ月以上かかります。その更新頻度でいいのかどうかの判断は私には出来ません。

cronでの実装前にphpスクリプトとして何件の処理でどのくらいの実行時間になるか試すことをお勧めします（開始と終了の時刻差を表示させればいいですよね）。30件でどのくらい、100件でどのくらいといった数値がないと（質問者さんが判断するのに）判断材料がないと思います。

お礼

そうですよね。
諸々ためさせていただきます。

お約束通り、No1をベストアンサーとさせていただきます。