PHPでHTMLパーサをつくりたい（といっても簡略なもの）

質問

お世話様です。php4をつかっているのですが（DBはあるけど、やっつけしごとなので、使っていない）、
外部のサーバにアクセスし、

数万のURLに対して、
HTMLを解析し、
そのなかのぱんくず・・・
「<a href="ほげ">トップ</a> > <a href="ほげ">pc</a> > <a href="ほげ">ノートパソコン</a> > <B>れぼの　Thinkpad , XXXX</B>」（すべて1行です）

これを、「トップ,pc,ノートパソコン,"Thinkpad , XXXX"」
というようなCSVファイルに変換して、
数万行のURLのCSVに格納したいのですが、どうすれば得策でしょうか？

特に、ぱんくずの解析で悩んでいます。

どのようにすればいいでしょうか？

--
あと、
wgetで数万のURLを一括DLして、それから解析したほうが無難かなとおもったのですが、
このへんはどうなのでしょうか？

DLせずに、phpのfoepnで数万のURLにアクセスして解析して結果のcsvだけはきだすほうが、
効率・速さなどの点でふさわしいでしょうか？

--
P.S.
なお、一括DLをしても、IPではじかれることはないことは、保証済みです。
（契約上・・なのかな？とにかくそうらしいです）

以上、お助けいただければ幸いです。よろしくお願いします。

回答No.1

racchoman · ベストアンサー

やっつけ仕事といえば正規表現です。

ぱんくずの形式が固定で、ぱんくず階層が一定数以下（たとえば10階層以下）とかだったら、ゴリゴリ正規表現を書くだけだと思います。どの辺で悩んでいるんでしょうか？

wgetを使うかどうかは、どちらでもよいと思いますが、本当に単純にGETしてくるだけだったら、あえてwgetを使う理由は見当たりません。

速度的にはwgetの方が少々遅いんではないかと思います。データを一度ファイルに落とすことになりますし、PHPからwgetを起動するオーバーヘッドもあります。また、wgetはfopenなどよりも複雑なことをするプログラムですので、それも速度に影響するかもしれません。

なので、もし私がやるならば、wgetは使いません。ちゃんとやるならばfsockopen()でタイムアウトや各種のエラーハンドリングなどを実装しますし、そうでなければfile()とかでテキトーに書いてしまいます。

お礼

ご回答ありがとうございます。

なお、質問にて申し上げることを忘れておりました。
申し訳ございません。

追記：
●念のため（ぱんくず解析以外にもなにかしらHTMLに対して作業を行う可能性があるため）に、すべていったんローカルにhtmlファイルたちを落として、それから処理しようと考えています。

＞やっつけ仕事といえば正規表現です。
自分、正規表現があまり得意ではない・・・というよりも、できるんですが、失敗（それも失敗とは気付かない）の可能性があるものでして。

＞wgetはfopenなどよりも複雑なことをするプログラムですので、それも速度に影響するかもしれません。
確かにそのとおりですね。「man wget」でみるといろいろ書いてありますね・・・。

＞ちゃんとやるならばfsockopen()でタイムアウトや各種のエラーハンドリングなどを実装しますし、そうでなければfile()とかでテキトーに書いてしまいます。

なるほどですね。検討してみます。

ありがとうございました。