webクローラー

質問

webクローラーを作成したいと考えています。
(blogを対象にしたクローラーを行いたい、具体的には個々のblogごとに記事の内容を抽出し、記事内で張っているリンクを収集したい)
プログラム言語はperlかpythonあたりを使おうかと考えているのですが、
webクローラーの作成の参考になる書籍やwebページ、アドバイスなどがあれば
教えていただきたいです。

よろしくお願いします。

回答No.1

SherlockHolmes2

クローラーを自作するのは大変だと思います・・・。

とりあえず参考まで・・ http://www.unixuser.org/~euske/python/webstemmer/index-j.html#crawler

お礼

回答ありがとうございました。