ヤフーにカテゴリ登録されているサイト一覧

質問

ヤフージャパンのディレクトリ検索
http://dir.yahoo.co.jp/
に登録されているウエブサイトの一覧やリンク集などは
存在しないでしょうか？

サイト一覧リストが必要で
人力でエクセルなどに入力するのは
大変な労力がかかってしまうので・・・

どなかた教えてください

回答No.1

vtetfn · ベストアンサー

直接の回答ではないのですが、リンク先のページから階層構造をたどって外部リンクをすべて拾い上げるという荒業が思い浮かびました。

例えば、以下で紹介されているようなものや「巡回ソフト」を使うといいと思います。
http://www.forest.impress.co.jp/lib/inet/websupt/webpilot/websiteexp.html

但し一気に全部アクセスするとかなりの負荷になる（攻撃と判断されうる）と思いますので、１カテゴリずつ試したほうがいいでしょう。

巡回ソフトによっては外部リンクまで行こうとするものがありますので、外部リンクをたどらないようにすれば不可能ではなさそうです。

但し、広告リンクも拾うと思いますのでそれを外すのが手間でしょうか……。

お礼

ご回答ありがとうございます。
確かにこれはスゴいソフトですね。
でもあまりやるとサイト運営者の迷惑になるので
控えめにします。

大変たすかりました！