特定ドメイン下のURL収集の仕方

質問

特定ドメイン(例　http://aaa.co.jp/)以下のURLを全て収集したいのですが、何か方法はありますでしょうか？

・自分が運営していないサイトを対象としてURLの収集をしたいので、
FTP情報は入手できないという前提になります。

回答No.2

Gizensha

リンクが張られているならwgetなどで取得はできますが、
動的に生成されるURLなどがあると終わらなくなる可能性が…
さらにはサーバーに負荷をかけることになるので、よっぽどの理由がない限りはやめてください。

なぜ、そのようなことをしてみたいのかに興味津々。

回答No.1

eroermine

googleにて
site:aaa.co.jp

全部は無理ですが