ホームページ内のURLを収集できるソフトを探しています。

質問

現在、インターネット上の某有名ショッピングモールに出店しております。

商品一覧ページを作ろうと思いましたが・・・
商品ページのURL回収が厄介です。。

ページのURLは、任意のものではなく、
システム上で自動的につけられたものです。

現在、商品数（ページ数）が2000以上あり、
１ページ１ページを、回収していくのは、困難に近い・・・。

そこで、URLを自動収集してくれるようなフリーソフトがないか・・・と思い探しています。

回収したいのは、URLとページのタイトルです。
よろしくお願いします。

回答No.1

BLUEPIXY

ＵＲＬがどのように配置されているのかがわからないので単なるサンプルですが、
指定されてＵＲＬからタイトルとそのページにリンクが作られているＵＲＬのリンクを取り出すという動作をします。
GetTitle.vbs
------------------------------------------------------------
Dim IE, title, linkNum, i, address, linkText

Set IE = WScript.CreateObject("InternetExplorer.Application")

IE.Navigate ("http://okwave.jp/kotaeru.php3?q=1763489")
While IE.busy: Wend
While IE.Document.readyState <> "complete": Wend

title=IE.Document.title

WScript.Echo title
linkNum = IE.Document.links.length

For i = 0 to linkNum -1
address=IE.Document.links(i).href
linkText=IE.Document.links(i).innerText
WScript.Echo "<a href=""" & address & """>" & linkText & "</a>"
Next
IE.quit
--------------------------------------------------------------
上記は、この質問ページのタイトルとリンク（ＵＲＬ）を抜き出します
適当なファイル名を付けて、
コマンドプロンプトから
>CScript //nologo GetTitle.vbs
って感じで起動します。
結果を適当なファイルに保存するには
>CScript //nologo GetTitle.vbs >list.txt
とかするとlist.txtに保存されます。
大元のＵＲＬからたどるとかというのは、ループにしたりすればいいかと思いますが、質問者のページがどういう構成になっていてどういう風に抜き出したいかというのがわからないので、これ以上の動作を要求される場合には、もっと詳しい情報が必要で、一般的には、ムリかと・