JavaScript実行後ページのダウンロード

質問

JavaScript実行後のWEBページをダウンロード出来るコマンドを探しています。

WEBページをブラウザで表示すると、wget等のダウンロードコマンドでダウンロードしたHTMLとは内容が異なる場合があると思うのですが、JavaScript実行後のHTMLをダウンロード出来るコマンドはないでしょうか。

もしかしたら私の勘違いで、実はJavaScriptが実行されたからWEBページの内容が異なるのではない場合もあるかと思うのですが、とにかくブラウザで表示されるのと同じ内容のHTMLをダウンロード出来るコマンドを探しているという事です。

どなたかご存知の方がおられましたら、お教え頂けないでしょうか。

回答No.1

yambejp · ベストアンサー

＞wget等のダウンロードコマンドでダウンロードしたHTMLとは内容が異なる場合

これは情報提供者が、意図的にダウンロードさせないようにしているか
ajaxなどの利便性を考えての対応かもしれません。

wgetなどクローラでデータを吸い出す限り、ajaxを任意に解釈できなければ
通常のブラウザが受け取るデータと同等のものは得られません
情報提供側がajax非対応環境を無視しているようなサイトをつくっていることが
問題なのであって、クライアント側で調整することは難しいでしょう。

あとはブラウザ表示後に、任意にデータを抜き出す処理がよいかもしれません。

お礼

ご回答、ありがとうございます。

クライアント側で調整することは難しいのですね。分かりました。大変参考になりました。

ブラウザ表示後に、データを抜き出す事は考えたのですが、まだ自分のスキル不足で実現は出来ていません。

今回の処理は、バッチファイルに組み込む処理でして、途中でマウスを使って、ブラウザのメニューから「名前を付けてページを保存」をクリックする等の処理は入れたくないのです。

ですので、バックグラウンドか、最小化の状態でブラウザを起動し、指定秒後に、表示中のWEBページを指定パスに保存するといった処理を行おうと思います。

これから、色々とコマンドラインから操作出来そうなブラウザを探してみようと思います。

この件に関しましては、結構前から悩んでいましたので、簡単に解決するとは思っておりませんので、またしばらく自分で考えて、もう少し先に進んでから、再度質問させて頂くかも知れません。

ご回答、本当にありがとうございました。