PHPで取得したHTMLソースと実際のソースの違い

質問

PHPで、
file_get_contents($uri)
などで取得したHTMLソースと、実際にアクセスして表示したソースが違う場合があります。

例えば、ネットオフというサイトが違いました。
http://www.netoff.co.jp/cmdtyallsearch/hdnAllSearchFlg/1/Ctgry/home/LRack/*/SetFlg/?cat=&word=9784864102254

PHPで取得すると、商品結果の情報を取得できなかったのですが、
実際のソース（FireFoxでCtrl+Uでページのソース表示）は表示されています。

こういったページもPHPで取得することは可能なのでしょうか？
わかる方よろしくおねがいします。

回答No.1

shockatz · ベストアンサー

クエリ文字列に全部の閲覧情報が入っているというのは甘いケースです。
Webアプリケーションの動作においては、クエリ文字列だけでなく、その時点でのSessionの値も評価の対象になっている場合が多いです。

ページ・スクレイピングを行う場合は、必要ならば、スクレイプしたい詳細画面の前にあるカテゴリ選択や、一覧表示画面、さらにはその前の商品分類画面から、人間が検索していくように絞り込んでいく過程をとる必要があります。

また、匿名アクセスに対してもトップ画面でCookieを発行しているサイトが多いので、Cookie保存への対策も行う必要があります。
（BookOffはこのタイプでしょう）

とにかく最近は、プログラムを使った掲載情報の盗用を防ごうと、あの手この手で防衛策をとっていますので、それに対抗しなければいけません。
まあ、ブラウザだけ見れて、スクレイピングに対して完全に隠し通せる情報はありませんので、丁寧に読んで行けば問題ないはずです。