次へのページの内容を取得

質問

今見ているサイトで多数の商品があり、１ページ３０件でしか表示がなく
１０００件以上あるので次へのページに行くのが大変苦労しております。

商品の登録を行うため、simple html domを利用して情報を取得しています。
しかし、次のページの商品を取得する方法が思いつきません。
手間はかかりますが、例：1～30(全1500件)　とかの部分を取得し
全ページの取得もできると思いますが
もっとスマートな取得方法はありませんでしょうか。

ご教示のほどよろしくお願い申し上げます。

回答No.1

yambejp · ベストアンサー

次のページに行くリンクを解析して、リンク先を読めばよいのでは？
次ページへのリンク自体は実装方法がサイトのポリシーによるでしょうから
そのサイトに合わせたものを予測してテストして実行して検証するの繰り返しです

補足

やはりそのような地味な処理でしかできないのですね。。。
もう少しコードを簡略化できればと思ったのですが。

何かそのようなプラグイン的なものはないのでしょうか？
もしご存じであればご教示お願いいたします