youtube動画情報のスクレイピングをするには？

質問

youtubeのAPIで動画の詳細情報を取得しているのですが、APIでは配信されていない情報も取得したくて、youtubeの動画の統計情報のスクレイピングを行おうと挑戦してみましたがうまく出来ません。以下のソースは取得した動画の統計情報をコンソール上に表示させるというものです。

要素「id="watch-insight-button"」をクリックすると、javascriptが実行されて、元々ある要素「id="watch-actions-area-container"」以下に要素「id="watch-actions-ajax"」が動的に生成されます。この生成された情報をコンソールに表示させたいのです。実行環境はGoogleChromeの「要素の検証」の「Console」で実行しました。

http://www.youtube.com/watch?v=xIP41E4B-bIへ行き、クロームのコンソールに以下を入力
/*1*/var elem = document.getElementById('watch-insight-button');
/*2*/var event = document.createEvent('MouseEvents');
/*3*/event.initEvent('click', true, false);
/*4*/elem.dispatchEvent(event);

/*5*/var el = document.getElementById('watch-actions-ajax');
/*6*/console.log(el.innerHTML);

実は行番号の1~４までを入力しエンターを押して実行し終わった後で、行番号の5,6を入力しエンターを押してというように分けて実行すればうまく表示されるのですが、わけあって本番環境は「phantom.js」で実行しているため、この動作1~6までを一気に実行させなければならなくて、そうするとうまく表示されないのです。

行番号1,2,3,4が実行された後で、以下のコードをはさみ一定時間待機してから行番号5,6を実行してみたのですが、これもうまくいきませんでした。

mysleep(5000);
function mysleep( waitMilliSeconds ) {
var startTime = ( new Date( ) ).getTime( );
while ( true ) {
if ( ( new Date( ) ).getTime( ) >= startTime + waitMilliSeconds ) break;
}
}

回答No.1

fujillin · ベストアンサー

ご質問文を読んだだけなので、まったくの推測だけの回答になりますが、

ajaxで情報を取得しているのではないかと推測されますので、そちらの処理が実行されるように、一度スクリプトを終了してあげることが必要なのでは？
連続して時間待ちのスクリプトを実行しても、ajaxの処理が走らないのではないかと推測します。

動的に生成される要素を判断材料にしても良いのであれば
setIntervalなどで対象要素が生成されたかを監視して、内容を取得するようにすれば良いのではないでしょうか。

何も調べてないし、検証もしていないのではずしていましたら失礼。

しかし、実際にサイトに行くのなら、直接ボタンをクリックした方が簡単そうな…？

お礼

ありがとうございます、fujillinさんのおかげで解決しました！ネットワークを監視してたらGETで呼び出しているURLが生成されていました。このURLを直接叩く事にします！