[C#]htmlを取得できないページがある。
C#でhtmlソースを取得したいのですが、取得できるページと出来ないページがあって困っています。
取得方法は以下の方法を使用しています。
===ここから===
HttpWebRequest req = WebRequest.Create(url) as HttpWebRequest;
HttpWebResponse res = null;
try
{
res = req.GetResponse() as HttpWebResponse;
}
catch
{
MessageBox.Show(url + "指定した Web ページが応答していません!", "エラー");
}
StreamReader reader = new StreamReader(res.GetResponseStream(),
Encoding.GetEncoding(encode));
string htmlsource = reader.ReadToEnd();
reader.Close();
===================
htmlsourceにソースが入るのですが、取得できないページも一応ソースは取得できるのですが、
実際にIEなどのブラウザで表示した場合のソースと異なります。
ユーザーエージョンとして
req.UserAgent = "User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:16.0) Gecko/20100101 Firefox/16.0";
を設定しても結果は同じでした。
■取得できるページ例
http://www.amazon.co.jp/s/ref=sr_nr_n_1/375-1273809-4334332?rh=n%3A465392%2Cn%3A!465610%2Cn%3A571582&bbn=465610&ie=UTF8&qid=1376454464&rnid=465610&lo=stripbooks
■取得できないページ例
http://www.amazon.co.jp/s/ref=sr_nr_n_3?rh=n%3A465392%2Cn%3A!465610%2Cn%3A492152&bbn=465610&ie=UTF8&qid=1376454590&rnid=465610&lo=stripbooks
お礼
ご回等頂きありがとうございます。すごいです(>_<)ありがとうございます!