Web ページのテキスト取得

質問

URL url = new URL("http://www.yahoo.co.jp/");
BufferedReader br = new BufferedReader(
new InputStreamReader(url.openStream()));
String str;
while ((str = br.readLine()) != null) {
System.out.println(str);

とすればyahooのhtmlが出力されますが、日本語が文字化けします。
対策を教えてください。

また、yahooのようなページのテキスト（htmlタグを除く）だけを取得する方法を教えてください。

回答No.1

prophetok · ベストアンサー

日本語が文字化け対応
もし、コマンドプロンプトへの出力での文字化けであれば、コマンドプロンプトの文字コードをUTF-8に変更、レジストリもいじって日本語も表示できるようにする必要もあり。参考URL　１番目

その他の環境での文字化けでも、UTF-8文字列をMS932として解釈しているはずなので、環境をUTF-8に変更すれば解決するはず。

テキスト（htmlタグを除く）だけを取得する方法
HTML自体がテキストなので、何をしたいのか、よく分からん。
画面に表示されるテキストのみ取得したいという意味なら、自前でHTMLを解析するか、既存のHTMLパーサを利用する。参考URL　２番目

参考URL：

http://fine.ap.teacup.com/hepo/23.html,http://java-source.net/open-source/html-parsers

お礼

ありがとうございます。
最初の件は、InputStreamReader の第2パラに String で "utf-8" を指定したらうまくいきました。
HTML パーサを調べて見ます。