複数の静的URLからアクセスできる重複コンテンツのまとめ方

質問

ドメインをexample.comとします。
現在、トップページが以下のようになっており
example.com/
example.com/ja/
example.com/top/
example.com/ja/top/
これらがすべてmod_rewriteで同じページにアクセスできるようにしています。
example.com/en/
は英語ページになっています。デフォルトが日本語(ja)なので、jaなら普通のトップにリライトされるわけです。

リライトルールは以下のような感じです。

RewriteRule ^(.*)$ /ja/$1 [L]
RewriteRule ^(ja|en)/$ /$1/top/ [L]

現在、このトップページが明らかに検索エンジンに弾かれています。
Yahoo、MSNの2つが特にひどいです。
※ example.com/aaa などサブページは正当に掲載される
もしかしたら重複URLのペナルティなのかな？と思っています。

そこで、301を使いうまくURLをまとめたいのですが、やはり見栄え的には
example.com/
が検索結果の対象になって欲しいところです。
しかし、
RewriteRule ^ja/(.*)$ /$1 [301,L]
は無限ループになってしまいます。
この場合は
example.com/ja/top
を検索結果の対象にしなければならないのでしょうか？
また、そもそもこの程度でペナルティを受けるのでしょうか？別の対処方法は無いのでしょうか？

よろしくお願いします。

回答No.1

abeatc

AddLanguageを利用した方がいいと思いますよ。
URLの統一wwwなし見たいですので、それもした方がいいかも。
RewriteEngine on
RewriteCond %{HTTP_HOST} ^(www\.example\.net)(:80)?
RewriteRule ^(.*) http://example.com/$1 [R=301,L]
Options +MultiViews
AddLanguage ja ja
AddLanguage en en

参考URL：

http://mikeneko.creator.club.ne.jp/~lab/web/htaccess/negotiation.html

お礼

ありがとうございます。
AddLanguage、初めて知ったのですが、これは拡張子を振り分けるようなものではないでしょうか？
言語がディレクトリで分けられているシステムなので、今回は使えないようです。