クローラーbotに別コンテンツ提供

2016/05/19 15:47

このQ&Aのポイント

New York Timesのように記事全文を読むにはログインが必要だが、クローラには記事全文を提供してもらっているケースがある。
一つの方法として、ユーザーエージェントを見てクローラーなら記事全文表示するという方法があるが、ユーザーエージェントを偽れば記事全文を読めてしまう可能性がある。
クローラーのIPアドレス一覧を提供するという方法もあるかもしれない。

muuming2001
お礼率67% (716/1053)

HTML
回答数1
ありがとう数1

みんなの回答 （1）
専門家の回答

質問者が選んだベストアンサー

ベストアンサー

heburusu
ベストアンサー率85% (140/164)

2016/05/20 17:51 回答No.1

参考URLはGoogleですが、オフィシャルにIPアドレスの範囲は公開されていないようです。 Googlebotがどうかの確認手順も参考URLに記載されておりますが、 (1) アクセス元IPアドレスからDNSを逆引きしてドメインを取得 (2) (1)で取得したドメインをDNSから正引きをしてIPアドレスを取得 (3) アクセス元と(2)のIPアドレスが一致していて、かつ、(1)ドメインがgooglebot.com または google.comならGooglebot という手順を実施して判断可能なようです。