• ベストアンサー
※ ChatGPTを利用し、要約された質問です（原文：クローラーbotに別コンテンツ提供）

クローラーbotに別コンテンツ提供

このQ&Aのポイント
  • New York Timesのように記事全文を読むにはログインが必要だが、クローラには記事全文を提供してもらっているケースがある。
  • 一つの方法として、ユーザーエージェントを見てクローラーなら記事全文表示するという方法があるが、ユーザーエージェントを偽れば記事全文を読めてしまう可能性がある。
  • クローラーのIPアドレス一覧を提供するという方法もあるかもしれない。
  • HTML
  • 回答数1
  • ありがとう数1

質問者が選んだベストアンサー

  • ベストアンサー
  • heburusu
  • ベストアンサー率85% (140/164)
回答No.1

参考URLはGoogleですが、オフィシャルにIPアドレスの範囲は公開されていないようです。 Googlebotがどうかの確認手順も参考URLに記載されておりますが、 (1) アクセス元IPアドレスからDNSを逆引きしてドメインを取得 (2) (1)で取得したドメインをDNSから正引きをしてIPアドレスを取得 (3) アクセス元と(2)のIPアドレスが一致していて、かつ、(1)ドメインがgooglebot.com または google.comならGooglebot という手順を実施して判断可能なようです。

参考URL：
https://support.google.com/webmasters/answer/80553?hl=ja
muuming2001
質問者

お礼

なるほどー　ドメインを引いて正当性チェクですね

すると、全ての回答が全文表示されます。
  1. カテゴリ
  2. [技術者向] コンピューター
  3. プログラミング・開発
  4. HTML

関連するQ&A

注目のQ&A

カテゴリ

OKWAVE コラム

あなたにピッタリな商品が見つかる！ OKWAVE セレクト

専門家に質問してみよう

職業から探して質問する
質問する