google クロールの仕組み

質問

google webmasterを使用してホームページを作成している方で、
googleのクロールの仕組みがわかる方いましたら、教えてください。

１．google webmasterでの「Fetch as Google」は、設定したページを使うしてもらうためのものですか。
２．robots.txtはクロールしてもらいたいファイルの制御のために作成し、
　　sitemap.xmlはクロールした中でインデックスしてもらいたいファイルの一覧を作っておくファイルということでよいでしょうか。
３．sitemap.xmlでhtmlファイルだけ設定しているのですが、みなさんはどんなファイルを設定しておりますか。

回答No.1

linksakujo · ベストアンサー

> １．google webmasterでの「Fetch as Google」は、設定したページを使うしてもらうためのものですか。
設定したページを使ってもらうというよりは、ｇｏｏｇｌｅｂｏｔにそのURLのページを強制的にクロールしてもらための機能です。
新しく作成したり、更新したページをいち早くインデックスさせたいときに利用してください。

> ２．robots.txtはクロールしてもらいたいファイルの制御のために作成し、
> 　　sitemap.xmlはクロールした中でインデックスしてもらいたいファイルの一覧を作っておくファイルということでよいでしょうか。
robots.txtはクローラーを制御するという考えで間違いは無いです。
ただsitemap.xmlはインデックスしてもらいたいファイルと言うよりは、サイトの構造を正しくクローラーに知らせるというのが主な機能です。インデックスするかどうかは、クローラーが回った後に検索エンジン側が決定します。

> ３．sitemap.xmlでhtmlファイルだけ設定しているのですが、みなさんはどんなファイルを設定しておりますか。
基本的にはhtmlファイルが正しく記述されていれば問題ありません。
動画ファイルや画像ファイルがサイトのメインコンテンツなら、それを記述するのもいいとは思います。