Googleのクローラーって何者？ SEO対策するなら必須の知識をご紹介
このページの目次
SEO対策について学んでいると「クローラー」という言葉を聞いたことがあると思います。しかし、実際にクローラーが何なのかということについてはご存知ですか？ご存じでなければこの記事を読めばしっかり理解することができますので是非ご覧ください。ご存知の方も、この記事ではクローラーと向き合い、最適化していく方法について紹介しますので最後までご覧いただければ幸いです！
Googleのクローラーって何者？どんな働きをしている？
まず、クロールとは何でしょうか、クロールとは検索エンジンに適切なページを表示するためにロボットがWeb上を巡回し、データを集めることです。つまり、クローラーとは、その巡回とデータ集めを行うロボットのことを指しています。
これが意味するのはロボットに自分が作ったページが見つからなければ、そのページが検索結果に表示されることはないということです。つまり検索エンジン最適化、つまりSEOを行っていくうえでもっとも最初で重要な工程であるといえます。
ちなみに、クローラーがデータを集めてデータベースに登録することはインデックスと呼ばれています。
クロールされるためにはどうすればいいの？
ここまでで検索結果に表示されるためには、クローラーに見つけてもらわなければならないということが分かったと思います。ですが、実際にはどうやってクローラーに見つけてもらえばいいのでしょうか。日本においてはクローラーといえばGoogleのクロールロボットのことを指します。これは日本において検索エンジンといえばGoogleのものが使用されているからです。
ページを更新してただ待つだけでクロールされるということもあるのですが、いち早くGoogleのロボットに見つけてもらうにはGoogleにお願いする必要があります。そこで使用するのがGoogle サーチコンソールというツールです。SEO対策を講じている人であれば多くの人が利用しているのではないでしょうか。Googleにクロールを頼むためにはサーチコンソールの「URL検査」という機能を使用します。
使い方としては、
サーチコンソールの上部に表示される入力欄にクロールしてもらいたいページのURLを入力します。
すると、そのページがインデックスされていなければこのように表示されるはずです。
このように表示された場合は右下の「インデックス登録をリクエスト」ボタンを押しましょう。このボタンを押すことでGoogleのクローラーにクロールをリクエストすることができます。
ちなみに、このように表示されていれば問題なくインデックス登録されています！
しかし、このボタンを押すだけでは確実にインデックスされるかというとそうではありません。もしサイトがインデックス登録されにくい場合は、サイトのクローラビリティを上げていく必要があります。次の章ではクローラビリティとは何かに加え、どのようにすればクローラビリティを改善していけるのかということについて解説していきます。
クローラビリティとは？どうすれば改善される？
さて、クローラビリティとは一体何でしょうか。ユーザービリティという言葉は聞いたことがあるでしょうか。ユーザービリティとはユーザーにとっての使いやすさという意味ですが、クローラビリティとはロボットにとっての使いやすさ、すなわちクロールのしやすさであるといえるでしょう。
では、このクローラビリティはどのようにすれば改善するのでしょうか。ここからは具体的にクローラビリティを改善する方法を紹介していきます。
サイトの構造を簡単にする
サイトの構造が浅い（＝トップページに近い）ほどクローラーは優先的にクロールを行います。ですから、サイトを構築する際には構造を深くし過ぎないように注意しましょう。目安としては全てのページに2クリック以内で到達できることを目指しましょう。
適切な内部リンクを設置する
クローラーはリンクをたどってページを探していきます。そのため、内部リンクが無いページはクロールされにくくなってしまいます。そのページに関連するコンテンツをリンクとして設置するということでクロールされやすくなりますが、無暗にリンクを設置するとSEO的には逆効果になってしまうので注意しましょう。
パンくずリストを設置する
内部リンクと重なる部分もありますがパンくずリストを設置するのも効果的です。パンくずリストとはユーザーが今どのページにいるのかを構造的に表示するリストです。このリストを内部リンクとしてクローラーが読み取ってくれるためユーザビリティの向上だけでなくクローラビリティの改善にも効果があります。
URLを統一する
もしサイトのURLが複数ある、例えばwww.○○.comと○○.comなど同じページにもかかわらず違うURLが存在しているような場合はURLを統一した方がいいでしょう。クローラーにとっては無駄なクロールが発生するため、特に大量のページを持つWebサイトではこれらのURLを統一した方がクローラビリティの改善につながる場合があるためです。また、大規模なページでなくても複数URLの存在はSEO上で問題になる場合もあるので統一することをお勧めします。
URLの統一についてはこちらの記事で解説しているので是非ご覧ください。
サイトマップを作成、送信する
サイトマップは文字通りサイトの地図としてサイト全体のページ構成を一覧化したものです。サイトマップというHTMLサイトマップとXMLサイトマップの2種類があり、ここではXMLサイトマップが使われます。
このサイトマップをGoogleサーチコンソール上からGoogleに送信することでクローラーにサイトマップを認識してもらうことができ、サイト自体の全体像がクローラーに認識されることに繋がります。XMLサイトマップを作る方法としてはツールを用いたり、WordPressを利用していればプラグインで生成することができます。
まとめ 適切なサイト作りでSEO対策の第一歩を！
先ほども述べた通りGoogleのクローラーに登録されないと、検索結果に表示すらされません。表示されなければそもそもSEO対策をすることすら意味がなくなってしまいます。ですから、クローラビリティを考えたサイト設計は非常に重要であるといえます。
多くの人がWebサイトを作る際、ユーザーの使いやすさ、つまりユーザビリティについてはよく考えて制作をしていると思います。しかし、SEO対策について知識が無ければクローラビリティを考えて制作するのは難しいでしょう。しかし、人を集めるためのWebサイトにはこのどちらもが必要なのです。ですから、この2つのポイント、ユーザビリティとクローラビリティを意識してWebサイトを制作していくことをおすすめします。
弊社イツザイでは、Webサイトの制作をはじめ、SEO対策としてのコンテンツ発信やWebサイトへのアクセス分析などWebサイトで集客をしていきたいお客様の力になれるサービスを展開しております。是非お気軽にご相談ください！
