かちろぐ皆さん、クローラーって知ってますか？
クローラーとは、ウェブ上にあるすべてのページを収集するプログラムのこと。
Googleをはじめ、Yahoo!、Bingなど複数のクローラーが存在し、情報を収集しています。
クローラーがページを持ち帰り、インデックス化することで検索データベースを作成しています。
そのおかげで僕たちが「検索しよう」と思った時に、その検索データベース内を素早く探して、迅速に結果を表示できるんですね。
つまり、何が言いたいかというと、
クローラーに発見され、迅速に見つけてもらうことがSEO対策にもつながるということ。
クローラーの動き…、つまりクローラビリティの改善を行うことはSEOを行う上で非常に重要なのですが、このクローラビリティを意識している方は結構少ないのです。
そこで、今回はクローラビリティの改善方法を詳しく説明いたします。
クローラビリティとは
クローラーがどうしてSEO対策に関係があるかは、クローラーが検索エンジンの元となる情報を握っているからです。
クローラーのSEO対策は、自分の作成したサイトの情報をしっかりと『クローラーに集めてもらえるようにする』事を指します。
この『クローラーからみて、収集しやすいかどうか』についてを、『クローラビリティ』と呼びます。
SEO対策とは、そもそも『検索エンジンに対する対策』の事です。
つまり、クローラリビティを高める事は、そのままSEO対策に直結しています。
クローラーと検索エンジンの関係性
クローラーは、主に『検索エンジンのデータベース作成』のために、ネット上の情報を解析収集しています。
逆に言えば、検索エンジンのデータベースは、『全てクローラーが形成している』と言っても過言ではありません。
そう、クローラーに収集されないサイトやコンテンツは、その検索エンジンで全く検索出来ないのです。
Noindexなどメタ情報を敢えて入れて、検索されないようにする施策もあります。
クローラーが訪問しているかはGoogle Search Consoleから確認できる
ウェブサイトや、ブログにクローラーが来ているか確認するにはGoogleSearchConsole（グーグルサーチコンソール）からできます。
Google Search Consoleのガバレッジの項目を開くと、クローラーがどの程度インデックスに登録してくれているか確認できます。
ちなみに画像の中に赤いブロックでエラーと書かれている項目があります。
このエラーとなっている項目はチェックしておいたほうが良いでしょう。
エラーの中で「送信されたURLにnoindexタグが追加されています」があった場合
サイトマップなどは基本的にインデックスしてもらいたいページで構成しているのが基本です。しかし、サイトマップでインデックスしてもらいたい！と言っているにも関わらず、noindexを自分で付けたりしているとこのエラーになります。
※ちなみにサイトマップについては、こちらの項目で説明しています。
このnoindexの施策は、意図して自分の手で行った施策であれば問題はありません。
クローラリビティの改善方法
クローラリビティを高めていくためには、いくつかの方法があります。
主に行うべき施策はこんなものがあります。
- サイトを更新する
- サイトマップ
- Fetch as Google
- リンクを増やす
- サイト構造をシンプル化
- パンくずリスト
それぞれについて、詳しく解説していきます。
サイトを更新する
この方法が最も基本的なやり方となるでしょう。
クローラーは、常にインターネット全体をクローリングしていますが、特に『更新』情報を収集しています。
常に新しい情報が出ていないか探し回っているんですね。
そのため、更新頻度が高いウェブサイト・ブログは巡回のスピードが早くなります。
しかも、クローリングされる際に、ページやコンテンツの品質も同時に評価されるため、高品質な更新を繰り返していくと、より効果的なSEO対策を行う事が出来ます。
巡回のスピードが上がっても記事の質が上がるわけではない
よく勘違いする人がいるのですが、クローラーの巡回スピードが上がっても記事の質自体が変化することはありません。
そのため、更新ボタンだけ押せば良いのかと思う人もいるようですが、そうではありません。あくまで、巡回スピードを上げることはクローラーに早く訪問してもらい、素早く記事の質を適切に評価してもらうことが目的です。
これは、記事の編集（リライト）などの簡単な更新でも適用されます。
一度書いた記事であってもリライトを行うことで、クローラーに「更新したよ！」と伝えることも可能なので、リライトはとても大事な作業となります。
数年前に作った記事でも、作りっぱなしにせず、少しずつでもページ内容を更新していく事で、サイトの品質の向上とクローラリビティの向上という相乗効果が望めます。
最新の情報と照らし合わせて、最高の作品となるようにしっかり管理していくようにしましょう。
サイトマップを作成する
この方法も、分かっていれば比較的に簡単に行う事ができます。
サイトマップはユーザー用とクローラー用と２種類あるのですが、今回お話しているのはクローラー用のサイトマップのことです。
サイトマップとは、サイト上のページや動画などのファイルについての情報や、各ファイルの関係を伝えるファイルです。Google などの検索エンジンは、このファイルを読み込んで、より高度なクロールを行います。サイトマップはサイト内のどのファイルが重要かをクローラに伝えるだけでなく、重要なファイルについての貴重な情報（ページの最終更新日、ページの変更回数、すべての代替言語ページなど）も提供します。
出典：サイトマップについて
カンタンに言うと、サイトマップは訪問したクローラーに渡すウェブサイトの全体図なんですね。
クローラーは、サイトマップの情報を元にウェブページ間のリンクを網羅していく事で、クローリングを進めていきます。
逆に言うと、サイトマップがないと全体像がつかめず、インデックスして欲しいと思っているページにクローラーが到達できない可能性もあり得るのです。
そういう場合は、リンクを元に辿っていくのですが、リンクが貼られていなかったり、リンク先が無効になっていたりするとクローラーは素通りして、別のウェブサイトに移動してしまいます。
そういったずさんなサイトの状態では、クローリングの優先順位も下がってしまうんですね。
サイトマップを作成・設定するだけで、クローラリビティは格段に向上するので、絶対に作成しておきましょう。
ちなみにWordPressであればサイトマップはプラグインでカンタンに作成できます。
オススメはGoogle XMLSitemapsです。このプラグインはサイトマップの構成を細かく作れたりします。
他にもサイトマップ作成プラグインはいっぱいありますが、僕はこのプラグインをオススメしています。
Fetch as Google機能を用いる
Googleでは、『Fetch as Google』と呼ばれる機能が存在します。
この機能は、Googleに直接「自分のサイトをクローリングしてください！」と要求する事が出来ます。
要求してすぐにクロールされることもあり得るし、最低でも2週間以内にはクロールが行われます。
ここはサイトの信頼性によってスピードが変化します。
「色んなページを更新した！」「サイトの構成を分かりやすくした！」など、
今すぐにでもクローリングして欲しいという場合には、この方法が効果的です。
また、Fetch as Googleを行う際に[取得してレンダリング]というボタンがあります。
レンダリングを行うと、クローラーが見たページ画面と、実際に見えているページ画面の比較ができます。
もし、レンダリングに差異があると正しい評価が得られない可能性があるので、ページの構成を見直してみましょう。
その場合は、レンダリングリクエストのページの下部に載っています。
ちなみに僕もクローラーが見たページにアイキャッチ画像が表示されていない時があって、このレンダリングによって気づきました（汗
Fetch as Googleはこちらでできます。
▶Fetch as Google
内部リンク・被リンクを増やす
クローラーは、リンクからリンクへと移動し続ける事で情報を集めています。
つまり、外部リンクや内部リンクを増やせば増やすほど、クローラーがやって来たり、巡回する可能性は高まります。
被リンク（外部のウェブサイトからのリンク）は、リンクジュースという自分のサイトからの評価を、リンク先のサイトに若干ながら渡す効果があります。
そのため、「できるだけ被リンクを獲得しましょう」という話になるのです。
しかし、被リンクはそんなにカンタンに獲得できるものではありません。なにせ相手が「リンクしたい！」「参考にした！」という場合にしか起こらないからです。
被リンクをお金で集めるとブラックハットSEOと認定される
被リンクをお金を払って意図的に集めることをブラックハットSEOと言います。リンクの売買はGoogleから禁止されているのです。
見つかると非常に重いペナルティをもらってしまい、検索圏外に飛ばされ、二度と検索エンジンに載ることがなくなってしまうので注意しましょう。
自分でできる対策が内部リンク
そこで自分でできる対策が内部リンクです。
内部リンクとは自分のウェブサイト内の記事と記事をつなげることを指します。
ただ、単純につなげるのではなく、関連性の高いコンテンツ同士を連携していくと、コンテンツの質が向上し、サイト内のテーマ関連度が高まっていくのでサイト自体の評価も上がっていきます。
ちなみに、リンクが切れている（リンク先が見つからない）ページがあると、クローラーは困惑してしまうので、リンク切れには注意しましょう。
リンクを増やすとともに、不要なリンク先を整理する事はクローラビリティの改善にはとても大切です。
サイト構造をシンプル化
「リンクを増やすだけで、クローラリビティが上がるのか！」と思われた方もいらっしゃるかもしれませんが、そうもいきません。
無駄なリンク先が増えると、サイト自体の質が低くなってしまい、評価が下がってしまいます。
また、Google公式の見解として「トップページから遠くなるほど、重要度は低くなる。」という事が示されています。
不必要なリンクが多くなればなるほど、階層が深くなればなるほど、評価して欲しいページの重要度が低くなってしまうという悪影響を及ぼす可能性が高まります。
カンタンに言うと、カテゴリの構成は子カテゴリや、孫カテゴリを作らず、親カテゴリのみに絞るのがオススメです。
無闇に階層を深くすればするほど、ユーザーからも「どんなブログなのかイマイチハッキリしない」と思われてしまいます。
サイトは見やすく、シンプルに構造を見直す事で、クローラビリティとユーザビリティの両方を高めていく事が望ましいのではないでしょうか？
カテゴリ構成を見直す際に注意しなければならないのはURLが変わってしまうという点です。
記事の評価はURLに付くので、変更を行うと記事の評価は0になってしまいます。
カテゴリ構成を変更する場合、リダイレクトを行ったり、URLが変わらないようにカテゴリのチェックを親カテゴリを含めてチェックを付けるなど、URLの正規化と評価の引き継ぎをしっかり行いましょう。
パンくずリストを整理する
パンくずリストって知ってますか？
パンくずリストとは、ユーザーが今WEBサイト内のどの位置にいるのかを視覚的に分かりやすくするため、上位の階層となるWEBページを階層順にリストアップしてリンクを設置したリストのことを指します。通常はコンテンツの最上部に記載されます。
出典：パンくずリストとは
ヘンゼルとグレーテルの童話でパンのくずを落として、帰りの際の目印にする方法を使っていますが、あのパンくずから名前をとっています。
パンくずリストがしっかりと示されていると、クローラーがそのページに辿りつきやすくなります。
その分、クローラビリティの向上に繋がるんですね。
パンくずリストは今はWordPressのテーマには（無料でも）必ずと言っていいほど付いています。
実はそんなに気にしなくて良いのですが、分からないで無効にしてしまうと勿体無いので、有効にしておきましょう。
クローリングの確認
さて、ここまでクローラリビティを高める具体的な方法を紹介してきましたが、実際にクローリングされているのかは、気になるところですよね。
そこで、クローリングされているのかを確認する方法も紹介しておきます。
site:検索を行う
自身のサイトがクローリングされているかどうかは、実際にGoogleの検索に反映されているかどうかで、おおよそ見極める事が出来ます。
Googleの検索で
site:○○.com
と検索してみましょう。
検索結果に、自身のサイトが掲載されていれば、クローリングは完了しています。
もし、クローリングされていなければ、検索エンジンのデータベースにも追加されていません。
逆に言えば、検索で表示されるという事は『クローリングされた』という事なのです。
いつまで経っても狙ったキーワードで出ないけど？
いつまで経っても狙った検索キーワードで表示されない場合、コンテンツの質が低いと評価されています。
どの検索エンジンでもそうですが、質が高いコンテンツでないと上位には出てきません。
質が高いとは『その検索キーワードのニーズに一番合っていて、分かりやすいページ』ということになります。
質が低いはその逆ですね。
検索順位が100位以内かどうかは検索順位チェッカーを使ってみましょう。
▶検索順位チェッカー
Google Search Consoleの「クロールの統計情報」を確認する
Google Search Consoleでは、自身のサイトについてのクロールの状況が確認できます。
主に
- 一日あたりのGoogleにクロールされたページ数
- 一日にダウンロードされるキロバイト数
- ページのダウンロード時間
の３つを確認する事が出来ます。
一日あたりのGoogleにクロールされたページ数
これは、自身のサイトが一日に何ページクローリングされたかを示しています。
クローラーがあらゆるサイトをクローリングするには限界があります。
そんな中、『自身のサイト』のクロールページ数が『増えている』という場合は、有益なサイトであると評価されているか、巡回しやすいサイト構成になっているという事です。
この欄の数が増えれば増えるほど、サイトの品質が良い傾向にあるといえます。
ただし、サイトの情報が大幅に追加された場合も、このページ数は増えてしまいますので、その点は考慮しておきましょう。
一日にダウンロードされるキロバイト数
これは、自身のサイトがクローラーによって、一日にどれほどページの情報がダウンロードされたかを示してます。
上記のクローリングされたページ数の推移と連動しています。
ちなみに平均の値がGoogleの評価値そのものではないか？という意見もあるようです。
クローラーが頻繁に訪れ、情報収集していくサイトほど「注目している」ことに違いはないので、この情報は間違いないと思います！
ページのダウンロード時間
これは、自身のサイトがクローリングされた際、ダウンロードにかかった時間を示しています。
単位はミリ秒なので、1000ミリ秒＝1秒という事です。
ダウンロードの時間が増えてしまうと、その分サイト全体をクロールするのが難しくなってしまい、クローラーの途中離脱に繋がりかねません。
画像の圧縮やプラグインや構造の調整などによる、サイト構成の高速化はユーザーのためだけでなく、クローラーのためにも重要です。
表示速度が遅い場合は、サーバーやネット環境なども問題がある可能性もあるので確認をしてみましょう。
WordPress最適化の方法はこちらからどうぞ。
まとめ：クローラビリティを高めることは、SEOを高めること
長々と語ってしまいましたが、クローラーの動きを理解し、クローラビリティを高め・改善していくことはSEO対策そのものだったりします。
クローラービリティの高め方
・そもそもGoogleSearchConsoleに登録する
・ブログを常に更新する
・サイトマップを設定
・クローラーを呼ぶ（仕組みを作る）
・内部リンクを増やす
・サイト構造をシンプルに
・パンくずリストを作るクローラーの動きを理解することはSEOにとってすごく大切ですよ〜！
— ソルティー@ブログアーティスト (@Solty_gn) 2018年12月23日
クローラビリティを改善して、自分の頑張りをGoogleに正しく評価してもらいましょう！
他にも検索エンジン、クローラーについてや、SEO対策の情報をまとめているので、ぜひご覧ください。
