SEO効果を高める！検索エンジン・クローラーとサーバーの関係

以前、サーバーがSEOに影響するのかを、ページ評価周りから検証しました。

レンタルサーバーはSEOに影響するか？

高速なレンタルサーバーにするとSEOが上がるなんて聞かれますが、本当でしょうか。ここでは、レンタルサーバーはSEOに影響するかを、Googleの検索アルゴリズムに照らし合わせながら検証していきます。

今回は、検索エンジンがサイトのデータを取得する「クロール」とサーバーの関係についてみてみましょう。

クロールとは何か？

クロールとは、検索エンジンなどがサイトに訪問してページのデータを取得することです。

Googleで言えば、

1. Google Botがサイトに訪問し、ページをクロール（取得）する
2. インデックスシステムに登録するかを検索エンジンが判断する
3. インデックスシステムの中で、ページを評価（ランク付け）する

という流れになっていると言われています。

つまり、クロールとはSEOで言えば「入り口」に当たる部分です。

大事なのは「クロールバジェット」

サーバーとクローラーという観点で見ると、大事なのはより「多くのページ」を「頻繁に」クローラーに訪問してもらうことです。

検索エンジンのクローラー、特にGoogleのクローラーには「クロールバジェット」と呼ばれる、サイトごとに「どれくらいの頻度で、どれくらいのページを取得するか」という枠があると言われています。

「クロールバジェット」は三つの軸で決められると考えらます。

• クローラーの取得コスト・取得先サーバーへの負荷
• サイト・ページの更新頻度
• サイト・ページの重要度

このうちサーバーが関係するのは「クローラーの取得コスト・取得先サーバーへの負荷」です。

ロードが重いページは、Googleクローラーを稼働させるマシンにとっては「コスパが悪い取得先」となり、クロールバジェットが少なくなると言われています。

例えば、1分で60ページのデータを取得できるサイト（1ページあたり1秒表示）と、1分で10ページしかデータが取れない（1ページあたり6秒）では、Googleクローラーから見るとコスパが6倍違います。クローラーを動かすにも検索エンジンはサーバー費用をかけていますから、コスパを考えたら1ページあたり1秒表示サイトのページをたくさんクロールするのは当然です。

また、サーバーからみたら、クローラーも「一般ユーザーと同じサイト訪問者の一人」ですから、クローラーがたくさんのページのロードすると、一般ユーザーに悪影響があるとして、クロールバジェットを下げるとも言われてます。

ただし、コンテンツが優れている、権威性が高いサイトの場合は、ページが遅くても、コンテンツが優れていない高速なサイトよりもクロールバジェットが多くなる可能性があります。

クローラビリティを高めるサーバーの運用方法

ロードを高速化してクローラーバジェットの減少を防ぐ

ロードを高速化については、サーバーの性能も関係はしますが、基本的にはページの作り方が原因というのがほとんどでしょう。静的HTMLファイルだけのサイトと、WordPressのサイトでは、1ページのロード時間が異なるのと同じです。

クローラーバジェットの減少を防ぐためにも、まずはページの作りやCMSの選び方を検証し、・ロード時間の改善しましょう。

一方で、画像やHTMLファイルなどの静的ファイルのロードについては、基本的にはサーバーの性能（マシン性能・回線性能）に依存します。静的ファイルのレスポンスが遅いということは、動的に出力するページ側の速度も遅い可能性が高いので、この場合はサーバーを移転した方が良い可能性が高くなります。

サーバーのコスパを意識しよう

どんなに遅いサイトでも、10倍性能の高いサーバーに移転すればページ速度は改善しますが、SEO効果が10倍になることは滅多にありません。クローラビリティを高めるために高額なサーバーに移転しても、かけたコストに見合う結果が得られないのでは意味がないでしょう。

先ほど挙げた通り、「体感で静的ファイルや軽量な動的ページが重い」というのであれば移転をすべきですが、そこに問題がないのであれば、基本的にはサーバーではなくページ側の改善をするのが一般的です。

検索エンジン・クローラーとサーバーの関係をみてきました。

クローラビリティはサーバーだけでなくページ側からも大きな影響を受けるため、サーバーだけで解決できないこともありますが、クローラビリティを意識して、サイト・サーバーを構築することが重要です。