クローラーとは

検索エンジンはクローラーと呼ばれるロボットプログラムを用いてインターネット上のWebページの情報を収集します。このクローラーがインターネット上を自動的に巡回し、Webページを収集していく作業をクローリングと呼びます。検索エンジンはクローリングで集められたデータをもとに、インデックスデータベースに登録する情報の作成と登録・更新を行います。

インターネットユーザーに対してより良い情報を提供するためには、検索システム全体で限られたリソースを効率的に使うことが欠かせません。特に、インターネット上には膨大なWebページが存在するため、クローリングの作業には多大なリソースが必要となります。そのため、検索エンジンは次のようなクローリング技術を用いて、効率性を高めています。

優先収集を行う。無駄な繰り返しの巡回を減らすため、リンク先に対して巡回の優先順位を決めてクローリングする方法です。クローラーは、ネット上のリンクをたどって自動巡回します。このとき、単純にリンクをたどるだけだと、相互にリンクしているWebページの間で何度も同じ場所を巡回する、クローリングの無限ループに陥ってしまいます。無駄なクローリングは、システムに負荷を生じるだけでなく、クローリングされているサーバーにも多大な負荷をかけます。そのため、途中で巡回を中止するための基準として、リンク先に対して巡回の優先順位を決めているのです。

巡回優先順位
巡回優先順位の決定方法には、主に次のような方法があります。いずれの方法も単独で用いているわけではなく、検索エンジンごとに、いろいろな方法と組み合わせて使用しているようです。

ページの移動回数
起点とするWebに対して、そこからの移動回数を決めて指定回数分でクローリングを終了する方式です。同じページを何度か繰り返したどることがあっても、数回の繰り返しで無限ループに陥る可能性がなくなります。
被リンク数の数をもとにする
多くのWebページからリンクを集めるWebページは、情報の重要性が高いものだと考えられます。そのため、被リンク数の多いWebページを優先的に廻り、被リンク数の少ないWebページはあまり廻らないことで、不要なクローリングを減らすことができます。実際には単なる被リンク数ではなく、リンクポピュラリティが基準として用いられています。 リンクポピュラリティーとは、外部ドメインより自分のサイトへ貼られているリンクの数と質によって、ロボット検索エンジンが自分のサイトを評価をする方法です。
リンクを貼られている数が多ければ多いほど、人気のあるサイトであり、良質のサイトであるという判断基準になります。テーマが同じ場合のリンクは更に価値が高くなります。