自分の会社のサイトを公開した。それなのに、社名で検索しても自分のページが出てこない。あるいは、Google から「ページがブロックされています」といった通知が届いた。何が起きているのか、どこを見ればいいのかも分からない。そんな経験はないでしょうか。
Googlebot とは、Google がホームページを見て回るための巡回ロボットのことです。新しいページや、更新されたページを見つけて回っています。この Googlebot が何らかの理由でページを見に来られなくなる（ブロックされる）と、そのページの情報が Google に伝わりません。結果として、載るべきページが検索結果に正しく載らなくなります。
ここで大事なのは、検索で上位に出すことそのものではありません。まず、載るべきページが、意図したとおりに検索結果へ載る状態を取り戻すことです。順位はその結果として後からついてくるもので、目的ではありません。
では、ブロックされたとき、どこを、どういう順番で確認すればいいのでしょうか。私がこうしたご相談を受けるときも、上から順に、身近で単純なところから見ていきます。ここでは、その順番をそのままお伝えします。詳しい人が身近にいなくても、ご自身の手で確認できるところから並べています。
なお、この記事は、すべてをご自身で直しきるための手順書ではありません。まず「どこで、何が起きているのか」を、ご自身で正しくつかむことを目的にしています。原因さえ正確に分かれば、直すべき一点がはっきりします。
1. まず、本当にブロックされているかを確認する
原因を探す前に、「本当にブロックされているのか」「どのページが、どんな状態なのか」をはっきりさせます。ここを飛ばして設定をいじると、直っていないのに直したつもりになりがちです。
確認には Google Search Console（旧・ウェブマスターツール。2015年にこの名前へ変わりました）という Google の無料ツールを使います。すでに通知を受け取っている場合、その多くはこの画面から届いています。
- URL 検査ツールに、気になるページの URL を1本、そのまま貼り付けます。すると、そのページについて「クロール（＝アクセス）が許可されているか（Crawl allowed?）」「インデックス登録（＝検索結果への登録）が許可されているか（Indexing allowed?）」が、別々に表示されます。robots.txt でアクセスが止められている場合は、その旨が表示されます。
- サイト全体の robots.txt の状態は、robots.txt レポートで確認できます。
やることは、URL を入れて表示を読むだけです。専門知識がなくても、「アクセスは許可されているが、登録は許可されていない」のように、どの段階で止まっているのかが分かります。この一手間で、次にどこを見るべきかが決まります。
2. WordPress のインデックス設定を確認する
WordPress を使っている場合、まず見てほしい設定があります。管理画面の ［設定］→［表示設定］ を開き、「検索エンジンがサイトをインデックスしないようにする」（古いバージョンでは「検索エンジンでの表示」と表示されます）という項目に、チェックが入っていないかを確認します。
ここにチェックが入っていると、WordPress は各ページに「検索結果に載せないでください」という印（noindex）を付けます。これはアクセスを止めているのではなく、「見つけても検索結果には載せないでほしい」とお願いしている状態です。Googlebot はページを見に来ることはできますが、検索結果には出しません。
公開前の準備中に、あえてこの印を付けておくのは正しい使い方です。ですが、公開後もこの印が付いたままだと、いつまで経ってもページが検索結果に出てきません。公開したのに検索結果に出てこないときは、まずここのチェックを外してください。
3. robots.txt を確認する
次に見るのが robots.txt というファイルです。これは、検索エンジンの巡回ロボットに対して「このページは見に来なくていい」「ここは見に来てほしい」という案内を書いておくためのものです。Googlebot はサイトに来ると、まずこのファイルを見ます。
ここで大切な点が二つあります。
- 名前は必ず「robots.txt」です。「robot.txt」（s が抜けたもの）ではありません。一文字違うだけで、検索エンジンにとっては存在しないファイルと同じ扱いになり、中に何を書いても効果はありません。
- 置き場所は、サイトのいちばん上（ルート）です。具体的には
https://example.com/robots.txtの位置になければ読まれません。下の階層（https://example.com/pages/robots.txtのような場所）に置いても無視されます。
ご自身で確認するなら、ブラウザのアドレス欄に、ご自分のサイトのトップの URL に続けて /robots.txt と打ってみてください（例：https://自社のドメイン/robots.txt）。表示された中身が、そのサイトで実際に効いている robots.txt です。
なお、WordPress の多くは、物理的なファイルを置かなくても、サーバーが自動で robots.txt を用意しています。ですから「ファイルが見当たらない」こと自体は、異常ではありません。
このファイルは、ご自身で書き換えるものではありません。やることは、中身を書き直すことではなく、「意図せず大事なページの巡回が止められていないか」を見つけることです。先ほどの URL 検査ツールで「アクセスが許可されていない」と表示され、ここに心当たりのない記述があれば、それがブロックの原因かもしれません。その一点を、サイトを作った会社やサーバーの管理元に「ここが止まっています」と具体的に伝えれば、直してもらえます。原因が一点に絞れていれば、話はずっと早く進みます。
（正確に言えば、robots.txt で巡回を止めても、他サイトからのリンクなどで URL の存在だけが知られると、中身のないまま検索結果に出てしまうことがあります。ですから「検索結果に出したくない」ときは、robots.txt ではなく、次の META タグで指示します。）
4. META タグ（robots メタタグ）を確認する
3番目は、ページ自体に埋め込まれた META タグ（robots メタタグ）です。ここでも、検索結果に載せるかどうかを指示できます。
たとえば次のような記述があると、そのページは「検索結果に載せない（noindex）」「リンクをたどらない（nofollow）」という指示になっています。
<meta name="robots" content="noindex,nofollow">
検索結果に戻したいなら、noindex を index に、nofollow を follow に変えます。
<meta name="robots" content="index,follow">
補足すると、index,follow はもともとの既定の状態です。ですから、この指示そのものを消しても挙動は同じです（「載せない」の指示を取り除く、と考えて構いません）。
このタグは、ページを開いた状態のソースで確認できます。ブラウザでページを表示し、右クリックから「ページのソースを表示」を選ぶと、<head> の中に上のような記述がないかを、目で確かめられます。
ひとつ、つまずきやすい点があります。この noindex の指示は、Google がそのページを読める状態のときだけ効きます。先ほどの robots.txt で同じページの巡回そのものを止めていると、Google はページを開けず、中の noindex に気づけません。「noindex を消したのに直らない」「robots.txt でブロックしたのに検索結果に残っている」という取り違えは、この順序関係が原因です。robots.txt と META タグの両方が同時にかかっていないか、あわせて確認してください。
なお、この「検索結果に載せない」という指示（noindex）は、robots.txt には書けません。Google は2019年9月に、robots.txt での noindex 指定のサポートを終了しています。載せるかどうかの制御は、あくまで META タグ（robots メタタグ）で行うもの、と覚えておいてください。
5. DNS・サーバー側の問題を確認する
ここまでで原因が見つからないときは、そもそも Googlebot がサイトにたどり着けていない可能性があります。Googlebot がアクセスしようとしたときに、DNS（ドメイン名とサーバーを結びつける仕組み）の応答がなく、通信できないことがあります。この場合は、サーバー側かドメイン側の、どちらかに問題があると考えられます。
こうした「たどり着けない」エラーも、Search Console 側に「サーバーに接続できませんでした」といった形で記録されます。ここまで来ると、ご自身での原因の切り分けは難しくなります。Search Console にどんなエラーが出ているかだけを控えておき、その画面をそのままサーバー会社やドメインの管理元に見せれば、話が早く進みます。
まとめ
ここまで、確認する順番を追ってきました。改めて整理すると、①まず Search Console で状態を確かめる → ②WordPress の設定 → ③robots.txt → ④META タグ → ⑤DNS・サーバー、という順に、上から見ていくのが安全です。上のほう、身近で単純な原因ほど、見落とされがちです。
こうした設定は、普段サイトを眺めているだけでは気づけません。表向きは普通に表示されているのに、検索エンジンにだけ「来ないで」「載せないで」と伝わっている、ということが起こり得るからです。分からなくても、まったく普通のことです。
大事なのは、検索で目立つことそのものではなく、載るべきページが、意図したとおりに検索結果へ載る状態を取り戻すことです。外から静かに診て、詰まっている一点だけを指す。それが私の仕事だと思っています。ご自身のサイトで「どこで止まっているのか分からない」と感じたときの、相談先の一つとして思い出していただければ幸いです。
