Googlebotにブロックされた時にチェックすべき点

2015/7/30更新

GooglebotとはGoogleのWebクロールロボットのことで、新しいページや更新されたページを検出したりします。このGooglebotがブロックされるとGoogleに対してサイトの情報が伝わらず、いつまで立っても検索の上位に表示されることはありません。もしウェブマスターツールでブロックされていると通知を受けた場合、以下の理由が考えられますのでチェックしてみて下さい。

1. インデックスの許可(WordPress)

検索エンジンでの表示

もしWordPressを使っている場合、[設定] → [表示設定] → [検索エンジンでの表示]のチェックが入っている場合、チェックを外してください。これにチェックが入っているとGooglebotのアクセスを拒否します。公開前の構築段階の時はチェックを入れた方がいいですが、公開後はよっぽどの理由がない限りチェックを外しましょう。

2. robot.txt

robot.txtとはロボット型検索エンジンに対する命令を記述するファイルで、通常index.htmlと同じディレクトリに用意します。ここでGooglebotにクロールしてほしくないページやカテゴリーの指示を行うこともできます。Googlebotはサイトにいくとまずこのrobot.txtを見ます。書き方が間違っていないか改めてチェックしてみましょう。

3. METAタグ

METAタグの指示で意図的にGooglebotのアクセスを拒否することができます。

この場合、noindexをindexに、nofollowをfollowに変えることで解決します。

4. DNSプロバイダの問題

GooglbotがWebサイトにアクセスしようとした時、DNSサーバーと通信できないことがあります。
この場合、サーバー側、ドメイン側のどちらかに問題があると考えられます。

ご不明な点があればお気軽にコメントください( ˘ω˘)

タイムチケットやってます!

トラックバック:https://recost-design.com/867.html/trackback