robots.txtによってURLがブロックされている時の対処方法

URLが robots.txt によってブロックされています - blocked url robots.txt

WordPress で作成したサイトを公開したときの事。

数記事書いたので、Google にインデックスしてもらおうと、Search Console からサイトマップを送信。

robots.txtによってブロックされている!

ムムム、ちゃんとインデックスされるように設定したはずなのに。

今後、同じような体験をした方のために、その時に、対応した事を紹介。

スポンサーリンク

URL が robots.txt によってブロックされている!

サーチコンソール - インデックス エラー

サイトマップ送信後に、画像を取り忘れてしまったのだが、赤枠の部分に「警告数:○○」と表示されていた。

リンクになっていたので、クリックすると「URL が robots.txt によってブロックされています」という説明が!

念のため、Search Console β 版の「URL 検査」でチェックするも、同じようにダメ。

search colsole beta - index error

で、一つずつ順番に確認を行う事に。

WordPress の設定確認

WordPress には、インデックスしないようにする設定がある、まずは、その設定を確認。

WordPress の管理画面にログインし、[設定] – [表示設定] を選択。

そうすると、以下のような「検索エンジンでの表示」という設定項目がある。

ワードプレス インデックス設定 - wordpress index setting

ここにチェックが入っていると、検索エンジンにインデックスしてもらえない。

私の場合は、チェックはちゃんと外してあった。

WordPress 側の設定には、問題は無いようだ。

robots.txt テスターで構文チェック

次に疑ったのが、robots.txt の記述内容について。

私は、「Google XML Sitemaps」というプラグインを使って、サイトマップを自動生成している。

Google (XML) Sitemaps Generator for WordPress
This plugin generates a XML-Sitemap compliant sitemap of your WordPress blog. This format is supported by Ask.com, Google, YAHOO and MSN Search.

[Search Console] – [クロール] – [robots.txt テスター] を見てみると、

robots.txt テスター

間違っている訳では無いらしい。

一応、右上にある「公開済みの robots.txt を表示する」を押して、違いが無いかみてみる。

違いは、なかった。

robots.txt は変更後、反映されるまでに数日かかる

ここで、行き詰った。

書き方に問題は無く、WordPress の設定も間違っていない。

で、色々調べてみると、「robots.txt は変更後、反映されるまでに数日かかる」という事が分かる。

待てばいいだけだったらしい。

私は、不安だったので 1 日 1 回だけ、サイトマップを送信し続けた。

そしたら、3 日後、無事解決した。

サーチコンソール - サイトマップ 問題無し

search console beta - sitemap success

まとめ

「URL が robots.txt によってブロックされている」という警告で、あたふたしてしまったが、結果的には、

果報は寝て待て。

但し、警告が出たら、「WordPress の設定」「robots.txt テスターで構文チェック」は、確認した方が良いでしょう。

コメント