robots.txtによってURLがブロックされている時の対処方法

WordPress で作成したサイトを公開したときの事。

数記事書いたので、Google にインデックスしてもらおうと、Search Console からサイトマップを送信。

robots.txtによってブロックされている！

ムムム、ちゃんとインデックスされるように設定したはずなのに。

今後、同じような体験をした方のために、その時に、対応した事を紹介。

URL が robots.txt によってブロックされている！

サイトマップ送信後に、画像を取り忘れてしまったのだが、赤枠の部分に「警告数：○○」と表示されていた。

リンクになっていたので、クリックすると「URL が robots.txt によってブロックされています」という説明が！

念のため、Search Console β 版の「URL 検査」でチェックするも、同じようにダメ。

で、一つずつ順番に確認を行う事に。

WordPress には、インデックスしないようにする設定がある、まずは、その設定を確認。

WordPress の管理画面にログインし、[設定] – [表示設定] を選択。

そうすると、以下のような「検索エンジンでの表示」という設定項目がある。

ここにチェックが入っていると、検索エンジンにインデックスしてもらえない。

私の場合は、チェックはちゃんと外してあった。

WordPress 側の設定には、問題は無いようだ。

次に疑ったのが、robots.txt の記述内容について。

私は、「Google XML Sitemaps」というプラグインを使って、サイトマップを自動生成している。

[Search Console] – [クロール] – [robots.txt テスター] を見てみると、

間違っている訳では無いらしい。

一応、右上にある「公開済みの robots.txt を表示する」を押して、違いが無いかみてみる。

違いは、なかった。

ここで、行き詰った。

書き方に問題は無く、WordPress の設定も間違っていない。

で、色々調べてみると、「robots.txt は変更後、反映されるまでに数日かかる」という事が分かる。

待てばいいだけだったらしい。

私は、不安だったので 1 日 1 回だけ、サイトマップを送信し続けた。

そしたら、3 日後、無事解決した。

「URL が robots.txt によってブロックされている」という警告で、あたふたしてしまったが、結果的には、

果報は寝て待て。

但し、警告が出たら、「WordPress の設定」「robots.txt テスターで構文チェック」は、確認した方が良いでしょう。