カバレッジエラー「送信された URL が robots.txt によってブロックされました」の対策（WordPress）

Google Search Console で「『カバレッジ』の問題が新たに検出されました」と表示されるケースがあります。突然「問題」（エラー）と言われるとかなり焦りますが、エラーには原因がありますのでしっかり対策すれば回復します。

本記事では、カバレッジエラーの「送信された URL が robots.txt によってブロックされました」について解説します。

カバレッジエラー

■ カバレッジエラーとはページにアクセスしページの問題です

Google （のクローラー）がページにアクセスしページの問題（「エラー」「警告」「有効」「除外」）の有無を発見してくれます。

「エラー」や「警告」の場合はページに問題が生じており、SEO にも影響しますのでできる限り対策、修正が求められます。

カバレッジエラーの中で、よく見かけるエラーが「送信された URL が robots.txt によってブロックされました」です。

■ カバレッジエラーの確認方法

「Google Search Console」 のメニューから 「カバレッジ」 を選択することで、エラーを確認できます。

「エラー」や「警告」が表示されている場合、該当のエラーの詳細を合わせて確認することが可能です。

■ 「送信された URL が robots.txt によってブロックされました」エラーとは？

あなたのサイトが、「サイトマップ（sitemap.xml）にページの新規または更新が乗っているが、robots.txt で巡回を拒否しているよ」というエラーになります。

「robots.txt」とは、Google などにクロール（巡回）してほしくないページなどを記載するファイルです。

カバレッジエラー「 送信された URL が robots.txt によってブロックされました 」の対処方法

■ 対象のページの確認

「Google Search Console」 のメニューから 「カバレッジ」 を選択することで、エラーを確認できます。「エラー」や「警告」が表示されている場合、該当のエラーの詳細を合わせて確認することが可能です。

例）エラー： 送信された URL が robots.txt によってブロックされました
例）URL：https://xxx.xxx.xxx.xxx/sitemap.html

■ 対処方法①「robots.txt」を確認・修正する

サイトに設置している「robots.txt」を取得して、内容を確認します。

（robots.txt ファイルはサイトの内部ファイルになりますので、FTPソフト等でサーバに接続し編集する必要があります）

「Disallow: 」以降に書かれているページ（例の場合は、「xxxx.html」）が巡回拒否のページになります。巡回拒否してほしくないページが記載されている場合、 「Disallow: 」 の行を削除して保存してください。

■ 対処方法②「sitemap.html」を除外する

[Google XML-Sitemap] プラグインの設定で「HTML形式でのサイトマップを含める」をチェックしている場合、HTML形式のサイトマップファイル（sitemap.html）を自動生成します。

これは人間が目で見て理解しやすいように配置されることが主な目的なので、作成有無が SEO 効果に影響することはあまりありません。

※ google のクローラが確認するのは、sitemap.xml （拡張子が xml）のファイルになります。

robots.txt では、「sitemap.html」を disallow に指定して除外している場合がよくあります。

この場合は、robots.txt の修正ではなく、sitemap.html の出力を行わない設定にします。

sitemap.html は基本的には不要です。「Google XML-Sitemap」 プラグインの設定で「HTML形式でのサイトマップを含める」をチェックを外し作成を行わない設定にしてください。

まとめ：カバレッジエラー「送信された URL が robots.txt によってブロックされました」の対策

Google Search Console で「『カバレッジ』の問題が新たに検出されました」と表示され、エラーが 「送信された URL が robots.txt によってブロックされました」 の場合の対策です。

カバレッジのエラーは SEO 対策としても修正しておきたいポイントですので、早めに対応していきましょう。