noindexとrobots.txtの違い
検索に出したくないページの扱い方
noindexとrobots.txtは、どちらも検索エンジンに関係する設定ですが、 役割はまったく同じではありません。 noindexは、ページをクロールできる状態にしたうえで、 Googleへ「このページを検索結果へ掲載しないでください」と伝える指示です。 robots.txtは、特定のURLをGooglebotなどがクロールできるかどうかを制御するファイルです。 検索結果から除外したいページをrobots.txtだけでブロックすると、 Googleがページ内のnoindexを確認できず、 URLだけが検索結果に残る可能性があります。 本記事では、二つの違いと使い分け、 WordPressでの設定場所、 問い合わせ完了ページ・会員ページ・テストページなどの扱い、 削除・非公開・一時的な除外に適した方法、 Search Consoleを使った確認手順、 必要なページを誤って除外した場合の復旧方法まで解説します。
掲載を止める
Googleがページをクロールして指示を読める状態にし、インデックス登録を防ぎます。
制御する
主にクローラーのアクセスを管理するもので、Webページを検索結果から消す仕組みではありません。
アクセスを制限
noindexは閲覧を防ぎません。顧客情報や社内資料はログイン・パスワードで保護します。
noindexはインデックス制御 robots.txtはクロール制御
「検索結果に出さない」と「クローラーに見に来させない」を分けて考えます。
取得制御
noindexは、HTMLページのrobotsメタタグや HTTPレスポンスのX-Robots-Tagで指定する指示です。 Googleがページをクロールし、noindexを確認すると、 そのページをGoogle検索のインデックスへ登録しない、 または既に登録されているページを後から除外します。
robots.txtは、サイトのルートに置くテキストファイルで、 Googlebotなどのクローラーへ 「どのURLをクロールしてよいか」を伝えます。 主な用途はクローラーによるアクセスの管理であり、 WebページをGoogle検索から確実に消すための仕組みではありません。
robots.txtでURLをブロックすると、 Googlebotはページ本文やHTML内のnoindexを取得できません。 そのため、外部リンクなどからURLを知ったGoogleが、 内容を読めないままURLだけを検索結果へ表示する可能性があります。 検索結果へ出したくない通常のWebページは、 robots.txtでクロールを許可したうえでnoindexを読ませるのが基本です。
検索から外したい理由に応じて noindex・削除・認証・転送を使い分ける
すべての「見せたくないページ」をnoindexで処理するわけではありません。
完了ページ、社内用の説明ページ、 広告専用ページなどは、 内容と運用目的を確認してnoindexを検討します。
個人情報、契約書、限定資料、 顧客専用ページはnoindexではなく、 ログイン・パスワード・権限管理で保護します。
後継がなければ404・410、 後継があれば301を使い、 古いURLをサイトマップから外します。
大量のパラメータURLや重複URLなどは、 URL生成・内部リンク・canonicalを整理したうえで、 必要に応じてrobots.txtを検討します。
noindexはページをクロール可能にし 検索結果へ掲載しない指示を読ませる
HTMLページはrobotsメタタグ、PDFなどはX-Robots-Tagを利用できます。
content=”noindex”>
HTMLページでは、ページの
<head>内へ
<meta name="robots" content="noindex">
を出力します。
Googlebot専用に指定する場合は
name="googlebot"も利用できますが、
通常は主要検索エンジンへ共通で伝えるrobots指定が分かりやすいでしょう。
PDF、画像、動画など、
HTMLのheadへmetaタグを追加できないファイルでは、
HTTPレスポンスヘッダーに
X-Robots-Tag: noindexを設定できます。
サーバーやCDNの設定が必要になるため、
変更後は実際のレスポンスヘッダーを確認します。
noindexはアクセス制限ではありません。 ページのURLを知っている人、リンクから訪れた人、 Google以外のサービスは内容を閲覧できる可能性があります。 非公開情報を守る目的では使わず、 適切な認証やファイル削除を行ってください。
サービス、料金、会社概要、事例、 問い合わせなど、集客に必要なページを誤って除外しないようにします。
CMS・SEOプラグイン・テーマ・コードのうち、 現在使用している一つの方法で設定します。
Googleがページへアクセスしてnoindexを読めるよう、 対象URLをDisallowで塞がないようにします。
検索登録したいURLの一覧へ、 noindexページを載せ続けないようにします。
管理画面の設定だけでなく、 実際のHTMLやレスポンスにnoindexが出力されているか確認します。
URL検査のライブテストを行い、 Googleがnoindexを検出できる状態か確認します。
robots.txtはクローラーのアクセスを管理し 検索除外の代わりには使わない
ファイルの配置場所・対象ホスト・ルール範囲を理解してから変更します。
Disallow: /private/
robots.txtは、
https://example.com/robots.txtのように
サイトのルートへ置きます。
User-agentで対象クローラーを指定し、
DisallowでクロールさせないURLパターンを指定します。
robots.txtはホストとプロトコルごとに適用範囲が異なります。 例えば、httpsのwwwなしドメインに置いたrobots.txtが、 httpや別サブドメインへ自動的に同じ形で適用されるとは限りません。 実際にGoogleがアクセスするURLごとに確認が必要です。
小規模事業者サイトでは、 管理画面、内部検索の大量URL、 無限に生成されるパラメータURLなどへのクロールを整理する目的で robots.txtを検討する場合があります。 ただし、サービスページやCSS・JavaScriptなど、 Googleがページを理解するために必要なURLを安易にブロックしないでください。
Disallow: /を本番サイトへ残すと、
Googlebotが全ページをクロールできなくなります。
Googleがnoindexを読めないため、 検索除外の反映が遅れたりURLが残ったりする可能性があります。
Googleがページを正しくレンダリングできず、 モバイル表示や内容を理解しにくくなることがあります。
URLのパスやルールの書き方によって対象が変わります。 想定したページだけに一致するか確認します。
robots.txtは誰でも閲覧でき、 対象URLの存在を推測される可能性があります。 秘密情報は認証で守ります。
サイト改修後にパスが変わったら、 不要なルールと新URLへの影響を確認します。
WordPressではサイト全体設定と ページ単位設定を分けて確認する
管理画面のチェック、SEOプラグイン、テーマ、サーバー設定が重複する場合があります。
検索エンジンでの表示
WordPressの「設定」から「表示設定」を開くと、 「検索エンジンがサイトをインデックスしないようにする」 または同様の検索エンジン表示設定があります。 WordPress公式ドキュメントでは、 この設定を有効にするとサイトのheadへ noindex,nofollowが生成されると説明されています。
制作中のサイトで一時的に使用していた場合、 本番公開時にチェックを外し忘れると、 トップページやサービスページを含むサイト全体が検索除外されます。 公開チェックリストの最優先項目として確認してください。
個別ページをnoindexにする場合は、 SEOプラグインやテーマのページ編集画面で設定できることがあります。 プラグインごとに名称や初期値が異なるため、 「管理画面でindexになっている」だけでなく、 公開ページのHTMLソースとSearch Consoleでも確認します。
本番公開サイトでは、 検索エンジンへのインデックス抑制が意図せず有効になっていないか確認します。
投稿、固定ページ、カテゴリ、 タグ、カスタム投稿タイプの初期index設定を確認します。
重要ページだけnoindexになっていないか、 複製ページから設定が引き継がれていないかを確認します。
header.php、functions.php、 カスタムフックなどからnoindexやX-Robots-Tagを追加していないか確認します。
設定を解除しても古いHTML・ヘッダーが残る場合があるため、 ページ・サーバー・CDNキャッシュを更新します。
indexへ戻した重要ページがサイトマップへ入り、 noindexページが除外されているか確認します。
URL検査でGoogleが見た状態を確認し 誤設定を解除して再クロールを依頼する
管理画面の設定と、Googleが最後に取得した状態には時間差があります。
Search Consoleの対象プロパティを選び、 検索に出したいページの完全なURLを検査します。
「noindexタグによって除外」「robots.txtによりブロック」など、 Googleが最後に確認した理由とクロール日時を見ます。
現在のHTML・HTTP応答・クロール許可をリアルタイムで確認し、 修正が反映されているかを見ます。
noindex、X-Robots-Tag、 robots.txt、認証、メンテナンス、 リダイレクトを一つずつ確認します。
検索に出したいページをXMLサイトマップへ含め、 メニュー・関連記事・サービスページからリンクします。
公開URLテストで問題がなければ、 URL検査から再クロール・インデックス登録をリクエストします。
除外するページと検索へ出すページを一覧化し 公開前後に設定を二重確認する
サイト全体設定、ページ設定、サーバー設定、Search Consoleを順番に確認します。
トップ、サービス、料金、会社概要、 事例、アクセス、問い合わせ、主要記事を整理します。
完了ページ、サイト内検索、広告専用、 重複ページなど、除外理由と担当者を残します。
noindexだけで管理している顧客資料・社内情報がないか確認し、 必要なアクセス制限を設定します。
WordPress表示設定、robots.txt、 Basic認証、メンテナンスモードを確認します。
管理画面だけでなく、公開ページに出力された指示と、 XMLサイトマップの掲載状態を確認します。
公開直後、プラグイン変更後、 リニューアル後に主要URLをライブテストします。
検索に出すページと出さないページを 技術設定とサイト構造の両方で管理する
noindex・robots.txtだけでなく、サイトマップ、内部リンク、削除方法まで整えましょう。
合わせて確認したい内容
- Googleに表示したい重要ページ
- robotsメタタグとX-Robots-Tag
- robots.txtのクロール許可
- WordPressの検索エンジン表示設定
- SEOプラグインのページ単位設定
- XMLサイトマップと内部リンク
- 404・410・301リダイレクト
- Search ConsoleのURL検査
※noindexやrobots.txtの設定によって、 検索順位、クロール頻度、アクセス数が 必ず改善することを保証するものではありません。 誤設定は重要ページの検索流入を失う原因になるため、 変更前後に対象URLを必ず確認してください。
Googleに表示されない原因を見る →noindexとrobots.txtを混同しない
検索結果へ出したくないWebページには、 Googleがクロールできる状態でnoindexを読ませます。 robots.txtはクロール管理に使い、 noindexを読ませたいページを同時にブロックしないようにします。 非公開情報は認証、削除ページは404・410、 後継ページがある場合は301を使い、 Search Consoleで実際の状態を確認しましょう。
本記事は、2026年7月時点で公開されている Google検索セントラル、Search Console、 WordPress公式情報を参考に作成しています。 Googleのクロール・インデックス仕様、 Search Consoleの画面、WordPress・SEOプラグインの設定方法は 変更される場合があります。 最新の公式情報と公開ページの実際のHTML・HTTP応答を確認してください。
