サイトを運営していると、こんな悩みにぶつかることってありますよね。「会員限定のページ」や「テスト中のページ」など、検索エンジンに見せたくないページが出てくることもあるでしょう。
実は、これらをコントロールするのが「meta robotsタグ」や「robots.txt」という仕組みなんです。名前は難しそうですが、役割さえ分かれば怖くありません！
この記事では、初心者の方にも分かりやすく、これらの仕組みと設定方法を解説します。
- 「meta robots」と「robots.txt」の違いがスッキリ分かる
- 特定のページを検索結果に表示させない方法（noindex）が分かる
- WordPressでの具体的な設定手順が分かる
- 設定ミスによる「サイトが消えるリスク」を回避できる
検索エンジンのロボットと上手に付き合って、サイトの評価をしっかり守っていきましょう！
まずは基本！ ロボットへの「2つの指示書」
検索エンジン（Googleなど）は、「クローラー」と呼ばれるロボットを派遣して、あなたのサイトの情報を集めています。このロボットに対して、「ここは見ていいよ」「ここはダメだよ」と伝える手段が2つあります。
1. ページごとの名札「meta robotsタグ」
meta robots（メタ・ロボッツ）タグは、ページ単位で指示を出すためのものです。
ページの頭の部分（HTMLのhead内）に、「このページは検索に出さないでね（noindex）」とか「このページにあるリンクは辿らないでね（nofollow）」といった具体的な指示を書いた名札を付けておくイメージです。
noindexタグはWeb制作現場でよく使うタグですね！
2. サイトの門番「robots.txt」
robots.txt（ロボッツ・テキスト）は、サイト全体の入り口に置くファイルです。
これは「門番」のような役割をします。「管理画面のあるこのエリアは、ロボットの立ち入り禁止！」というふうに、特定の場所へのアクセス自体をブロックすることができます。
「中身を見てもいいけど登録はしないで」ならmetaタグ、「そもそも部屋に入らないで」ならrobots.txt、という使い分けだね！
よく使う「noindex」と「nofollow」を理解しよう
meta robotsタグで使う指示の中で、特に重要なのが「noindex」と「nofollow」です。この2つはSEO対策で頻繁に登場するので、ぜひ覚えておきましょう。
noindex（検索結果に出さない）
「インデックスしないで！」という命令です。これを設定すると、そのページはGoogleの検索結果に表示されなくなります。
- 内容が薄いページや、重複しているページ
- サイト内検索の結果ページ
- テスト公開中のページ
こういった「ユーザーにとって価値が低いページ」や「見せたくないページ」に設定することで、サイト全体の質の評価を守ることができます。
nofollow（リンクを辿らせない）
「このリンク先は評価しなくていいよ！」という命令です。
通常、リンクを貼ると、あなたのサイトの「評価（パワー）」がリンク先に少し分け与えられます。しかし、信頼できないサイトや、広告リンクなどで評価を渡したくない場合に「nofollow」を使います。
WordPressでの設定方法
「HTMLを編集するのは難しそう…」と思った方もご安心ください。WordPressなら、プラグインを使えばとっても簡単です！
SEOプラグインを使うのがおすすめ
「XML Sitemap & Google News」や「All in One SEO」、「Yoast SEO」などの有名なSEOプラグインを入れている場合、記事の投稿画面の下の方に設定エリアが追加されています。
- 「このページをインデックスしない（noindex）」
- 「リンクを辿らせない（nofollow）」
といった項目にチェックを入れるだけで設定完了です。これならHTMLを触らなくて済むので安全ですね。
robots.txtの設定場所
robots.txtは、サーバー上の「一番上の階層（ルートディレクトリ）」にファイルを置く必要があります。
自分でテキストファイルを作ってFTPソフトでアップロードする方法もありますが、これもSEOプラグインの機能で編集できることが多いです。記述ミスをするとサイト全体が見られなくなることもあるので、慎重に操作しましょう。
失敗しないための確認ポイント
設定が終わったら、必ず「正しく動いているか」を確認しましょう。設定ミスはSEOにとって命取りになりかねません。
Googleサーチコンソールで診断
Googleサーチコンソールの「URL検査ツール」を使えば、そのページが現在どう認識されているかチェックできます。
- 「URL は Google に登録されています」→ インデックスされている
- 「noindex タグによって除外されました」→ noindexが効いている
意図通りになっているか、ここで答え合わせをしましょう。
うっかりミスに注意！
一番怖いのは、「サイト全体をnoindexにしてしまう」ことや、「robots.txtですべてのロボットを拒否してしまう」ことです。
これをやってしまうと、あなたのサイトが検索結果から完全に消えてしまいます。設定を変更する際は、慎重に行いましょう。
- meta robotsタグ: ページごとに「登録しないで（noindex）」などの指示を出す名札。
- robots.txt: サイト全体へのアクセスを制御する門番。
- noindexの活用: 質の低いページや見せたくないページを検索結果から隠せる。
- 確認が大事: 設定後は必ずGoogleサーチコンソールでチェックしよう。
最初は難しく感じるかもしれませんが、WordPressならプラグインのチェックボックス一つで管理できます。まずは、サーチコンソールで自分のサイトの状態を確認することから始めてみてくださいね！
「特定のページだけ、検索結果に出したくないんだけど…どうすればいいの？」
「SEO対策で『metaタグ』とか『robots.txt』とか聞くけど、難しすぎて全然わからないよ～！」