HTMLのヘッダ部分、メタタグでの記述。
robots＝検索エンジン(Googleなど対応している検索エンジン全般)
に対して、
noindex＝登録させない(インデクサに登録させない)
nofollow＝発リンクを無効化(ページからのリンクジュースを付与しない)
noarchive＝クローラがページを記憶しない(検索エンジンにキャッシュ情報を登録させない)
をまとめて記述することで、ページが検索結果やページキャッシュとしてインターネット上から検索できないようにしておくことができる。発リンクも無効にすることで被リンクなどからサイトをたどることを防ぐことができる。
<meta name=”robots” content=”noindex,nofollow,noarchive” />
基本的には検索エンジンを通して公開したくないページなどのheadタグ内に記述する。
ただし、インターネット上に公開されていないというわけではないので注意が必要。