Пользовательский сценарий

Robots.txt

Тег META / X-Robots

Другое

Поддерживается

Разрешить доступ к контенту

Allow

FOLLOW
INDEX

Яндекс

Google
Yahoo
Microsoft

Запретить доступ к контенту

Disallow

NOINDEX
NOFOLLOW

Яндекс

Google
Yahoo
Microsoft

Запретить индексацию изображений на странице

NOIMAGEINDEX

Google

Запретить показ кэшированной версии вашего сайта/страницы в результатах поиска

NOARCHIVE

Google
Yahoo
Microsoft

Запретить создание описаний (сниппетов) для этого контента в результатах поиска

NOSNIPPET

Google
Yahoo
Microsoft

Запретить перевод контента на другие языки

NOTRANSLATE

Google

Запретить следовать по ссылкам или передавать по ним вес (в рамках данной части контента)

NOFOLLOW

a href attribute:
rel=NOFOLLOW

Google
Yahoo
Microsoft

Не использовать ODP (DMOZ) для создания описаний в результатах поиска

NOODP

Google
Yahoo
Microsoft

Не использовать Yahoo! Directory для создания описаний в результатах поиска

NOYDIR

Yahoo

Запретить индексацию указанного элемента HTML-страницы

class=robots-nocontent

Yahoo

Прекратить индексацию контента после указанной даты

UNAVAILABLE_AFTER

Google

Запретить создание всплывающих подсказок в результатах поиска

NOPREVIEW

Microsoft

Указать файл карты сайта или файл с перечнем ее содержимого

Sitemap

Яндекс

Google
Yahoo
Microsoft

Указать главное зеркало сайта

Host

Яндекс

Указать частоту, с которой поисковый бот может иметь доступ к вашему сайту

Crawl-Delay

Google WMT

Яндекс

Yahoo
Microsoft

Очистить адреса страниц (URL) сайта от ненужных динамических параметров

Clean-param

Яндекс

Проверить подлинность поискового бота

Просмотреть имя хоста (DNS)

Google
Yahoo
Microsoft

Послать запрос об удалении вашего сайта из индекса поисковой системы

Google WMT
Yahoo SE
Microsoft WMT

Google
Yahoo
Microsoft