Перейти к основному содержанию

Перечень директив для ботов поисковых систем

REP (Robots Exclusion Protocol – Протокол Исключений для Роботов) обеспечивает контроль над деятельностью поисковых ботов на уровне всего сайта (файл robots.txt), на уровне отдельных страниц (META-тег или тег X-Robots) и на уровне элементов HTML-кода. Таким образом, можно контролировать и процесс изучения ботами вашего сайта, и его отображение на страницах с результатами поиска (SERPах). Ниже привожу таблицу с перечнем часто встречающихся задач (пользовательских сценариев), способов их решения (директив) и поисковых систем, которые их поддерживают.

 

Пользовательский сценарий

Robots.txt

Тег META / X-Robots

Другое

Поддерживается

Разрешить доступ к контенту

Allow

FOLLOW
INDEX

 

Яндекс

Google
Yahoo
Microsoft

Запретить доступ к контенту

Disallow

NOINDEX
NOFOLLOW

 

Яндекс

Google
Yahoo
Microsoft

Запретить индексацию изображений на странице

 

NOIMAGEINDEX

 

Google

Запретить показ кэшированной версии вашего сайта/страницы в результатах поиска

 

NOARCHIVE

 

Google
Yahoo
Microsoft

Запретить создание описаний (сниппетов) для этого контента в результатах поиска

 

NOSNIPPET

 

Google
Yahoo
Microsoft

Запретить перевод контента на другие языки

 

NOTRANSLATE

 

Google

Запретить следовать по ссылкам или передавать по ним вес (в рамках данной части контента)

 

NOFOLLOW

a href attribute:
rel=NOFOLLOW

Google
Yahoo
Microsoft

Не использовать ODP (DMOZ) для создания описаний в результатах поиска

 

NOODP

 

Google
Yahoo
Microsoft

Не использовать Yahoo! Directoryдля создания описаний в результатах поиска

 

NOYDIR

 

Yahoo

Запретить индексацию указанного элемента HTML-страницы

   

class=robots-nocontent

Yahoo

Прекратить индексацию контента после указанной даты

 

UNAVAILABLE_AFTER

 

Google

Запретить создание всплывающих подсказок в результатах поиска

 

NOPREVIEW

 

Microsoft

Указать файл карты сайта или файл с перечнем ее содержимого

Sitemap

   

Яндекс

Google
Yahoo
Microsoft

Указать главное зеркало сайта

Host

   

Яндекс

Указать частоту, с которой поисковый бот может иметь доступ к вашему сайту

Crawl-Delay

 

Google WMT

Яндекс

Yahoo
Microsoft

Очистить адреса страниц (URL) сайта от ненужных динамических параметров

Clean-param

   

Яндекс

Проверить подлинность поискового бота

   

Просмотреть имя хоста (DNS)

Google
Yahoo
Microsoft

Послать запрос об удалении вашего сайта из индекса поисковой системы

   

Google WMT
Yahoo SE
Microsoft WMT

Google
Yahoo
Microsoft

По материалам статьи Ванессы Фокс Managing Robot’s Access To Your Website


21 октября 2009
Что мы делаем?

Делаем УДОБНЫЕ сайты, разрабатываем фирменный стиль, продвигаем сайты в поисковиках и занимаемся контекстной рекламой.