- RU
- EN
Список директив для поисковых роботов
REP (Robots Exclusion Protocol – Протокол Исключений для Роботов) обеспечивает контроль над деятельностью поисковых ботов на уровне всего сайта (файл robots.txt), на уровне отдельных страниц (META-тег или тег X-Robots) и на уровне элементов HTML-кода. Таким образом, можно контролировать и процесс изучения вашего сайта поисковыми роботами, и его отображение на страницах с результатами поиска (SERPах). Ниже привожу таблицу со списком часто встречающихся задач (пользовательских сценариев), способов их решения (директив) и поисковых систем, которые их поддерживают.
Пользовательский сценарий |
Robots.txt |
Тег META / X-Robots |
Другое |
Поддерживается |
Разрешить доступ к контенту |
Allow |
FOLLOW |
Яндекс Google |
|
Запретить доступ к контенту |
Disallow |
NOINDEX |
Яндекс Google |
|
Запретить индексацию изображений на странице |
NOIMAGEINDEX |
|
||
Запретить показ кэшированной версии вашего сайта/страницы в результатах поиска |
NOARCHIVE |
Google |
||
Запретить создание описаний (сниппетов) для этого контента в результатах поиска |
NOSNIPPET |
Google |
||
Запретить перевод контента на другие языки |
NOTRANSLATE |
|
||
Запретить следовать по ссылкам или передавать по ним вес (в рамках данной части контента) |
NOFOLLOW |
a href attribute: |
Google |
|
Не использовать ODP (DMOZ) для создания описаний в результатах поиска |
NOODP |
Google |
||
Не использовать Yahoo! Directoryдля создания описаний в результатах поиска |
NOYDIR |
Yahoo |
||
Запретить индексацию указанного элемента HTML-страницы |
class=robots-nocontent |
Yahoo |
||
Прекратить индексацию контента после указанной даты |
UNAVAILABLE_AFTER |
|
||
Запретить создание всплывающих подсказок в результатах поиска |
NOPREVIEW |
Microsoft |
||
Указать файл карты сайта или файл с перечнем ее содержимого |
Sitemap |
Яндекс Google |
||
Указать главное зеркало сайта |
Host |
Яндекс |
||
Указать частоту, с которой поисковый бот может иметь доступ к вашему сайту |
Crawl-Delay |
Яндекс Yahoo |
||
Очистить адреса страниц (URL) сайта от ненужных динамических параметров |
Clean-param |
Яндекс |
||
Проверить подлинность поискового бота |
Просмотреть имя хоста (DNS) |
Google |
||
Послать запрос об удалении вашего сайта из индекса поисковой системы |
Google WMT |
Google |
По материалам статьи Ванессы Фокс Managing Robot’s Access To Your Website
- - -
Эту страницу находят по запросам:
- директивы для поисковых роботов
- robots.txt пример
- robots.txt google
- robots.txt disallow
- robots.txt проверка
- disallow: *?*
- как создать файл robots.txt для сайта
- как создать файл robots.txt для wordpress