Файл robots txt
Содержание
Сегодня рассмотрим:
- что такое robot txt;
- как создать и
- как настроить под свой сайт.
Что такое robot txt
robot.txt – это файл в текстовом формате (.txt), который необходим для правильно организованной индексации сайта. То есть это своего рода инструкция выверенного алгоритма поведения поисковых роботов, указывающая какие страницы вашего ресурса можно индексировать, а какие нет. Данный формат используется большей частью современных поисковых систем, в качестве рекомендации по индексированию веб-ресурса.
Как все происходит. При обращении к сайту, поисковый робот изначально сканирует именно файл Роботс, который является разрешением или запретом к сканированию сайта и дальнейшей инструкцией действий для робота.
Как вы знаете, не все страницы сайта полезны, да и в принципе нужны пользователям, поэтому они закрываются от поисковых систем, то есть не индексируются.
Еще одна важная функция страницы robots txt — в нем указывается путь к карте сайта Sitemap. А что это такое и зачем, мы подробно рассматривали здесь.
Чтобы ваш сайт функционировал правильно, нужные страницы индексировались robot txt, и не было никаких сбоев, файл должен соответствовать определенным требованиям:
Рекомендации по наполнению файла:
* Обязательная директива.
Наиболее часто вам могут понадобиться директивы User-agent, Disallow, Sitemap.
Robots txt для wordpress
Для создания файла нам потребуется плагин YOST SEO. О том как его установить и настроить читайте здесь.
Заходим в меню административной панели, ищем плагин YOST SEO, выбираем пункт «ИНСТРУМЕНТЫ»:
В открывшемся окне, вкладку «РЕДАКТОР ФАЙЛОВ»:
Нажимаем кнопку «СОЗДАТЬ ФАЙЛ ROBOT.TXT»:
ВАЖНО!!! ФАЙЛ .htaccess НЕ ТРОГАЕМ!
Теперь нам необходимо удалить в открывшемся окне 3 строки, и вставить готовый вариант кода, исправив в последних строках свои данные:
User-agent: * Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /?s= Disallow: /cgi-bin Disallow: /*?* Disallow: */feed Disallow: */feed/* Allow: /wp-content/uploads/ Allow: /wp-content/*.js$ Allow: /wp-content/*.css$ Allow: /wp-includes/*.js$ Allow: /wp-includes/*.css$ Allow: /wp-content/themes/*.css Allow: /wp-content/plugins/*.css Allow: /wp-content/uploads/*.css Allow: /wp-content/themes/*.js Allow: /wp-content/plugins/*.js Allow: /wp-content/uploads/*.js Allow: /wp-includes/css/ Allow: /wp-includes/js/ Allow: /wp-includes/images/ Allow: /wp-content/uploads/ Allow: /wp-admin/admin-ajax.php User-agent: Yandex Disallow: /wp-login.php Disallow: /wp-register.php Disallow: /xmlrpc.php Disallow: /wp-admin Disallow: /?s= Disallow: /cgi-bin Disallow: /*?* Disallow: */feed Disallow: */feed/* Allow: /wp-content/uploads/ Allow: /wp-content/*.js$ Allow: /wp-content/*.css$ Allow: /wp-includes/*.js$ Allow: /wp-includes/*.css$ Allow: /wp-content/themes/*.css Allow: /wp-content/plugins/*.css Allow: /wp-content/uploads/*.css Allow: /wp-content/themes/*.js Allow: /wp-content/plugins/*.js Allow: /wp-content/uploads/*.js Allow: /wp-includes/css/ Allow: /wp-includes/js/ Allow: /wp-includes/images/ Allow: /wp-content/uploads/ Allow: /wp-admin/admin-ajax.php User-agent: Googlebot-Image Allow: /wp-content/uploads/ User-agent: YandexImages Allow: /wp-content/uploads/ Host:ВАШ ДОМЕН Sitemap: https://ВАШ САЙТ/sitemap_index.xml
Теперь вы знаете где robots txt можно найти.
Должен получиться правильный robots txt:
То есть вы прописываете параметры:
- HOST – ЭТО ДОМЕННОЕ ИМЯ БЕЗ HTTP ИЛИ ПОЛНАЯ ССЫЛКА, ЕСЛИ SSL- сертификат уже установлен;
- SITEMAP – нужно вставить ссылку карты сайта html (где взять эту ссылку, читайте здесь).
После «:» обязательно ставим пробел.
Не забываем сохранить изменения!
Настройка robots txt
После того, как мы внесли новые данные, нужно проверить robots txt и сайт на работоспособность. Заходим на свой сайт, в поисковой строке после названия вводим через слэш «/robot. txt», в результате должен появиться файл с прописанным кодом:
Где disallow означает – закрываем от поисковых систем (robots txt закрыть), а allow- отражает содержимое веб-сайта.
Все, переходим к следующему важному уроку – установка SSL-сертификата.