Файл robots txt

Сегодня рассмотрим:

  • что такое robot txt;
  • как создать и
  • как настроить под свой сайт.

Что такое robot txt   

robot.txt – это файл в текстовом формате (.txt), который необходим для правильно организованной  индексации сайта. То есть это своего рода               инструкция выверенного алгоритма поведения поисковых роботов, указывающая какие страницы вашего ресурса можно индексировать, а какие нет. Данный формат используется большей частью современных поисковых систем, в качестве рекомендации по индексированию веб-ресурса.

Как все происходит. При  обращении к сайту, поисковый робот изначально сканирует именно файл Роботс, который является разрешением или запретом к сканированию сайта и дальнейшей инструкцией  действий для робота.

Как вы знаете, не все страницы сайта полезны, да и в принципе нужны пользователям,  поэтому они закрываются от поисковых систем, то есть не индексируются.

Еще одна важная функция страницы robots txt — в нем указывается путь к карте сайта Sitemap. А что это такое и зачем, мы подробно рассматривали здесь.

Чтобы ваш сайт функционировал правильно, нужные страницы индексировались robot txt, и не было никаких сбоев, файл   должен соответствовать определенным требованиям:

требования к файлу

Рекомендации по наполнению файла:

рекомендации роботс

* Обязательная директива.

Наиболее часто вам могут понадобиться директивы User-agent, Disallow, Sitemap.

пример применения роботс

Robots txt для wordpress

Для создания файла нам потребуется плагин YOST SEO. О том как его установить и настроить читайте здесь.

Заходим в меню административной панели, ищем плагин YOST SEO, выбираем пункт «ИНСТРУМЕНТЫ»:

создание роботс

В открывшемся окне, вкладку «РЕДАКТОР ФАЙЛОВ»:

редактор файлов

Нажимаем кнопку «СОЗДАТЬ ФАЙЛ ROBOT.TXT»:

создать файл роботс

ВАЖНО!!! ФАЙЛ .htaccess НЕ ТРОГАЕМ!

Теперь нам необходимо удалить в открывшемся окне 3 строки, и вставить готовый вариант кода, исправив в последних строках свои данные:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /?s=
Disallow: /cgi-bin
Disallow: /*?*
Disallow: */feed
Disallow: */feed/*
Allow: /wp-content/uploads/
Allow: /wp-content/*.js$
Allow: /wp-content/*.css$
Allow: /wp-includes/*.js$
Allow: /wp-includes/*.css$
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

User-agent: Yandex
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-admin
Disallow: /?s=
Disallow: /cgi-bin
Disallow: /*?*
Disallow: */feed
Disallow: */feed/*
Allow: /wp-content/uploads/
Allow: /wp-content/*.js$
Allow: /wp-content/*.css$
Allow: /wp-includes/*.js$
Allow: /wp-includes/*.css$
Allow: /wp-content/themes/*.css
Allow: /wp-content/plugins/*.css
Allow: /wp-content/uploads/*.css
Allow: /wp-content/themes/*.js
Allow: /wp-content/plugins/*.js
Allow: /wp-content/uploads/*.js
Allow: /wp-includes/css/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Allow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
Host:ВАШ ДОМЕН
Sitemap: https://ВАШ САЙТ/sitemap_index.xml

Теперь вы знаете где robots txt можно найти.

Должен получиться правильный robots txt:

установка роботс

То есть вы прописываете параметры:

  • HOST – ЭТО ДОМЕННОЕ ИМЯ БЕЗ HTTP ИЛИ ПОЛНАЯ ССЫЛКА, ЕСЛИ SSL- сертификат уже установлен;
  • SITEMAP – нужно вставить ссылку карты сайта html (где взять эту ссылку, читайте здесь).

После «:» обязательно ставим пробел.

Не забываем сохранить изменения!

Настройка robots txt

После того, как мы внесли новые данные, нужно проверить robots txt и сайт на работоспособность. Заходим на свой сайт, в поисковой строке после названия вводим через слэш «/robot. txt», в результате должен появиться файл с прописанным кодом:

проверка роботс

Где disallow означает – закрываем от поисковых систем (robots txt закрыть), а allow- отражает содержимое веб-сайта.

Все, переходим к следующему важному уроку – установка SSL-сертификата.