Файл Robots в формате txt для WordPress – где лежит и как создать правильный файл роботс

Один из важных файлов SEO при оптимизации любого ресурса это роботс. Для каждого сайта индивидуален, но под разные CMS есть минимальный набор команд, которые регулируют роботов ПС. В статье покажу как настроить robots txt WordPress и расшифрую некоторые настройки.

Где лежит Robots txt в файлах WordPress

Не важно чем управляется сайт, но должен лежать в корневой папке. Корень у ВП там где располагаются папки wp-admin, wp-conten и wp-includes, в некоторых случаях есть изменения, но если ничего не изменяли, то в этой директории.

Как создать robots для сайта – наглядный пример

Следуя из расширения txt это стандартное расширение Windows блокнота. Просто создаем новый документ блокнота, выставляем кодировку ANSI и придаем ему название robots.

Далее по FTP загружаете файл в корневую папку WordPress, либо через файловый менеджер на хостинге. Для проверки, отображение введите в адресной строке такую комбинацию site.ru/robots.txt соответственно домен подставляем свой.

У новичков бывает вопрос, что не могу найти объект в директории на хостинге – наверное создан в виртуальном формате, поясню ниже что это такое.

Как наполнить правильный стандартный роботс

На стадии создания правильного документа его нужно заполнить, подобрал начальный, стандартный, оптимальный вариант для Яндекса и Google. Копируем и вставляем в свой robots с командами для WordPress. Сохраняем как показывал выше, в txt и ANSI. Не волнуйтесь с индексацией записей ничего не делаем.

User-agent: *
Disallow: /wp-
Disallow: /tag/
Disallow: */trackback
Disallow: */page
Disallow: /author/*
Disallow: /template.html
Disallow: /readme.html
Disallow: *?replytocom
Allow: */uploads
Allow: *.js
Allow: *.css
Allow: *.png
Allow: *.gif
Allow: *.jpg
Sitemap: https://site.ru/sitemap.xml

Не путайте robots txt с meta name в исходном коде HTML, эта область для атрибутов noindex и nofollow.

Что означают команды и как составить robots

Раньше команд было больше, потому что сервера стояли не особо мощные, а роботы брали много ресурсов, чтобы обойти и выкачать все картинки, тексты и другую инфомрацию. Впоследствии большинство стали не нужны, остались только 4 директивы и составить robots в txt для WordPress теперь просто:

1. User-agent – указывает правила для разных роботов поисковых систем. Если стоит * то директивы, идущие ниже должны соблюдать абсолютно все сервисы. Есть google-bot, yandex-bot и остальные. Я предпочитаю давать указания для всех одним разом.
2. Disallow – запрет, куда идти ботам нельзя, эти папки не сканируют.
3. Allow – наоборот приглашает и разрешает сканировать содержимое.
4. Sitemap – указывает путь до карты сайта в формате XML, если отличается от вашей, то соответственно изменяем url.

Как проверить работу robots и его обработку

Если к блогу прикреплен сервис Yandex Webmaster, то проверку делаем там. Переходим в Инструменты – Анализ robots.txt.

1. Заходим в левой панели в соответствующий раздел.
2. Видим что ошибок синтаксиса нет.
3. В окошко “Разрешены ли URL” вставляем два урла, которые по логике должны быть одобрены и запрещены.
4. Нажимаем Проверить.
5. Смотрим результат, обработка прошла успешно, верхний нельзя, а нижний можно.

Как создать robots без хостинга с помощью плагинов

Чтобы не выполнять действий с созданием файла, загрузкой на сервер, можно использовать популярные СЕО плагины WordPress. Почти все делают виртуальный robots txt, то есть его на сервере не увидите, а только на сайте, генерируется при каждом запросе к нему, но это ни на что не влияет.

Изменить настройки через админку Yoast SEO

Знаменитый плагин SEO Yoast получил много положительных отзывов и миллионные загрузки бесплатной версии. Умет создавать именно физический роботс, который появиться на сервере. Переходим Инструменты – Редактор файлов.

Далее жмем кнопку Добавить, плагин создаст на сервере документ, и появляется окно, чтобы отредактировать, туда помещаете конфигурацию и сохраняете. Работу с хостингом обошли, дальше можете отредактировать объект по такому пути из панели Йоаста в WordPress.

Идеальный роботс в Clearfy PRO

Плюс ClearfyPRO – по умолчанию создает правильный robots txt, нужно просто активировать соответствующую опцию и сохранить настройки. После этого создается виртуальный объект. Единственное нужно следить за правильностью ссылки для XML и где она находится.

Комбайн устраняет множество проблем с WordPerss, всего 44 параметров, например, удалить все shortlinks, сможете круто прокачать блог.

Плагин Клеарфай -15%

Как создать в All in one SEO Pack

Из коробки лучший инструмент All in one SEO Pack не умеет работать с robots, придется установить новый бесплатный модуль на вордпресс. Переходим в Модули, находим подходящий, нажимаем Activate, чтобы установить.

В левой колонке появиться одноименный раздел в области AIOSP, заходим и смотрим настройки.

• Выставляем имя агента.
• Из выпадающего списка выбираем команду разрешить или нет обход.
• Директория или страница.
• Результат, чтобы строки группировались, агента только один раз делаем, иначе каждый раз будет отображаться User-agent.

Как добавить инструкции в Robots для WooCommerce

WooComerce по популярности не уступает самому WordPress, поэтому нужно добавить правила в robots txt для интернет–магазинов, предлагаю такой набор.

Disallow: /cart/
Disallow: /checkout/
Disallow: /*add-to-cart=*
Disallow: /my-account/

Добавляем в роботс, закрывает страницы: корзины, оплаты, гет параметры add-to-cart и личный кабинет. Возможно есть еще сущности, в процессе использования WC буду добавлять список.

Короткий чек–лист действий

Выведу короткий чек-дист действий по работе с robots, чтобы был понятен принцип для других разработок:

1. Создаем в блокноте новый txt документ.
2. Наполняем директивами, не забываем про валидную ссылку на XML.
3. Сохраняем с кодировкой ANSI.
4. Заливаем на сервер в корень WordPress блога.
5. Не советую создавать роботс с помощью онлайн-сервисов, генераторы не учитывают ваши пожелания, да и просто каждый вебмастер должен иметь представление как менять настройки сайта. Советую прочитать как закрыть ссылки от индексации.

Надеюсь стало понятнее как создавать robots txt WordPress разными подходами, не забывайте добавлять новые строки директив при добавлении новых возможностей, которые нужно скрыть от ПС.