Файл robots.txt играет ключевую роль в управлении индексацией сайта поисковыми системами. На WordPress-сайтах часто возникает необходимость изменить или дополнить этот файл, чтобы закрыть от индексации определённые страницы или папки, улучшить SEO и оптимизировать обход сайта роботами. В этой статье рассмотрим, как грамотно и безопасно изменить файл robots.txt без использования плагинов, используя стандартные возможности WordPress и серверные настройки.
Что такое файл robots.txt и зачем его менять?
Файл robots.txt — это простой текстовый файл, который лежит в корне сайта и содержит инструкции для поисковых роботов, какие страницы или разделы сайта сканировать, а какие — нет. Например, можно закрыть административные разделы, страницы с параметрами или временный контент.
Изменять файл robots.txt актуально для:
- Оптимизации индексации сайта и экономии бюджета сканирования.
- Закрытия от поисковиков дублей страниц.
- Защиты конфиденциальных разделов.
В WordPress по умолчанию файл robots.txt может быть виртуальным — его генерирует сама CMS, если физического файла нет. Это важно учитывать при внесении изменений.
Как проверить текущий файл robots.txt на WordPress
Чтобы увидеть текущие правила, достаточно открыть в браузере: https://ваш-сайт/robots.txt. Если файл не существует физически, WordPress выдаст виртуальную версию с базовыми правилами.
Для проверки наличия файла на сервере подключитесь по FTP или через панель управления хостингом и посмотрите, есть ли файл robots.txt в корне сайта.
Создание и изменение физического файла robots.txt
Самый простой и рекомендуемый способ — создать или отредактировать физический файл robots.txt в корневой папке сайта (там же, где находятся wp-config.php и папка wp-content).
Пример базового файла robots.txt для WordPress:
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://ваш-сайт/sitemap.xml
Объяснение:
User-agent: *— правила для всех роботов.Disallow: /wp-admin/и/wp-includes/— закрываем системные папки.Allow: /wp-admin/admin-ajax.php— разрешаем доступ к AJAX-запросам.Sitemap— указываем путь к карте сайта.
После создания файла сохраните его в кодировке UTF-8 без BOM, чтобы избежать проблем с чтением роботом.
Изменение виртуального robots.txt через хук WordPress
Если вы не хотите создавать физический файл, можно изменить виртуальный файл, который генерирует WordPress, с помощью фильтра wp_robots. Это полезно, если нет доступа к корню сайта или вы хотите управлять правилами программно.
Добавьте следующий код в файл functions.php вашей темы или в свой плагин:
function wpmax_modify_robots( $robots ) {
// Закрываем от индексации папку с временными файлами
$robots['disallow'][] = '/temp/';
// Добавляем ссылку на sitemap
$robots['sitemap'] = 'https://ваш-сайт/sitemap.xml';
return $robots;
}
add_filter( 'wp_robots', 'wpmax_modify_robots' );
В этом примере мы дополнили инструкции, запретив индексацию папки /temp/ и указав адрес карты сайта.
Проверка корректности файла robots.txt
После внесения изменений важно проверить, что файл правильно воспринимается поисковыми системами. Для этого используйте инструменты:
Они позволят проверить, какие URL разрешены или запрещены для сканирования.
Примеры полезных правил для robots.txt в WordPress
Закрыть от индексации страницы авторизации и регистрации
Disallow: /wp-login.php
Disallow: /wp-register.php
Это уменьшит риск индексации страниц логина, которые не нужны в поиске.
Закрыть архивы по дате и автору
Disallow: /author/
Disallow: /date/
Полезно для сайтов с большим количеством контента, чтобы избежать дублирования.
Разрешить кэширование и индексацию медиафайлов
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
Если вы хотите, чтобы поисковики индексировали изображения, укажите разрешение для папки с загрузками.
Советы по безопасности и SEO
Не используйте Disallow: / без крайней необходимости — это полностью закроет сайт от индексации. Будьте аккуратны с директивами, чтобы не затронуть важный контент.
Регулярно обновляйте карту сайта и указывайте ее в robots.txt, это помогает поисковикам быстрее находить новые страницы.
Если у вас много специальных требований, например, для WooCommerce или других плагинов, учитывайте их структуру URL при настройке файла.
Дополнительные возможности: интеграция с плагинами WPShop
Для расширенного управления SEO и robots.txt можно использовать плагин Clearfy Pro. Он позволяет гибко настроить правила индексации, оптимизировать безопасность и управлять метаданными.
Также плагин WPCommunity помогает создавать закрытые разделы и управлять доступом, что можно дополнить настройками robots.txt чтобы не индексировать приватный контент.