Как закрыть от индексации архивы авторов и дат в WordPress через robots.txt и meta robots

Архивы авторов и дат в WordPress часто попадают в индекс не потому, что они полезны пользователю, а потому что поисковик видит на сайте десятки однотипных страниц с одинаковой структурой. На небольшом блоге это может быть незаметно, но на сайте с несколькими авторами, регулярными публикациями и пагинацией такие архивы быстро создают шум: дубли заголовков, слабые страницы в индексе, лишние обходы краулером.

Ниже разберём, когда архивы действительно стоит закрывать, чем отличаются robots.txt и meta robots, как сделать это без плагинов и как проверить, что поисковик получил именно тот сигнал, который вы ожидали.

Когда архивы авторов и дат становятся проблемой

Не каждый архив нужно прятать. Если у вас новостной сайт с сильными авторскими колонками, архив автора может быть полезной посадочной страницей. Но в типичном корпоративном блоге или на контентном сайте архивы часто выглядят так:

• страница автора с короткой биографией и списком постов;
• архив даты, который просто дублирует ленту публикаций за день, месяц или год;
• пагинация архивов, которая размножает однотипные URL;
• страницы с очень малым количеством записей, но с полноценной индексацией.

Если в Search Console вы видите много URL вида /author/..., /2026/08/ или /2026/08/15/, а трафика с них почти нет, это уже повод проверить настройки индексации.

Диагностика: что именно индексируется

Сначала нужно понять, где проблема: в robots.txt, в мета-тегах, в теме или в SEO-плагине. Ошибка здесь типовая: закрывают URL в robots.txt, но забывают, что уже проиндексированные страницы так не исчезают сразу. Или наоборот — ставят noindex, но оставляют архивы доступными и продолжают плодить внутренние ссылки на них.

Что проверить вручную

• Откройте архив автора в браузере и посмотрите исходный код страницы.
• Найдите <meta name="robots" и проверьте, есть ли noindex.
• Проверьте, не добавляет ли SEO-плагин собственный canonical на архив.
• Посмотрите robots.txt на наличие правил, которые блокируют обход, но не решают вопрос индексации.

Если у вас есть доступ к Search Console, откройте отчёт по страницам и посмотрите, какие архивы уже в индексе, а какие только обнаружены. Это поможет понять, нужно ли просто запретить обход или ещё и убрать страницы из индекса.

Что лучше: robots.txt, meta robots или оба варианта

Для архивов авторов и дат обычно нужен не один инструмент, а комбинация. robots.txt ограничивает обход, а meta robots noindex даёт поисковику прямой сигнал не индексировать страницу.

Если цель — именно убрать архивы из поиска, не начинайте с Disallow в robots.txt. Для уже проиндексированных страниц это слабый инструмент. Сначала ставят noindex, а уже потом при необходимости ограничивают обход.

Пошаговое решение без плагинов

Ниже вариант для темы или дочерней темы. Он добавляет noindex, follow на архивы авторов и даты, но не трогает обычные записи и страницы.

1. Добавьте meta robots для архивов

<?php
add_action('wp_head', function () {
    if (is_author() || is_date()) {
        echo '<meta name="robots" content="noindex,follow" />' . "\n";
    }
}, 1);

Этот код выводит мета-тег только на страницах архивов авторов и дат. follow оставляет поисковику возможность переходить по ссылкам дальше, что обычно безопаснее, чем полный запрет.

2. Добавьте canonical на саму страницу архива, если он нужен пользователям

Если архив у вас всё-таки полезен как навигационная страница, не делайте его полностью «пустым» для поисковика. В таком случае лучше оставить доступ для пользователей, но закрыть от индексации. Canonical здесь обычно не нужен на другую страницу, если архив не должен ранжироваться вообще.

3. Ограничьте обход в robots.txt только для лишних вариантов

Если у вас есть технические URL, которые не должны обходиться вообще, можно добавить правило в robots.txt. Но не закрывайте им сами архивы, если они уже в индексе и вы хотите убрать их корректно.

User-agent: *
Disallow: /author/
Disallow: /2026/
Disallow: /2025/

Такой вариант годится только если вы понимаете последствия. Если архивы уже индексируются, сначала дайте поисковику увидеть noindex, а потом решайте, нужен ли Disallow.

Если используете SEO-плагин

Во многих проектах архивы удобнее закрывать через настройки SEO-плагина, а не кодом. Это проще для редакции и меньше риск забыть о правке после обновления темы. Но важно не смешивать несколько источников правил: если плагин ставит noindex, а тема — свой meta robots, можно получить конфликт.

Проверьте, где именно формируется robots-метка:

• в настройках архива автора;
• в настройках архивов дат;
• в шаблоне темы через wp_head;
• в SEO-плагине, который уже управляет meta robots.

Если у вас уже стоит плагин вроде Clearfy Pro, часть таких задач можно закрыть через интерфейс без ручного кода. Это удобно, когда нужно быстро убрать архивы авторов, архивы дат и другие технические страницы из индекса, не правя шаблоны темы.

Проверка результата после внедрения

После изменений не ограничивайтесь открытием страницы в браузере. Нужно проверить и HTML, и ответ сервера, и то, как страницу видит поисковик.

1. Откройте архив автора и убедитесь, что в исходном коде есть noindex,follow.
2. Проверьте, что обычные записи и страницы не получили этот тег по ошибке.
3. Если добавляли Disallow в robots.txt, проверьте файл по адресу /robots.txt.
4. В Search Console отправьте URL на повторную проверку, если страница уже была в индексе.
5. Через несколько обходов проверьте, исчез ли архив из отчёта по индексированию.

Если страница не уходит из индекса, не спешите менять всё подряд. Часто причина в том, что поисковик ещё не переобошёл URL, либо страница закрыта от обхода раньше, чем он увидел noindex.

Частые ошибки и как их исправить

Закрыли архив в robots.txt и ждёте удаления из индекса

Это самая частая ошибка. Disallow не удаляет уже известный URL. Если страница уже в индексе, поисковику нужно дать возможность её обойти и увидеть noindex.

Поставили noindex на все архивы подряд

Иногда вместе с архивами авторов и дат случайно закрывают категории, теги и страницы пагинации. Это уже может ударить по внутренней структуре сайта. Перед публикацией проверьте условие в коде и список шаблонов, которые реально должны быть закрыты.

Конфликт между темой и SEO-плагином

Если тема выводит свой meta robots, а плагин — свой, в HTML может оказаться два тега. Поисковик обычно ориентируется на сигнал, но такие конфликты лучше убрать. Оставьте один источник управления индексацией.

Закрыли архивы, но оставили на них внутренние ссылки

Если архивы не нужны, уберите на них ссылки из меню, сайдбара и хлебных крошек, если они там не несут пользы. Иначе вы продолжаете тратить краулинговый бюджет на страницы, которые сами же считаете лишними.

Практические советы по безопасности и производительности

Чем меньше технического мусора в индексе, тем проще поддерживать сайт. Но не стоит превращать это в тотальную зачистку. Архивы авторов полезны, если у вас несколько сильных авторов и страницы реально помогают навигации. Архивы дат почти всегда менее полезны, но и здесь бывают исключения — например, у новостных проектов.

Если вы вносите код вручную, держите его в дочерней теме или в небольшом mu-plugin. Так он не пропадёт после обновления темы. И обязательно проверяйте изменения на staging-копии, особенно если на сайте уже есть SEO-настройки и кэширование HTML.

Для сайтов с большим количеством публикаций полезно дополнительно проверить:

• нет ли дублей архивов с пагинацией;
• не создаёт ли тема отдельные шаблоны для авторов и дат;
• не кэшируется ли старый meta robots на уровне сервера или плагина;
• не закрыты ли важные страницы случайно вместе с архивами.

Если нужна более широкая чистка SEO-дублей и технических страниц, имеет смысл смотреть не только на архивы, но и на теги, вложения, пагинацию и служебные страницы. В таких задачах удобно использовать инструменты, которые централизуют управление индексацией, а не размазывают его по нескольким файлам темы.