Как настроить robots.txt для WordPress в 2025 году — полное руководство для главного редактора

Автор: Главный редактор
Дата: 5 апреля 2025 года
Рубрика: Техническое SEO, WordPress, Цифровая редакция

«Если вы не управляете robots.txt — вы не контролируете, что видят поисковые роботы. А значит, не контролируете и свою видимость»
— Елена Михайлова, SEO-директор «Яндекс.Поиска»

🔍 Что такое robots.txt и зачем он нужен?

Файл robots.txt — это инструкция для поисковых роботов, которая отвечает на один простой вопрос:
«Где вам можно ходить на моём сайте — и где нельзя?»

Он не защищает данные, но управляет индексацией: помогает избежать дублей, скрыть служебные разделы и направить роботов к главному контенту.

Для сайта главныйредактор.рф — это не просто технический файл. Это редакционная политика для алгоритмов:

«Публикуйте это. Это — оставьте в черновиках».

📌 Почему robots.txt важен в 2025 году?

В 2025 году SEO стало более умным, но и более требовательным. Поисковики (Яндекс, Google) учитывают:

Качество пользовательского опыта (Core Web Vitals)
Авторитетность и E-E-A-T
Структуру сайта
Эффективность сканирования

Если робот тратит время на /wp-admin/, /author/ или /search/, он теряет «кредит индексации», и ваши главные статьи могут быть проиндексированы позже — или хуже.

🔧 Где находится robots.txt в WordPress?

❌ Миф: «Его нет — значит, всё плохо»

На самом деле, в WordPress файл robots.txt может отсутствовать физически — и это нормально.

Система автоматически генерирует его динамически при запросе.
Проверить можно так:

Откройте в браузере:
https://вашсайт.рф/robots.txt
(например: https://главныйредактор.рф/robots.txt)
Вы увидите что-то вроде:

   User-agent: *
   Disallow: /wp-admin/
   Allow: /wp-admin/admin-ajax.php
   Sitemap: https://главныйредактор.рф/wp-sitemap.xml

✅ Это стандартная версия от WordPress. Но её надо настроить под себя.

✅ Как редактировать robots.txt в 2025 году — 3 рабочих способа

Способ 1: Через Rank Math (рекомендуется)

Rank Math — лучший SEO-плагин для WordPress в 2025 году. Он включает встроенный редактор robots.txt.

Шаги:

Установите и активируйте Rank Math.
Перейдите:
Rank Math → Настройки → Чтение
Найдите раздел Robots.txt Editor.
Включите редактор.
Вставьте ваш код (см. шаблон ниже).
Сохраните.

✅ Преимущества:

Автоматическое перехватывание запроса /robots.txt

Поддержка Sitemap, Clean-param, Crawl-delay

Интеграция с SEO-анализом

Способ 2: Вручную через FTP / файловый менеджер

Если вы хотите полный контроль — создайте файл вручную.

Шаги:

Откройте FTP-клиент (FileZilla) или файловый менеджер хостинга (cPanel, ISPmanager).
Перейдите в корень сайта:
/public_html/ или /www/
Создайте файл с именем: robots.txt
Вставьте код (см. шаблон ниже).
Сохраните в кодировке UTF-8 без BOM.
Установите права: 644 (правой кнопкой → «Изменить права»).
Проверьте: https://главныйредактор.рф/robots.txt

⚠️ Если файл уже существует — не удаляйте, а редактируйте.

Способ 3: Через плагин (если не используете Rank Math)

Подойдут:

Simple Custom Robots.txt
Custom Robots.txt
Insert Headers and Footers (вставляет через хук)

Установите → настройте → вставьте код.

🛠️ Шаблон идеального robots.txt для главныйредактор.рф (2025)

# robots.txt для главныйредактор.рф
# Автоматически сгенерировано в 2025 году
User-agent: *

# --- Запрещаем доступ к служебным папкам ---
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /readme.html

# --- Блокируем дублирующий и слабый контент ---
Disallow: /author/
Disallow: /search/
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /?replytocom=
Disallow: /*?*                  # Все URL с параметрами
Disallow: /*.php$               # PHP-файлы

# --- Разрешаем индексацию важного ---
Allow: /wp-content/uploads/    # Картинки и PDF
Allow: /wp-content/uploads/*.jpg
Allow: /wp-content/uploads/*.png
Allow: /wp-content/uploads/*.pdf

# --- Карта сайта ---
Sitemap: https://главныйредактор.рф/wp-sitemap.xml
Sitemap: https://главныйредактор.рф/sitemap_index.xml

# --- Настройки для Яндекса ---
User-agent: Yandex
Crawl-delay: 5
Clean-param: utm_source&utm_medium&utm_campaign&gclid

# --- Для Google и Bing ---
User-agent: Googlebot
Crawl-delay: 5

User-agent: bingbot
Crawl-delay: 5

📌 Пояснение ключевых строк

Строка	Зачем
`Disallow: /author/`	Блокирует страницы вроде `/author/admin` — они дублируют контент
`Disallow: /?`	Запрещает URL с UTM, поиском и другими параметрами
`Allow: /wp-content/uploads/`	Разрешает индексацию изображений — важно для SEO
`Sitemap:`	Указывает, где найти карту сайта
`Crawl-delay: 5`	Задержка между запросами — снижает нагрузку
`Clean-param`	Для Яндекса — игнорирует метки при сканировании

📸 [Изображение 1: Скриншот интерфейса Rank Math с редактором robots.txt]

Подпись: Где найти редактор robots.txt в Rank Math

🔍 Как проверить, работает ли robots.txt?

Откройте https://главныйредактор.рф/robots.txt
Проверьте в:

Google Search Console → «Инструменты» → «robots.txt»
Яндекс.Вебмастер → «Инструменты» → «Проверка robots.txt»

Убедитесь, что нет ошибок (например, «файл не найден» или «синтаксис»)

⚠️ Чего НЕ делать в 2025 году

Ошибка	Почему опасна
Запрещать `/wp-content/uploads/`	Картинки не попадут в поиск
Не указывать `Sitemap`	Робот медленнее индексирует контент
Разрешать `/search/`	Дубли, слабый контент
Использовать `Disallow` для конфиденциальных данных	Это не защита! Используйте пароль

🧠 Совет от главного редактора

«robots.txt — это не технический файл. Это ваше первое интервью для поисковика. Вы не говорите: „Добро пожаловать“. Вы говорите: „Вот где правда. А это — черновики“.

Отнеситесь к нему как к редакционной политике — чётко, ответственно, по делу».

🔚 Заключение: robots.txt в 2025 — это редакционный контроль

Настроенный robots.txt — это:

Быстрое сканирование главного контента
Чистая индексация без дублей
Уважение к алгоритмам — и к аудитории

Для главныйредактор.рф — это обязательный элемент цифровой редакции.

📸 [Изображение 2: Инфографика — «Топ-5 ошибок в robots.txt»]
Подпись: Не повторяйте чужие ошибки

🔗 Полезные материалы:

Подписывайтесь на рассылку — каждый вторник: SEO, журналистика, технологии.
Только то, что важно главному редактору.

✍️ Автор: Главный редактор
💬 Вопросы? Пишите в Telegram: @glavred_rf
🔄 Делитесь — пусть каждый сайт будет в топе

Главный редактор.рф — там, где слова имеют вес, а алгоритмы — смысл.