Добавляем на Wordpress robots.txt
Опубликовано в разделе: Wordpress
Сегодня полез в панель вебмастера на яндексе и увидел, что там куча ошибок. Поэтому я решил прописать файл robots.txt для запрета индексации некоторых разделов сайта.
Я считаю, что на каждом сайте должен быть файл robots.txt, который не только указывает что можно индексировать, а что нельзя, но также он устанавливает главное зеркало сайта и сообщает поисковому роботу где находится карта сайта sitemap.xml
Вот как выглядит robots.txt для моего блога. Поискав в интернете и выбрав самое необходимое я создал вот такой файл.
User-Agent: *
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Sitemap: http://zavrab.ru/sitemap.xmlUser-Agent: Yandex
Disallow: /jexr/
Disallow: /wp-content/
Disallow: /feed/
Disallow: /tag/
Disallow: /xmlrpc.php
Disallow: /sitemap.xml
Disallow: */feed
Disallow: */trackback
Host: zavrab.ru
Sitemap: http://zavrab.ru/sitemap.xml
Теперь опишу некоторые нюансы. Инструкции в файле robots я прописал для всех поисковых систем и для Яндекса отдельно. Так как директиву Host: zavrab.ru понимает только яндекс.
Также многочисленные ошибки вызывают RSS фиды в записях, поэтому закрываем их Disallow: */feed. Закрываем теги от дублирования контента Disallow: /tag/.
Disallow: /jexr/ – это редиректные ссылки, которые добавляет одноименный плагин. Я им закрываю ссылки сайтов комментаторов.
Ну вот в принципе и все. Я понимаю, что это не идеальный Robots.txt, но он мне подойдет вполне. А вам решать, может добавите в него что-то еще.
- Список блогов для комментирования (наращиваем тиц) и примеры robots.txt
- Склейка доменов: инструкция для яндекса и гугла
- Создание карты сайта для сайта
- Создание и настройка нового блога
- Как правильно определить ТИЦ домена
- Как я попал под фильтр Яндекса
Комментариев 10
Ну, у меня, тоже, куча ошибок, только я не знаю, на что этот robots.txt влияет? Просто индексация сайта, вроде бы проходит в той же скорости, как обычно!
То,что наличие robots.txt влияет на индексацию блога(можно решить проблему дублирования статей) – это понятно. Прошу подсказать,куда этот robots.txt лучше вставить.
Спасибо, после того как десяток моих сателлитов попали под АГС 17, всегда вставляю этот файлик.
Важная информация, обязательно восользуюсь при создании своего блога
Спасибо за интересный материал, обязательно воспользуюсь вашим примером.
Где он находится в вордпрессе?
@ Антон:
в корне сайта, если его нет, создайте сами и поместите туда.
как создать корень?
Не понял вопроса. Корень сайта – это корневая директория на хостинге, где располагаются основные файлы, в частности index.php или index.html
Спасибо за дельные советы , очень понятно.