Авг
17
18

Составляем правильный robots.txt для WordPress


Спонсор месяца - продвижение статьями. Специализированные услуги: прогон по каталогам, регистрация в каталогах статей. Сам у них заказывал, сделали очень качественно. Рекомендую.

Все начинающие вебмастера рано или поздно узнают об одном интересном файле, который позволит вам избежать попадание в бан за дублирование контента, ускорит индексацию, поможет поисковикам “понять” и “полюбить” ваш сайт.

Бывалые seo-шники уже догадались, что речь идет о текстовом файле robots.txt. Вчера я заказывал бесплатную оптимизацию своего сайта под поисковые системы, мне подправили мой роботс, сказали в остальном он полностью соответствует лицензии и правилам пс. Так что в авторитетности и правильности сомнения нет. В связи с этим я представляю вашему вниманию правильный robots.txt для WordPress.

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed
Disallow: */feed
Disallow: /*?*
Disallow: /*?
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /search/*/feed
Disallow: /search/*/*
Disallow: /tag/
Allow: /wp-content/uploads/
Host: woomanizer.ru
Sitemap: http://woomanizer.ru/sitemap.xml

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Host: woomanizer.ru

Sitemap: http://woomanizer.ru/sitemap.xml

Только не забудьте заменить woomanizer на имя вашего сайта. Напомню, что заливать данный файлик нужно в корневую папку (там где находятся файлы сайта). Имея правильный robots.txt, вы автоматически уменьшаете риски на негативное отношение со стороны яндекса и гугла.

Десерт: Сегодня я хочу вас побаловать очень жирной ссылочко с форума psychology.net.ru/talk/, его тиц составляет 1500 пунктов, ссылка открыта для индексации. Отличная вкусняшка для ссылочного.

Статьи по теме:

18 коммент. к записи “Составляем правильный robots.txt для WordPress”

  • Женька 17.08.2010 - 6:14 дп

    спасибо! сейчас себе скопирую в файлик

  • Pirat 21.08.2010 - 12:07 пп

    Спасибо. Вот эту часть я как-то пропустил…

    Disallow: /*?*
    Disallow: /*?
    Disallow: /*.js$
    Disallow: /*.inc$
    Disallow: /*.css$

  • Aleks-Gold 22.08.2010 - 1:27 пп

    А это обязательно?

    • WomanizeR 22.08.2010 - 11:41 пп

      Конечно обязательно, это совершенно точно положительно скажется на вашем сайте.

  • Brown 12.09.2010 - 1:27 пп

    еще для тех у кого wp на слабом тарифе или вдс:
    Crawl-delay: 2

    • Иван Оршанский 13.09.2010 - 5:58 дп

      Частенько встречал, что советуют для WP ставить Crawl-delay: 5. Не знаю почему, но мне кажется, что наверное это и многова-то

  • Тестовая Страница 19.09.2010 - 5:29 дп

    Ещё 2 первые строчки я понять могу. Но всё остальное? Интересно каким макаром поисковик может попасть в папку Disallow: /wp-includes и чё он там будет делать? ПХП файлы индексировать?

    Чем отличаются Disallow: /wp-comments от Disallow: /comments? Что-то второй папки я у себя на блоге не наблюдаю.

    Ну да Disallow: /tag/ прятать метки от яндекса умно, но доводилось видеть более элегантное решение с уникализацией контента, соответственно с увеличением страниц в индексе.

    • WomanizeR 19.09.2010 - 5:38 дп

      Очень интересно насчет уникализации.
      З.Ы. Рад такому осведомленному читателю.

      • Тестовая Страница 22.11.2011 - 1:47 пп

        Можно при выводе страниц отвечающим тегам использовать не начальную часть статьи, а excerpt (которая будет отличаться от начала статьи). + к страницам тегов и рубрик можно добавить дополнительные описания. В админке такое поле есть, но в большинстве тем его значение не выводится. :(

        Раньше надо было в ручную, а сейчас уже вроди плагин Алл Ин Оне сео пак поддерживает отдельные мета дескрипшн, для каждой страницы категории и тега.

        Такшо больше категорий и тегов, больше страниц в индексе… ;)

  • Alexey 28.12.2010 - 11:47 дп

    Позаимствовал вашего робота. Ждем результата)

  • Panov Igor 25.02.2011 - 1:41 дп

    Спасибо большое.. уже пользуюсь!

  • Андрей 12.03.2011 - 3:07 дп

    Просто и ясно. Без всяких загугулин. Поставил. Надеюсь поможет. Огромное спасибо.

    • WomanizeR 12.03.2011 - 6:47 дп

      Пожалуйста.

  • kunet 17.11.2011 - 12:06 дп

    А что дает delay не могли бы пояснить?

  • Владимир 06.12.2011 - 4:28 дп

    Уважаемый, Ваш robots.txt неправильный. Благодаря вот этой строчке Disallow: /*?* поисковики не смогут сканировать страницы где будут находиться статьи Например под таким адресом как http://woomanizer.ru/redirect/XUZAFVlOHk9IEh0XFBYXDUdcVlQGCA==/ Или я не прав?

    • WomanizeR 06.12.2011 - 9:51 дп

      Я думаю, что вы не правы. Да и урлы подобного вида я не использую. Настраивайте правильно ЧПУ и будет вам счастье.

      • Владимир 06.12.2011 - 9:55 дп

        Тут немного не получилось вставить ссылку, вот какие ссылки не будут индексироваться: ***.ru/?p=3234234 и тому подобное. Конечно, если поставить плагин, которые будет менять /?p=32223 на буквы, то будет все нормально, а если нет, то робот не сможет проиндексировать эти страницы. В качестве доказательства, я проверил Ваш код в Яндексе, добавив при это URL таких страниц. В результате выдало что эти страницы не будут доступными. Таким образом, Вам нужно или поменять этот код, или ОБЯЗАТЕЛЬНО написать, что если применять данный код, нужно установить плагин, который будет изменять цифры на буквы.

  • Сергей 14.12.2011 - 12:03 пп

    Здравствуйте!

    Позаимствовал у Вас несколько полезных строк для своего роботса)) Спасибо!

    У меня такие вопросы:

    1. Чем отличается функциональность при: Disallow: /wp-admin и Disallow: /wp-admin/
    Дело в том, что часто встречаю различное написание. О чем, вообще, говорит последний слэш после имени директории?

    2. Как закрыть от индексации все внешние ссылки через robots.txt?

    Заранее благодарю за ответ!