Sozdaiblog.ru
Назад

Как создать robots.txt для WordPress?

Опубликовано: 01.05.2012
Время на чтение: 5 мин
39
44

robots.txt для WordPress

Приветствую Вас дорогие читатели — Sozdaiblog.ru!

В данном посте я Вам расскажу, как создать robots.txt для WordPress.

Кто такой, robot.txt? – спросят некоторые.

Чтобы всем было понятно буду объяснять простым и доступным языком.

Robots.txt – это файл, обитающий в корневой папке Вашего блога и указывающий поисковым системам, какие данные Вашего Веб-ресурса нужно сканировать, а какие оставить без внимания.

Тут у Вас опять возникнут вопросы – «Как же так, мы же установили плагин «Google XML Sitemaps» или по другому карта сайта для поисковиков и они знают, что индексировать?

Да, это так, но зачем им, например, индексировать наши каталоги или тысячи комментариев оставленных читателями. Для них, это не целевая и бесполезная информация (индексация Яндекса).

В основном robots.txt, нацелен на работу с поисковой системой – «Яндекс». Но и без него всё будет работать. Не стоит расстраиваться, если у Вас нет или не было данного файла.

 

Как создать robots.txt для WordPress

Чтобы создать robots.txt для WordPress, Вам потребуется обычный текстовый редактор, который есть на любом компьютере.

На рабочем столе, кликаете правой кнопкой мыши и в открывшемся окне выбираете  - Создать =>Текстовый документ.

Создаёте и называете, я думаю, Вы догадались как.

Теперь Вам нужен непосредственно сам файл, выглядит он так:

 

как создать robots.txt

 

Специально для Вас, я его уже подготовил, можете скачать по ссылке.

Затем при помощи ftp-клиента закачиваете его в корневую папку Вашего блога.

Вот и всё процедура окончена.

У всех блогов этот файл практически одинаковый.

Для того чтобы посмотреть файл robots.txt любого блога, достаточно в адресной строке браузера, прописать следующее:

 

  • Адрес блога/robots.txt

 

Если Вы серьёзно захотите углубиться в самостоятельное создание таких файлов, то можете перейти на специализированный сайт. Вот его адрес:

 

 

Но, я думаю, данных мною знаний будет вполне достаточно.

Теперь Вы знаете, как создать robots.txt для WordPress и можете пойти прогуляться.

На улице отличная, солнечная погода и много красивых лиц.

А у Вас есть файл  robots.txt?

На сегодня это всё. До новых встреч...

С уважением, Денис Черников!

Поделиться
Похожие записи
  • Ольга
    Опубликовано: 04.05.2012 Ответить на сообщение

    все четко и доступно... у меня он есть, но решила еще перечитать — вдруг что упустила...:)

    • Денис Черников
      Опубликовано: 04.05.2012 Ответить на сообщение

      Здравствуйте, Ольга!
      Рад, что Вам понравился!
      Я стараюсь делать материал доступным для всех!
      Заходите чаще, может ещё что интересное найдёте!

  • Светлана
    Опубликовано: 20.06.2012 Ответить на сообщение

    Добрый день Денис. Мне очень понравилась эта статья, да и весь блог в целом. Просто оформление и статьи написаны ясно и просто. Это и есть главной чертой, которая отличает блоги друг от друга. У меня тоже есть свой блог. Пока также как и Вы начинающий блоггер. Могу сказать одно, хоть и ниша наша очень конкурентная на данный момент, но если человек является индивидуальностью и хочет помогать людям, то у него обязательно все получится! Весь секрет в том, что нужно просто найти своего читателя. Я вижу, что у Вас это получается. Так держать! Буду почаще заглядывать к Вам и постараюсь направить сюда людей, которые интересуются созданием блогов. Отдельное спасибо за файл! (комментарий участвует в конкурсе Но это не только из-за этого! Мне просто понравился Ваш блог!)

    • Денис Черников
      Опубликовано: 21.06.2012 Ответить на сообщение

      Спасибо, Светлана за тёплые слова! Очень рад, что Вам понравилось! Пусть тема наша и конкурента, но главное не бояться, нужно поставить перед собой цель и идти к ней не сворачивая! Мне порой, тоже бывает очень тяжело, но я наметил себе цель и иду не сворачивая, чего и Вам желаю!

  • Нина
    Опубликовано: 29.06.2012 Ответить на сообщение

    Файл правильный! Блог действительно хороший. Но есть один большой и жирный минус, который Денис сам к себе располагает — это рассылка спама. В первую очередь о чем говорит — неуважение к остальным блогам и их авторам.

    • Денис Черников
      Опубликовано: 29.06.2012 Ответить на сообщение

      Здравствуйте, Нина! Где Вы увидели спам? Расскажите по подробней!

  • Yz
    Опубликовано: 03.08.2012 Ответить на сообщение

    У меня некоторые страницы сайта пропали из выдачи Гугла, а главная очень сильно просела. Возможно ли, что причиной стало отсутствие файла robots.txt. так как в выдаче появились страницы category b author?

    • Денис Черников
      Опубликовано: 03.08.2012 Ответить на сообщение

      На Гугл, файл — robots.txt. практически не влияет! Robots.txt. — в основном заточен под Яндекс.
      Без файла robots.txt. поисковый робот должен сканировать всё подряд, что ему взбредёт в голову! А в robots.txt. мы указываем, что надо, а что не стоит!
      Вот почитайте — sozdaiblog.ru/hotchu-vs-z...ut-stranits.html
      Принцип работы почти тот же!

      • Александр
        Опубликовано: 24.09.2012 Ответить на сообщение

        Денис, полностью с Вами согласен в том, что Гугл почему-то не очень обращает внимание на инструкции в robots.txt. Совершенно одинаковые секции для Яндекса и Гугла, дают огромную разницу в числе страниц в поиске (во всяком случае для сайтов на WP).
        Посмотрел Ваш robots.txt, хочу сплагиатить в свой инструкцию Disallow: *?replytocom.
        Где-то читал, что Allow нужно ставить первой (у Вас она после Disallow). Правда источник не помню, давно было.
        У Вас очень интересный сайт! Много полезного материала. Статьи написаны лёгким и понятным языком, спасибо!

        • Денис Черников
          Опубликовано: 24.09.2012 Ответить на сообщение

          Пожалуйста, Александр!
          Плагиатьте робота сколько угодно, не жалко.
          Кстати — Disallow: *?replytocom. добавил недавно.
          Говорят полезно, хотя уже сам забыл что даёт!
          Да, от этих поисковиков я в шоке, они блин живые, как хотят так и поступают!

  • Юлия
    Опубликовано: 11.08.2012 Ответить на сообщение

    Как мне не хотелось лезть к корневую папку, но путь /domains/Ваш блог/robots.txt так и не смогла найти. Можно поподробней после соединения с хостом?И можно ли активировать файл robots.txt не заходя в корневую папку?

    • Денис Черников
      Опубликовано: 11.08.2012 Ответить на сообщение

      Файл можно активировать через хост, но это долго!
      У Вас, может быть не domains, а Public! Просто вставьте этот файл в корневую папку, где у Вас все файлы движка (wp-content,wp-admin,wp-includes и т.д.) и всё. Там его место!

  • Михаил
    Опубликовано: 10.09.2012 Ответить на сообщение

    На картинке не увидел, как вы закрываете ссылку от more, в ней присутствует #, в превьюшки идут две ссылки, причем одна с заголовка h2, а вторая — с #more-id, то ест дублированный контент.
    Ссылку на продолжение — надо закрывать от индексации, причем я пока не знаю грамотного решения.
    А вам советую переписать ссылки на статьи с h2 на p с классом и присвоить ему форматирование о заголовка!

    • Денис Черников
      Опубликовано: 10.09.2012 Ответить на сообщение

      Спасибо за совет, но пока не буду этого делать!

  • Svetlana
    Опубликовано: 06.10.2012 Ответить на сообщение

    Денис, это только со мной может быть!!!! Я помню, что в самый первый день закидывала этот файл на хостинг в папку. А сейчас смотрю в этой папке нет этого файла, как такое может быть? Вот сейчас поставила по твоему, вроде есть. А что же теперь с дублями статей делать? удалять? тогда где их искать в вордпрессе, если я черновики все удалила, остались только оригиналы?

    • Денис Черников
      Опубликовано: 06.10.2012 Ответить на сообщение

      Ничего не нужно искать, они сами выпадут со временем из индекса!
      Не знаю, Свет, как такое бывает, может не в ту папку по ошибке сунули!

  • Татьяна
    Опубликовано: 14.05.2013 Ответить на сообщение

    Денис, а если robots стоял уже пол года, а теперь хочу его переписать (т.е. вообще сменить — на ваш) Это как на сайте может в плохую сторону отразиться? Боюсь чёта я...

    • Денис Черников
      Опубликовано: 14.05.2013 Ответить на сообщение

      Татьяна, а что по Вашему может случится? Лично я его раз 10 менял и ничего!

      • Татьяна
        Опубликовано: 15.05.2013 Ответить на сообщение

        Ясно. Спасибо

        • Денис Черников
          Опубликовано: 15.05.2013 Ответить на сообщение

          Пожалуйста!

  • Константин
    Опубликовано: 13.07.2013 Ответить на сообщение

    Здравствуйте Денис! Столкнулся с неожиданной проблемой, при установке нового движка WordPress, появился встроенный robots.txt -вот он родной-User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/. Я не могу его найти, есть подозрение что это functions.php. Как его можно поменять на свой?

    • Денис Черников
      Опубликовано: 13.07.2013 Ответить на сообщение

      Здравствуйте, Константин!
      Просто добавьте свой robots.txt в корневую папку и всё.

      • Константин
        Опубликовано: 13.07.2013 Ответить на сообщение

        Денис он там уже добавлен давно, сразу перед запуском сайта,все как положено. Но читается только их встроенный robots.txt .
        У меня возникает вопрос почему прописаны только эти две категории, а остальные?

        • Денис Черников
          Опубликовано: 13.07.2013 Ответить на сообщение

          Это наверное минимум(стандарт), Константин! Толи темы, толи нового движка. Нужно смотреть. Я пока с этим ещё не столкнулся. Просканируйте все файлы движка и темы на наличие схожих строк.

  • Константин
    Опубликовано: 13.07.2013 Ответить на сообщение

    Тема нет. Я ей пользуюсь уже давно. Остается движок. Буду искать. Спасибо за ответ!

    • Денис Черников
      Опубликовано: 13.07.2013 Ответить на сообщение

      Пожалуйста!

  • Константин
    Опубликовано: 13.07.2013 Ответить на сообщение

    Денис я нашел где собака зарыта:/www/wp-includes/functions.php
    А вот и причина-
    function do_robots () {
    header ( 'Content-Type: text/plain; charset=utf-8' );
    do_action ( 'do_robotstxt' );
    $output = «User-agent: *\n»;
    $public = get_option ( 'blog_public' );
    if ( '0' == $public ) {
    $output .= «Disallow: /\n»;
    } else {
    $site_url = parse_url ( site_url () );
    $path = ( !empty ( $site_url['path'] ) ) ? $site_url['path'] : '';
    $output .= «Disallow: $path/wp-admin/\n»;
    $output .= «Disallow: $path/wp-includes/\n»;
    }
    echo apply_filters ('robots_txt', $output, $public);
    }
    /**
    Теперь нужно искать как решить проблему.

    • Денис Черников
      Опубликовано: 13.07.2013 Ответить на сообщение

      А чё её искать, снисите этот код и проверьте работоспособность движка, а также робота!

      • Константин
        Опубликовано: 13.07.2013 Ответить на сообщение

        Код снес, движек работает. Но с роботом проблема пишет ошибку, придется убрать блок с ХМЛ. Хотя можно пойти другим путем и в строки
        $output .= «Disallow: $path/wp-admin/\n»;
        $output .= «Disallow: $path/wp-includes/\n»; Дописать нужный робот. Как считаете?

        • Денис Черников
          Опубликовано: 13.07.2013 Ответить на сообщение

          Попробуйте, но это не совсем правильное решение, робот должен быть в корне, а не в клоаке движка.

  • Элона
    Опубликовано: 29.07.2013 Ответить на сообщение

    Здравствуйте. Подскажите, пожалуйста. Всё сделала по-вашему описанию, но у меня домен кириллицей и не отображается в фаиле. Что мне делать?

    • Денис Черников
      Опубликовано: 30.07.2013 Ответить на сообщение

      Кодировку соблюдаете?

  • Валэра
    Опубликовано: 30.07.2013 Ответить на сообщение

    Поставил ваш роботс на свой сайт и сразу в гугл адсенс выскочило собщение что я запретил роботу индексировать свои страницы. Мой роботс http: //www.softzatak.ru/robots.txt Подскажите плиз что не так?

    • Денис Черников
      Опубликовано: 30.07.2013 Ответить на сообщение

      Смотря какие страницы? Дублирующие закрыты!

      • Валэра
        Опубликовано: 30.07.2013 Ответить на сообщение

        Закрыло все страницы. Может такой код добавить надо? https:// support.google.com/adsense/answer/10532

        • Денис Черников
          Опубликовано: 30.07.2013 Ответить на сообщение

          Попробуйте, я с адсенсом не дружу, они мне не разрешили рекламу свою вешать!

  • Валэра
    Опубликовано: 30.07.2013 Ответить на сообщение

    Поставил обратно старый код, и вижу в старом стоит такая строчка
    Google AdSense
    User-agent: Mediapartners-Google*
    Disallow:

  • melnik
    Опубликовано: 04.01.2014 Ответить на сообщение

    Здрвствуйте мне Гугл в панели Вебмастеров в разделе Файлы Sitemap пишет следующее «Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.»
    Вот мой Robots.txt:
    User-agent: *
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /page
    Disallow: /tag
    Disallow: /plugins
    Disallow: /archives
    Disallow: /go
    Disallow: /goto
    User-agent: Yandex
    Disallow: /cgi-bin
    Disallow: /wp-admin
    Disallow: /wp-includes
    Disallow: /wp-content/plugins
    Disallow: /wp-content/cache
    Disallow: /wp-content/themes
    Disallow: /trackback
    Disallow: */trackback
    Disallow: */*/trackback
    Disallow: */*/feed/*/
    Disallow: */feed
    Disallow: /*?*
    Disallow: /tag
    Disallow: /page
    Disallow: /plugins
    Disallow: /archives
    Disallow: /go
    Disallow: /goto
    Host: krestroy.ru
    Sitemap: http: //krestroy.ru/sitemap.xml.gz
    Sitemap: http: //krestroy.ru/sitemap.xml
    Помогите пожалуйста!!!

    • Денис Черников
      Опубликовано: 05.01.2014 Ответить на сообщение

      Здравствуйте!
      Ну а в чём собственно проблема? Значит в Sitemap попал URL адрес, который закрыт в роботе. Судя по роботу в нём всё нормально. Посмотрите xml-версию карты и найдите URL адрес на который ругается Гугл!