ГлавнаяSeo продвижение › Как создать robots.txt для WordPress?


Как создать robots.txt для WordPress?


robots.txt для WordPress

Приветствую Вас дорогие читатели — Sozdaiblog.ru!

В данном посте я Вам расскажу, как создать robots.txt для WordPress.

Кто такой, robot.txt? – спросят некоторые.

Чтобы всем было понятно буду объяснять простым и доступным языком.

Robots.txt – это файл, обитающий в корневой папке Вашего блога и указывающий поисковым системам, какие данные Вашего Веб-ресурса нужно сканировать, а какие оставить без внимания.

Тут у Вас опять возникнут вопросы – «Как же так, мы же установили плагин «Google XML Sitemaps» или по другому карта сайта для поисковиков и они знают, что индексировать?

Да, это так, но зачем им, например, индексировать наши каталоги или тысячи комментариев оставленных читателями. Для них, это не целевая и бесполезная информация (индексация Яндекса).

В основном robots.txt, нацелен на работу с поисковой системой – «Яндекс». Но и без него всё будет работать. Не стоит расстраиваться, если у Вас нет или не было данного файла.

 

Как создать robots.txt для WordPress

Чтобы создать robots.txt для WordPress, Вам потребуется обычный текстовый редактор, который есть на любом компьютере.

На рабочем столе, кликаете правой кнопкой мыши и в открывшемся окне выбираете  - Создать =>Текстовый документ.

Создаёте и называете, я думаю, Вы догадались как.

Теперь Вам нужен непосредственно сам файл, выглядит он так:

 

как создать robots.txt

 

Специально для Вас, я его уже подготовил, можете скачать по ссылке.

Затем при помощи ftp-клиента закачиваете его в корневую папку Вашего блога.

Вот и всё процедура окончена.

У всех блогов этот файл практически одинаковый.

Для того чтобы посмотреть файл robots.txt любого блога, достаточно в адресной строке браузера, прописать следующее:

 

  • Адрес блога/robots.txt

 

Если Вы серьёзно захотите углубиться в самостоятельное создание таких файлов, то можете перейти на специализированный сайт. Вот его адрес:

 

 

Но, я думаю, данных мною знаний будет вполне достаточно.

Теперь Вы знаете, как создать robots.txt для WordPress и можете пойти прогуляться.

На улице отличная, солнечная погода и много красивых лиц.

А у Вас есть файл  robots.txt?

На сегодня это всё. До новых встреч...

С уважением, Денис Черников!




Сделайте, пожалуйста, доброе дело, расскажите о блоге своим друзьям:




39 комментариевА что думаете Вы?

  1. Ольга

    все четко и доступно... у меня он есть, но решила еще перечитать — вдруг что упустила...:)

    [Ответить]

    Денис Черников ответил:

    Здравствуйте, Ольга!

    Рад, что Вам понравился!

    Я стараюсь делать материал доступным для всех!

    Заходите чаще, может ещё что интересное найдёте!

    [Ответить]

  2. Светлана

    Добрый день Денис. Мне очень понравилась эта статья, да и весь блог в целом. Просто оформление и статьи написаны ясно и просто. Это и есть главной чертой, которая отличает блоги друг от друга. У меня тоже есть свой блог. Пока также как и Вы начинающий блоггер. Могу сказать одно, хоть и ниша наша очень конкурентная на данный момент, но если человек является индивидуальностью и хочет помогать людям, то у него обязательно все получится! Весь секрет в том, что нужно просто найти своего читателя. Я вижу, что у Вас это получается. Так держать! Буду почаще заглядывать к Вам и постараюсь направить сюда людей, которые интересуются созданием блогов. Отдельное спасибо за файл! (комментарий участвует в конкурсе Но это не только из-за этого! Мне просто понравился Ваш блог!)

    [Ответить]

    Денис Черников ответил:

    Спасибо, Светлана за тёплые слова! Очень рад, что Вам понравилось! Пусть тема наша и конкурента, но главное не бояться, нужно поставить перед собой цель и идти к ней не сворачивая! Мне порой, тоже бывает очень тяжело, но я наметил себе цель и иду не сворачивая, чего и Вам желаю!

    [Ответить]

  3. Нина

    Файл правильный! Блог действительно хороший. Но есть один большой и жирный минус, который Денис сам к себе располагает — это рассылка спама. В первую очередь о чем говорит — неуважение к остальным блогам и их авторам.

    [Ответить]

    Денис Черников ответил:

    Здравствуйте, Нина! Где Вы увидели спам? Расскажите по подробней!

    [Ответить]

  4. Yz

    У меня некоторые страницы сайта пропали из выдачи Гугла, а главная очень сильно просела. Возможно ли, что причиной стало отсутствие файла robots.txt. так как в выдаче появились страницы category b author?

    [Ответить]

    Денис Черников ответил:

    На Гугл, файл — robots.txt. практически не влияет! Robots.txt. — в основном заточен под Яндекс.

    Без файла robots.txt. поисковый робот должен сканировать всё подряд, что ему взбредёт в голову! А в robots.txt. мы указываем, что надо, а что не стоит!

    Вот почитайте — sozdaiblog.ru/hotchu-vs-z...ut-stranits.html

    Принцип работы почти тот же!

    [Ответить]

    Александр ответил:

    Денис, полностью с Вами согласен в том, что Гугл почему-то не очень обращает внимание на инструкции в robots.txt. Совершенно одинаковые секции для Яндекса и Гугла, дают огромную разницу в числе страниц в поиске (во всяком случае для сайтов на WP).

    Посмотрел Ваш robots.txt, хочу сплагиатить в свой инструкцию Disallow: *?replytocom.

    Где-то читал, что Allow нужно ставить первой (у Вас она после Disallow). Правда источник не помню, давно было.

    У Вас очень интересный сайт! Много полезного материала. Статьи написаны лёгким и понятным языком, спасибо!

    [Ответить]

    Денис Черников ответил:

    Пожалуйста, Александр!

    Плагиатьте робота сколько угодно, не жалко.

    Кстати — Disallow: *?replytocom. добавил недавно.

    Говорят полезно, хотя уже сам забыл что даёт!

    Да, от этих поисковиков я в шоке, они блин живые, как хотят так и поступают!

    [Ответить]

  5. Юлия

    Как мне не хотелось лезть к корневую папку, но путь /domains/Ваш блог/robots.txt так и не смогла найти. Можно поподробней после соединения с хостом?И можно ли активировать файл robots.txt не заходя в корневую папку?

    [Ответить]

    Денис Черников ответил:

    Файл можно активировать через хост, но это долго!

    У Вас, может быть не domains, а Public! Просто вставьте этот файл в корневую папку, где у Вас все файлы движка (wp-content,wp-admin,wp-includes и т.д.) и всё. Там его место!

    [Ответить]

  6. Михаил

    На картинке не увидел, как вы закрываете ссылку от more, в ней присутствует #, в превьюшки идут две ссылки, причем одна с заголовка h2, а вторая — с #more-id, то ест дублированный контент.

    Ссылку на продолжение — надо закрывать от индексации, причем я пока не знаю грамотного решения.

    А вам советую переписать ссылки на статьи с h2 на p с классом и присвоить ему форматирование о заголовка!

    [Ответить]

    Денис Черников ответил:

    Спасибо за совет, но пока не буду этого делать!

    [Ответить]

  7. Svetlana

    Денис, это только со мной может быть!!!! Я помню, что в самый первый день закидывала этот файл на хостинг в папку. А сейчас смотрю в этой папке нет этого файла, как такое может быть? Вот сейчас поставила по твоему, вроде есть. А что же теперь с дублями статей делать? удалять? тогда где их искать в вордпрессе, если я черновики все удалила, остались только оригиналы?

    [Ответить]

    Денис Черников ответил:

    Ничего не нужно искать, они сами выпадут со временем из индекса!

    Не знаю, Свет, как такое бывает, может не в ту папку по ошибке сунули!

    [Ответить]

  8. Татьяна

    Денис, а если robots стоял уже пол года, а теперь хочу его переписать (т.е. вообще сменить — на ваш) Это как на сайте может в плохую сторону отразиться? Боюсь чёта я...

    [Ответить]

    Денис Черников ответил:

    Татьяна, а что по Вашему может случится? Лично я его раз 10 менял и ничего!

    [Ответить]

    Татьяна ответил:

    Ясно. Спасибо :)

    [Ответить]

    Денис Черников ответил:

    Пожалуйста!

    [Ответить]

  9. Константин

    Здравствуйте Денис! Столкнулся с неожиданной проблемой, при установке нового движка WordPress, появился встроенный robots.txt -вот он родной-User-agent: *

    Disallow: /wp-admin/

    Disallow: /wp-includes/. Я не могу его найти, есть подозрение что это functions.php. Как его можно поменять на свой?

    [Ответить]

    Денис Черников ответил:

    Здравствуйте, Константин!

    Просто добавьте свой robots.txt в корневую папку и всё.

    [Ответить]

    Константин ответил:

    Денис он там уже добавлен давно, сразу перед запуском сайта,все как положено. Но читается только их встроенный robots.txt .

    У меня возникает вопрос почему прописаны только эти две категории, а остальные?

    [Ответить]

    Денис Черников ответил:

    Это наверное минимум (стандарт), Константин! Толи темы, толи нового движка. Нужно смотреть. Я пока с этим ещё не столкнулся. Просканируйте все файлы движка и темы на наличие схожих строк.

    [Ответить]

  10. Константин

    Тема нет. Я ей пользуюсь уже давно. Остается движок. Буду искать. Спасибо за ответ!

    [Ответить]

    Денис Черников ответил:

    Пожалуйста!

    [Ответить]

  11. Константин

    Денис я нашел где собака зарыта:/www/wp-includes/functions.php

    А вот и причина-

    function do_robots () {

    header ( 'Content-Type: text/plain; charset=utf-8' );

    do_action ( 'do_robotstxt' );

    $output = «User-agent: *\n»;

    $public = get_option ( 'blog_public' );

    if ( '0' == $public ) {

    $output .= «Disallow: /\n»;

    } else {

    $site_url = parse_url ( site_url () );

    $path = ( !empty ( $site_url['path'] ) ) ? $site_url['path'] : '';

    $output .= «Disallow: $path/wp-admin/\n»;

    $output .= «Disallow: $path/wp-includes/\n»;

    }

    echo apply_filters ('robots_txt', $output, $public);

    }

    /**

    Теперь нужно искать как решить проблему.

    [Ответить]

    Денис Черников ответил:

    А чё её искать, снисите этот код и проверьте работоспособность движка, а также робота!

    [Ответить]

    Константин ответил:

    Код снес, движек работает. Но с роботом проблема пишет ошибку, придется убрать блок с ХМЛ. Хотя можно пойти другим путем и в строки

    $output .= «Disallow: $path/wp-admin/\n»;

    $output .= «Disallow: $path/wp-includes/\n»; Дописать нужный робот. Как считаете?

    [Ответить]

    Денис Черников ответил:

    Попробуйте, но это не совсем правильное решение, робот должен быть в корне, а не в клоаке движка.

    [Ответить]

  12. Элона

    Здравствуйте. Подскажите, пожалуйста. Всё сделала по-вашему описанию, но у меня домен кириллицей и не отображается в фаиле. Что мне делать?

    [Ответить]

    Денис Черников ответил:

    Кодировку соблюдаете?

    [Ответить]

  13. Валэра

    Поставил ваш роботс на свой сайт и сразу в гугл адсенс выскочило собщение что я запретил роботу индексировать свои страницы. Мой роботс http: //www.softzatak.ru/robots.txt Подскажите плиз что не так?

    [Ответить]

    Денис Черников ответил:

    Смотря какие страницы? Дублирующие закрыты!

    [Ответить]

    Валэра ответил:

    Закрыло все страницы. Может такой код добавить надо? https:// support.google.com/adsense/answer/10532

    [Ответить]

    Денис Черников ответил:

    Попробуйте, я с адсенсом не дружу, они мне не разрешили рекламу свою вешать!

    [Ответить]

  14. Валэра

    Поставил обратно старый код, и вижу в старом стоит такая строчка

    Google AdSense

    User-agent: Mediapartners-Google*

    Disallow:

    [Ответить]

  15. melnik

    Здрвствуйте мне Гугл в панели Вебмастеров в разделе Файлы Sitemap пишет следующее «Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.»

    Вот мой Robots.txt:

    User-agent: *

    Disallow: /cgi-bin

    Disallow: /wp-admin

    Disallow: /wp-includes

    Disallow: /wp-content/plugins

    Disallow: /wp-content/cache

    Disallow: /wp-content/themes

    Disallow: /trackback

    Disallow: */trackback

    Disallow: */*/trackback

    Disallow: */*/feed/*/

    Disallow: */feed

    Disallow: /*?*

    Disallow: /page

    Disallow: /tag

    Disallow: /plugins

    Disallow: /archives

    Disallow: /go

    Disallow: /goto

    User-agent: Yandex

    Disallow: /cgi-bin

    Disallow: /wp-admin

    Disallow: /wp-includes

    Disallow: /wp-content/plugins

    Disallow: /wp-content/cache

    Disallow: /wp-content/themes

    Disallow: /trackback

    Disallow: */trackback

    Disallow: */*/trackback

    Disallow: */*/feed/*/

    Disallow: */feed

    Disallow: /*?*

    Disallow: /tag

    Disallow: /page

    Disallow: /plugins

    Disallow: /archives

    Disallow: /go

    Disallow: /goto

    Host: krestroy.ru

    Sitemap: http: //krestroy.ru/sitemap.xml.gz

    Sitemap: http: //krestroy.ru/sitemap.xml

    Помогите пожалуйста!!!

    [Ответить]

    Денис Черников ответил:

    Здравствуйте!

    Ну а в чём собственно проблема? Значит в Sitemap попал URL адрес, который закрыт в роботе. Судя по роботу в нём всё нормально. Посмотрите xml-версию карты и найдите URL адрес на который ругается Гугл!

    [Ответить]

Оставить комментарий!

Вверх