Приветствую Вас дорогие читатели — Sozdaiblog.ru!
В данном посте я Вам расскажу, как создать robots.txt для WordPress.
Кто такой, robot.txt? – спросят некоторые.
Чтобы всем было понятно буду объяснять простым и доступным языком.
Robots.txt – это файл, обитающий в корневой папке Вашего блога и указывающий поисковым системам, какие данные Вашего Веб-ресурса нужно сканировать, а какие оставить без внимания.
Тут у Вас опять возникнут вопросы – «Как же так, мы же установили плагин «Google XML Sitemaps» или по другому карта сайта для поисковиков и они знают, что индексировать?
Да, это так, но зачем им, например, индексировать наши каталоги или тысячи комментариев оставленных читателями. Для них, это не целевая и бесполезная информация (индексация Яндекса).
В основном robots.txt, нацелен на работу с поисковой системой – «Яндекс». Но и без него всё будет работать. Не стоит расстраиваться, если у Вас нет или не было данного файла.
Как создать robots.txt для WordPress
Чтобы создать robots.txt для WordPress, Вам потребуется обычный текстовый редактор, который есть на любом компьютере.
На рабочем столе, кликаете правой кнопкой мыши и в открывшемся окне выбираете – Создать =>Текстовый документ.
Создаёте и называете, я думаю, Вы догадались как.
Теперь Вам нужен непосредственно сам файл, выглядит он так:
Специально для Вас, я его уже подготовил, можете скачать по ссылке.
Затем при помощи ftp-клиента закачиваете его в корневую папку Вашего блога.
Вот и всё процедура окончена.
У всех блогов этот файл практически одинаковый.
Для того чтобы посмотреть файл robots.txt любого блога, достаточно в адресной строке браузера, прописать следующее:
- Адрес блога/robots.txt
Если Вы серьёзно захотите углубиться в самостоятельное создание таких файлов, то можете перейти на специализированный сайт. Вот его адрес:
Но, я думаю, данных мною знаний будет вполне достаточно.
Теперь Вы знаете, как создать robots.txt для WordPress и можете пойти прогуляться.
На улице отличная, солнечная погода и много красивых лиц.
А у Вас есть файл robots.txt?
На сегодня это всё. До новых встреч…
С уважением, Денис Черников!
- Спрос это простыми словами
- SEO оптимизация сайтов. ТОП-7 заблуждений новичков в SEO!
-
Как сделать Плавающий блок в сайдбаре?
-
Финал конкурса Новогодних поздравлений!
-
Как Заработать на блоге с помощью Статей на Заказ?
- Дашборды что это такое простыми словами
- Таргетная реклама это простыми словами
- Теория тестирования простыми словами
- Лид это простыми
- Операционный доход это простыми словами
все четко и доступно… у меня он есть, но решила еще перечитать — вдруг что упустила…:)
Здравствуйте, Ольга!
Рад, что Вам понравился!
Я стараюсь делать материал доступным для всех!
Заходите чаще, может ещё что интересное найдёте!
Добрый день Денис. Мне очень понравилась эта статья, да и весь блог в целом. Просто оформление и статьи написаны ясно и просто. Это и есть главной чертой, которая отличает блоги друг от друга. У меня тоже есть свой блог. Пока также как и Вы начинающий блоггер. Могу сказать одно, хоть и ниша наша очень конкурентная на данный момент, но если человек является индивидуальностью и хочет помогать людям, то у него обязательно все получится! Весь секрет в том, что нужно просто найти своего читателя. Я вижу, что у Вас это получается. Так держать! Буду почаще заглядывать к Вам и постараюсь направить сюда людей, которые интересуются созданием блогов. Отдельное спасибо за файл! (комментарий участвует в конкурсе Но это не только из-за этого! Мне просто понравился Ваш блог!)
Спасибо, Светлана за тёплые слова! Очень рад, что Вам понравилось! Пусть тема наша и конкурента, но главное не бояться, нужно поставить перед собой цель и идти к ней не сворачивая! Мне порой, тоже бывает очень тяжело, но я наметил себе цель и иду не сворачивая, чего и Вам желаю!
Файл правильный! Блог действительно хороший. Но есть один большой и жирный минус, который Денис сам к себе располагает — это рассылка спама. В первую очередь о чем говорит — неуважение к остальным блогам и их авторам.
Здравствуйте, Нина! Где Вы увидели спам? Расскажите по подробней!
У меня некоторые страницы сайта пропали из выдачи Гугла, а главная очень сильно просела. Возможно ли, что причиной стало отсутствие файла robots.txt. так как в выдаче появились страницы category b author?
На Гугл, файл — robots.txt. практически не влияет! Robots.txt. — в основном заточен под Яндекс.
Без файла robots.txt. поисковый робот должен сканировать всё подряд, что ему взбредёт в голову! А в robots.txt. мы указываем, что надо, а что не стоит!
Вот почитайте — sozdaiblog.ru/hotchu-vs-z…ut-stranits.html
Принцип работы почти тот же!
Денис, полностью с Вами согласен в том, что Гугл почему-то не очень обращает внимание на инструкции в robots.txt. Совершенно одинаковые секции для Яндекса и Гугла, дают огромную разницу в числе страниц в поиске (во всяком случае для сайтов на WP).
Посмотрел Ваш robots.txt, хочу сплагиатить в свой инструкцию Disallow: *?replytocom.
Где-то читал, что Allow нужно ставить первой (у Вас она после Disallow). Правда источник не помню, давно было.
У Вас очень интересный сайт! Много полезного материала. Статьи написаны лёгким и понятным языком, спасибо!
Пожалуйста, Александр!
Плагиатьте робота сколько угодно, не жалко.
Кстати — Disallow: *?replytocom. добавил недавно.
Говорят полезно, хотя уже сам забыл что даёт!
Да, от этих поисковиков я в шоке, они блин живые, как хотят так и поступают!
Как мне не хотелось лезть к корневую папку, но путь /domains/Ваш блог/robots.txt так и не смогла найти. Можно поподробней после соединения с хостом?И можно ли активировать файл robots.txt не заходя в корневую папку?
Файл можно активировать через хост, но это долго!
У Вас, может быть не domains, а Public! Просто вставьте этот файл в корневую папку, где у Вас все файлы движка (wp-content,wp-admin,wp-includes и т.д.) и всё. Там его место!
На картинке не увидел, как вы закрываете ссылку от more, в ней присутствует #, в превьюшки идут две ссылки, причем одна с заголовка h2, а вторая — с #more-id, то ест дублированный контент.
Ссылку на продолжение — надо закрывать от индексации, причем я пока не знаю грамотного решения.
А вам советую переписать ссылки на статьи с h2 на p с классом и присвоить ему форматирование о заголовка!
Спасибо за совет, но пока не буду этого делать!
Денис, это только со мной может быть!!!! Я помню, что в самый первый день закидывала этот файл на хостинг в папку. А сейчас смотрю в этой папке нет этого файла, как такое может быть? Вот сейчас поставила по твоему, вроде есть. А что же теперь с дублями статей делать? удалять? тогда где их искать в вордпрессе, если я черновики все удалила, остались только оригиналы?
Ничего не нужно искать, они сами выпадут со временем из индекса!
Не знаю, Свет, как такое бывает, может не в ту папку по ошибке сунули!
Денис, а если robots стоял уже пол года, а теперь хочу его переписать (т.е. вообще сменить — на ваш) Это как на сайте может в плохую сторону отразиться? Боюсь чёта я…
Татьяна, а что по Вашему может случится? Лично я его раз 10 менял и ничего!
Ясно. Спасибо
Пожалуйста!
Здравствуйте Денис! Столкнулся с неожиданной проблемой, при установке нового движка WordPress, появился встроенный robots.txt -вот он родной-User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/. Я не могу его найти, есть подозрение что это functions.php. Как его можно поменять на свой?
Здравствуйте, Константин!
Просто добавьте свой robots.txt в корневую папку и всё.
Денис он там уже добавлен давно, сразу перед запуском сайта,все как положено. Но читается только их встроенный robots.txt .
У меня возникает вопрос почему прописаны только эти две категории, а остальные?
Это наверное минимум(стандарт), Константин! Толи темы, толи нового движка. Нужно смотреть. Я пока с этим ещё не столкнулся. Просканируйте все файлы движка и темы на наличие схожих строк.
Тема нет. Я ей пользуюсь уже давно. Остается движок. Буду искать. Спасибо за ответ!
Пожалуйста!
Денис я нашел где собака зарыта:/www/wp-includes/functions.php
А вот и причина-
function do_robots () {
header ( 'Content-Type: text/plain; charset=utf-8' );
do_action ( 'do_robotstxt' );
$output = «User-agent: *\n»;
$public = get_option ( 'blog_public' );
if ( '0' == $public ) {
$output .= «Disallow: /\n»;
} else {
$site_url = parse_url ( site_url () );
$path = ( !empty ( $site_url[‘path’] ) ) ? $site_url[‘path’] : '';
$output .= «Disallow: $path/wp-admin/\n»;
$output .= «Disallow: $path/wp-includes/\n»;
}
echo apply_filters ('robots_txt', $output, $public);
}
/**
Теперь нужно искать как решить проблему.
А чё её искать, снисите этот код и проверьте работоспособность движка, а также робота!
Код снес, движек работает. Но с роботом проблема пишет ошибку, придется убрать блок с ХМЛ. Хотя можно пойти другим путем и в строки
$output .= «Disallow: $path/wp-admin/\n»;
$output .= «Disallow: $path/wp-includes/\n»; Дописать нужный робот. Как считаете?
Попробуйте, но это не совсем правильное решение, робот должен быть в корне, а не в клоаке движка.
Здравствуйте. Подскажите, пожалуйста. Всё сделала по-вашему описанию, но у меня домен кириллицей и не отображается в фаиле. Что мне делать?
Кодировку соблюдаете?
Поставил ваш роботс на свой сайт и сразу в гугл адсенс выскочило собщение что я запретил роботу индексировать свои страницы. Мой роботс http: //www.softzatak.ru/robots.txt Подскажите плиз что не так?
Смотря какие страницы? Дублирующие закрыты!
Закрыло все страницы. Может такой код добавить надо? https:// support.google.com/adsense/answer/10532
Попробуйте, я с адсенсом не дружу, они мне не разрешили рекламу свою вешать!
Поставил обратно старый код, и вижу в старом стоит такая строчка
Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Здрвствуйте мне Гугл в панели Вебмастеров в разделе Файлы Sitemap пишет следующее «Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.»
Вот мой Robots.txt:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /page
Disallow: /tag
Disallow: /plugins
Disallow: /archives
Disallow: /go
Disallow: /goto
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: /plugins
Disallow: /archives
Disallow: /go
Disallow: /goto
Host: krestroy.ru
Sitemap: http: //krestroy.ru/sitemap.xml.gz
Sitemap: http: //krestroy.ru/sitemap.xml
Помогите пожалуйста!!!
Здравствуйте!
Ну а в чём собственно проблема? Значит в Sitemap попал URL адрес, который закрыт в роботе. Судя по роботу в нём всё нормально. Посмотрите xml-версию карты и найдите URL адрес на который ругается Гугл!