Доброго времени суток всем друзьям и читателям – Sozdaiblog.ru!
Сегодня я расскажу историю о том, как я потратил 4 месяца на поиск дублей страниц и их последующего удаления из индекса поисковых систем Google и Яндекс.
Для тех, кто не знает, что такое дубли страниц и зачем их удалять я дам немного ознакомительной информации.
Дубли страниц – это одинаковые разделы Вашего Веб-ресурса, на которые можно попасть по разным Веб-адресам (ссылкам).
Чем больше подобных страниц поисковые системы обнаружат на Вашем сайте, тем выше вероятность того, что Ваш Веб-ресурс будет занижен в поисковой выдаче вплоть до наложения на него определённых санкций (фильтров АГС).
Если Вы новичок в сайтостроении и для управления своим контентом используете WordPress, то наличие дублей страниц в поиске Вам 100% гарантировано.
Вот пример самого распространённого дубля в WordPress:
Целевая страница:
- https://sozdaiblog.ru/vrstka-wordpress/deny-107-8-mysql-zaprosov-dlya-besstrashnh-veb-masterov.html
Дубль:
- https://sozdaiblog.ru/vrstka-wordpress/deny-107-8-mysql-zaprosov-dlya-besstrashnh-veb-masterov.html?replytocom=5411
И это только один из примеров. Разнообразие всевозможных дублей достаточно велико.
Конечно, тем, кто создал свой сайт, чтобы поиграть и забыть про него беспокоится не о чем.
Но если Вы хотите развивать и продвигать свой Веб-проект и зарабатывать на нём хорошие деньги, то избавиться от дублей страниц необходимо в первую очередь.
Ко всему вышесказанному могу добавить то, что не один уважающий себя SEO-оптимизатор не начнёт продвижение доверенного ему проекта пока не избавиться от причины и следствия появления дублирующего контента.
Теперь давайте перейдём к моей истории.
Итак.
Почему я начал поиск дублей страниц?
Моя история началась с того, что я познакомился с сервисом проверки траста сайта.
Как показала проверка, траст моего блога был не плох за исключением одной мелкой детали, которую я даже не сразу заметил.
В разделе «Ссылки с сайта» отображалось огромное число «16864,» из которых «16600» с 4 уровня:
Я был в ужасе, но не от количества ссылок, а от непонимания их появления на блоге.
В придачу к этому мне зажгли один красный фонарь, который олицетворяет заспамленность сайта исходящими ссылками:
Обычно такие фонари зажигают для тех Веб-сайтов, кто активно ведёт торговлю ссылками со своей площадки.
Но, как известно многим, я ссылки не продаю.
Выходит так, что включение светофора напрямую зависит от того страшного числа, которое я обнаружил.
Ещё раз, проанализировав сложившуюся ситуацию, я заметил в результатах проверки мелкую надпись – «Данные Solomono»:
Solomono.ru – это старенькая биржа, специализирующаяся на торговле ссылками.
Заглянув к ним в гости, я осуществил поиск своего блога:
Почему-то полученный результат меня совсем не удивил:
Получается, что Xtool.ru парсит данные напрямую с Solomono.ru.
Интересная схема получается, но на тот момент меня это волновало меньше всего.
Благодаря этой бирже я смог понять, в чём же дело и найти дубли страниц на своём блоге.
Достаточно было сделать клик по тому страшному числу, после чего справа я увидел корень всего зла.
Оценив весь масштаб захламления и предстоящей работы по ликвидации последствий и источников появления дублирующего контента, я начал искать способы поиска дублей страниц и удаления их из индекса поисковых систем.
Чтобы добиться положительного результата я потратил 4 месяца своей жизни на достижения поставленной цели.
— Почему так долго? – спросите Вы.
Произошло это потому, что в Интернете нет такого места, где была бы собрана вся подробная информация по лечению данной болячки.
В течении четырёх месяцев по всем уголкам всемирной паутины я собирал все необходимые ингредиенты для получения нужного лекарства, которое действительно работает.
Всё это время мне не удавалось добиться положительного результата.
Но буквально неделю назад всё изменилось и мне повезло.
Теперь показатели моего блога выглядят следующим образом:
На мой взгляд, это отличный результат, который был, достигнут огромными усилиями.
В связи с этим я приступаю к написанию электронной книги, в ней я выложу все свои знания, полученные опытным путём за четыре долгих месяца проделанной работы.
В моём издании будут описаны все способы и фишки по поиску и удалению дублей страниц из самых крупных поисковых систем таких, как Яндекс и Google.
Будут представлены все коды и места уязвимости WordPress, а так же способы их применения и лечения с подробным описанием и скриншотами.
Прошу Вас не расстраиваться, но данный продукт будет не бесплатным!
Его цена составит 1000 р.
Не знаю, много ли это для Вас или нет, но если учесть, что на рынке «SEO» услуги по поиску и удалению дублей страниц стоят от 3000 р., то цена за книгу более чем приемлема.
Благодаря книге, Вы сможете самостоятельно осуществлять поиск дублей страниц, выявлять места их появления и применять все способы по их устранению.
Особенно эта книга будет полезна всем новичкам, которые смогут сходу запустить свой новый Веб-проект без единой ошибки, что в дальнейшем позволит спокойно зарабатывать деньги, а не искать причины понижения их сайта в рейтинге из-за вновь появившихся дублей страниц.
С сегодняшнего дня я начинаю приём заявок от всех желающих приобрести данное издание!
Для этого Вам необходимо заполнить специальную форму под книгой указав Ваше имя и E-mail.
Тем, кто ранее не подписывался на мои рассылки, на почтовый ящик придёт письмо активации подписки. Обязательно его откройте и активируйте.
В день поступления книги в продажу, каждый из тех, кто заранее подал заявку, получат уведомление о появлении издания и скидку в размере 10% от стоимости.
Способы оплаты и приобретения книги будут обговариваться непосредственно с её автором, то есть со мной.
Внимание! Книга уже поступила в продажу! Все кто пожелает её купить, могут написать на мой Email:
SOZDAIBLOG@yandex.ru
По всем интересующим Вас вопросам, Вы можете обратиться ко мне в комментариях к этой статье, либо через форму обратной связи.
На этом всё. До новых постов…
С уважением, Денис Черников!
- Сислибы что это означает простыми словами
-
Живое увеличение Картинки при Наведении курсора!
- Амбассадор что это означает простыми словами
-
Важные аспекты релиза WordPress 6.4
-
Улучшения в Gutenberg 16.0 для управления страницами в WordPress
-
Как зайти в админку WordPress?
- Кто такой дистрибьютор в торговле простыми
-
Основные функциональные возможности Gutenberg 16.0
- Реклама это простыми словами
-
Как вставить изображение в RSS ленту?
Интересно и наверняка полезно,но понадобится тогда,когда будет сайт или блог.
Элла
Да, возможно!
Чудненькая цена книги: 1000 т.р. !!!
Это мильон как бы…
Ага )). Следовало бы исправить
Уже!
Привет Денис! Хорошее дело делаешь. Могу взять почитать твою книгу, может что-то добавлю или исправлю, бесплатно конечно.
Привет, Алексей!
Я подумаю!
А когда будет готова данная книга? Я готов купить за 1000, для меня это актуально, так как проверил сейчас свой сайт. У меня тоже горит красный фонарь, хотя ссылками не торгую. И у меня много ссылок с сайта не с 3 или 4 уровня, а со второго…
Роман, конкретно по срокам не могу ничего сказать, так как у меня очень много форс-мажорных обстоятельств. Но буду стараться сделать быстрее!
Тут ещё дело в том, что соломоно считает ссылки, которые закрыты в robots.txt и показывает их как дубли.
Он считает — теги, навигацию и рубрики! Не вижу в этом проблемы. Главное, что они не в индексе. Причём, эта ерунда тоже решаема!
Спасибо, Денис, за полезную информацию, проверила свой сайт на наличие дублей, как оказалось, у меня все не так трагично, я этим вопросом занималась давно, в начале создания блога, но как кажется у меня сработал файл роботс, дублей нет…
Пожалуйста! Если так, то хорошо! Дайте адрес сайта!
Денис, скажите пожалуйста, по Solomono у меня внешние ссылки 19774, это много? И являются ли именно эти ссылки дублями?
Конечно дублирующий контент это заноза, из за нее сайт действительно понижают в выдаче или вообще ограничивают в поиске.
Наталья, Вы имеете ввиду ссылки на сайт или с сайта?
Если много внешних, которые ссылаются на Вас с хороших сайтов, это хорошо! А если исходящие с Вашего сайта, это плохо!
Блин, мой сайт еще молодой, я думаю, что на нем не должно быть ссылок внешних. А скажите, могут быть ссылки, в шаблонах, которые мы скачиваем с интернета для блога?
Конечно, Юрий! Каждый разработчик шаблона вшивает в него ссылку указывающая на его авторство, плюс ещё пару рекламных до кучи. В некоторых по 5-7 штук аж встречается!
не совсем понял для чего нужен сервис проверки траста сайта если посмотреть какие страницы есть в индексе можно через сервис яндекса проверить что есть в индексе(http:// webmaster.yandex.ru/check.xml?) и там в списке будет отображаться все проиндексированные если там будут дубли их тоже будет видно. ну и в гугле есть аналогичный сервис. Кстати говоря установил карту сайта указал в файле robors в вебмастерах гугла и яндекса указал карту, в карте дублей нету только гугл карту динамит и дубли индексирует которых в карте нету…
Трастом пользуются для проверки качества сайта. Через Яндекс Вы можете свой сайт проверить, а как быть с чужим! У Гугла немного другой алгоритм индексирования и robors для него не является основным правилом.
а что по поводу карты сайта я не для себя установил эту карту а для гугла а он вместо того чтоб с карты брать сылки ищет дубли…)
Андрей, с чего Вы вообще взяли, что Гугл выдёргивает дубли из карты? Дубли и карта практически не связаны.
Вы меня не правильно поняли я думал карта нужна для того чтоб избежать дублей и указать гуглу ту ссылку которая есть в карте. У меня в карте дублей нету а в индексе у гугла есть. зачем тогда нужна карта если поисковик ее игнорить и добавляет себе в индекс все подряд?
Андрей, поисковики сканируют ссылки, которые добавляют в индекс. У Вас есть ссылки которые генерируют дублирующий контент. Картой сайта Вы не говорите поисковым системам не индексировать плохие ссылки!
У меня красный фонарь хоть еще не горит, но ссылок много. Среди них тоже есть всякий мусор, в том числе и те же ссылки от древовидных комментов, что и у вас были. Буду ждать книгу, записалась в предв. список.
Здравствуйте, Анастасия!
Такая проблема преследует всех новичков и даже бывалых Веб-мастаров, но с эти можно бороться и я это понял на своём личном опыте.
По началу думал что яндекс полная фигня по сравнению с гуглом в индекс добавляет долго и т.д. Но щас пришел к выводу что яндекс хоть и медленный но с ним нету такого гемора как с гуглом в гуглле дублей не много но они есть поставил условия чтоб индексировал ссылки только в которых есть слово html. с 20 записей 17 в индексе яндекса.
Так при правильном ЧПУ, html есть в каждой ссылке! Значит и дубли тоже будут индексироваться!
Моему новому блогу без году неделя, а уже три фонаря горят
Удалила большую часть исходящих ссылок, но прошло три недели, а Solomono даже не чешется. Соответственно, и траст всего четверочка. Еще санкциями грозят. А ведь у меня не говноблог — все для людей, все для них, родимых. Ссылками не барыжу, если какие и ставлю, то просто по доброте душевной. Нет, по ходу мне не найти общий язык с ПСами. Да и по фиг, надоело под них прогибаться. Зато у меня компашка в блоге собирается, с которой интересно общаться, и мне это дороже, чем всякие гуглы, яндексы и иже с ними.
Елена, подходящая компания — это хорошо, но если блог был создан для продвижения и заработка в Интернете, то без определённых действий добиться ожидаемого результата будет очень тяжело, а в ряде случаев просто невозможно.
Не понимаю сути. Проверила свой сайт. Тоже огромное количество дублей показывает. Но ведь они ВСЕ запрещены к индексации файлом роботс! И ни у Яндекса ни у Гугла в индексе их нет. Так зачем что-то делать?
Татьяна, Гугл не обязан тратить свои ресурсы на сканирование лишнего хлама на Вашем сайте. Либо Вы этот хлам убираете, либо Вас понижают в выдаче. Это одна из причин. А роботс это не запрет, а всего лишь рекомендация, которую Гугл очень часто игнорирует!
Я вообще в тихом ужасе, когда посмотрел… за 50 000 ссылок. При таком раскладе у меня должны гореть фонари и фильтры стоять от Яши и Гоши (Яндекса и Гугла), но ни один фонарь не горит. Честно вообще ничего не понимаю, голова уже кругом над этой проблемой, уже год не знаю что и как делать, и главное, как правильно, а то убьёшь время пол года к примеру… и ещё хуже сделаешь… всё ни чё… но это для меня тёмный лес, хоть и читаю и пытаюсь это понять.
На самом деле не так страшен чёрт, как его рисуют! Моя книга Вам поможет избавиться от страхов, понять что к чему и избавиться от Ваших тараканов.
Денис, я тоже проверила свой блог по Solomono (он сейчас переименован). У меня вообще какая-то странная картина (правда, я как полный технический чайник, ничего в этом не понимаю): ссылки на сайте — 0, но и страниц в индексе — 0, а строчки «видимость сайта» вообще нет.
Что это значит?
Можно адрес Вашего сайта!
http: //sotvorikrasotu.ru
Да я посмотрел и тоже удивился! У Вас кстати и файл robots.txt какой-то странный, там вообще ничего нет!
Это не я делала. Я заказывала блог под ключ Артему Беляйкину (сейчас его блог, на котором я делала заказ, купил Евгений Ходченков).
И потом раза 3-4 заодно что-то дорабатывали ребята, которым я заказывала какие-то услуги (удаление вируса, аудит блога, не работал визуальный редактор).
Поэтому я даже не знаю, что там.
Забыла! Я тоже что-то дорабатывала, если на каком-нибудь блоге встречу что-то полезное (и понятное моему уму).
Да так-то визуально всё вроде хорошо настроено, но вот на счёт ссылок и роботса пока не понятно!
Когда уже поисковики создадут нормальные условия для творчества для простых блогеров? Что бы мы не отвлекались на всякие там дубли и прочие условности, а то достали они уже со своими премудростями.
Видимо никогда!
У вас опять количество ссылок выросло в два раза по сравнению с вашим скриншотом.
И что? Там учитывается не только 100% дубли, соломон туда ссылки с подтверждения авторства в Google напихал! Ну авторство то я не буду убирать!
У меня получилось самостоятельно убрать весь мусор, теперь ссылок со второго уровня всего 49, ура )) На самом деле там делов-то было на пару минут )) Хоть вашу книгу и не покупала, Денис, все равно спасибо. Ведь если бы не ваш пост, я бы на это даже внимание не обратила.
Пожалуйста, Настя! А можно взглянуть на Ваш сайт и посмотреть, как Вы справились?
Денис по xtool у вас на сайте 1100 внешних ссылок,и по linkpad тоже самое… Ваш метод избавления видимо не очень хорошо работает.
Он работает отлично, просто Вы не все аспекты и нюансы понимаете! Один из нюансов, это внешняя ссылка на авторство Гугла в подвале, которая сквозная, а соответственно присутствует на всех страницах блога. Вот и прикиньте, сколько страниц, столько получается и ссылок авторства. Удалив её, половина из указанной Вами суммы «1100» отвалится! Остальное, rss ссылки на подписку и несколько соц. кнопок! Убрав весь этот мусор получится «0»! Думаю после этого пояснения Вы осознали, что не знаете всех нюансов?!