Игнорирование robots.txt онлайн-сервисом Linkpad.ru

[Admin]

На нашем сайте есть тема - Онлайн-сервис проверки обратных ссылок на сайт, в которой мы рассказали про онлайн-сервис Linkpad.ru, при помощи которого можно получить много полезной информации, как по входящим, так и по исходящим ссылкам сайта.

Но вот сегодня зашел на него, и был неприятно удивлен.
Данный сервис показал 333 исходящие ссылки с нашего сайта. Т.к. такому количеству попросту неоткуда взяться, стал детально разбираться.

Оказалось, что онлайн-сервис Linkpad.ru проигнорировал имеющийся на сайте robots.txt и проиндексировал все странички, которые нашел (целых 5597).



Таким образом, сервис Linkpad.ru посчитал, что странички нашего форума, доступные по ссылкам:

Цитата:http://usefulscript.ru/forum/showthread.php?tid=123
http://usefulscript.ru/forum/printthread.php?tid=123
http://usefulscript.ru/forum/showthread....23&pid=353
http://usefulscript.ru/forum/showthread....23&pid=492

являются разными, и следовательно это не одна страничка http://usefulscript.ru/forum/showthread.php?tid=123 с одной ссылкой, а четыре разные странички с четырьмя внешними ссылками. Отмечу, что в robots.txt разрешено индексировать только первую страничку из четырех приведенных для примера.

Почему Linkpad.ru в отличие от Яндекса и Google проигнорировал robots.txt, осталось загадкой, хотя раньше таких проблем не возникало.

А печально то, что очень многие сервисы берут информацию с Linkpad.ru и слепо доверяют ей. Надеемся в ближайшее время починят и не будут учитывать ссылки с дублей страничек.

[Admin]

Цитата:Solomono.ru переименован в Linkpad.ru

Рады сообщить вам, что 25 ноября 2013 года Solomono переехал на новый домен linkpad.ru.

Следовательно, тему переименовал и в самом тексте тоже повсеместно заменил упоминание Solomono.ru на Linkpad.ru.

[sergey37]

Жестоко, однако. Я хоть и не закрывал ссылки в роботс. Но единственный сайт-анализатор который показал мне 109 исходящих ссылок. Пошёл лечить.