Создать ответ 
Поисковые боты, создающие нагрузку на сайт
Автор Сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #1
Поисковые боты, создающие нагрузку на сайт
По логам заметил, что на сайте бродят поисковые боты, которые скачивают много страничек.

Хотелось бы узнать, а есть ли от них хоть какая-нибудь польза?

Для примера приведу пару ботов:
Mozilla/5.0 (compatible; WBSearchBot/1.1; +http://www.warebay.com/bot.html) IP: 188.138.86.35

Mozilla/5.0 (compatible; discobot/2.0; +http://discoveryengine.com/discobot.html) IP: 38.101.148.126

Оба бота игнорируют robots.txt и переходят по запрещенным страничкам. Стоит ли их забанить?
10.02.2012 20:17:06
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #2
RE: Поисковые боты, создающие нагрузку на сайт
Вчера захаживал еще один бот, сканировавший довольно таки много страничек.

В User-Agent содержалось следующее: TurnitinBot/2.1 (_http://www.turnitin.com/robot/crawlerinfo.html)
IP адрес: 38.111.147.84
20.02.2012 19:18:09
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #3
RE: Поисковые боты, создающие нагрузку на сайт
Сегодня встретился еще один бот, который слишком резво перемещается по страничкам сайта, тем самым увеличивая нагрузку.
User-Agent: Mozilla/5.0 (compatible; SISTRIX Crawler; _http://crawler.sistrix.net/)
IP: 176.9.148.196
07.04.2012 18:14:50
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #4
RE: Поисковые боты, создающие нагрузку на сайт
Сегодня на нашем сайте появился очень активный бот, который сразу просканировал все ссылки нашего сайта и форума. Одно радует, что этот бот соблюдает директивы из robots.txt.

В User-Agent бота: Linguee Bot (_http://www.linguee.com/bot; bot@linguee.com)
IP адрес: 212.227.136.205
12.07.2012 19:14:05
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #5
RE: Поисковые боты, создающие нагрузку на сайт
Сегодня опять наведался WBSearchBot бот, но уже с другого IP:
User-Agent: Mozilla/5.0 (compatible; WBSearchBot/1.1; +http://www.warebay.com/bot.html)
IP: 85.17.29.107

Бот "скушал" огромное количество страничек с интервалами в несколько секунд. Только это и спасло его от бана Big Grin
11.08.2012 22:15:42
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #6
RE: Поисковые боты, создающие нагрузку на сайт
Сегодня к нам на сайт пришел новый бот и скачал очень много страничек.
User-Agent: Wotbox/2.01 (+http://www.wotbox.com/bot/)
IP: 81.144.138.34 и 81.144.138.40

Судя по описанию на страничке _http://www.wotbox.com/bot/ это какой-то поисковый бот.
19.08.2012 17:15:46
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #7
RE: Поисковые боты, создающие нагрузку на сайт
Вот еще один бот зачастил, который за раз всегда сканирует много страничек:
User-Agent: Mozilla/5.0 (compatible; SemrushBot/0.96.2; +http://www.semrush.com/bot.html)
IP: 46.229.164.98
12.04.2013 19:55:13
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #8
RE: Поисковые боты, создающие нагрузку на сайт
Сегодня ночью к нам на сайт пожаловал BLEXBot, который прошелся по всем темам сайта и форума. При этом интервал между посещениями страничек редко доходил до 5 секунд, за что ему спасибо, т.к. хоть нагрузку на сервер не давал.

Информации по данному боту и IP что-то совсем не нашел. Собственно вот они:
User-Agent: Mozilla/5.0 (compatible; BLEXBot/1.0; +http://webmeup-crawler.com/)
IP: 198.20.66.122

Что интересно, данный бот прошелся по несуществующим страничкам, три дня назад которые посещал Google. Данные ссылки на несуществующие странички появились из-за допущенной ошибки на сайте, которая в течение суток была устранена. Отсюда появилось предположение, что Google и BLEXBot как-то связаны.
22.06.2013 15:13:17
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #9
RE: Поисковые боты, создающие нагрузку на сайт
Уже второй день по всему сайту и форуму бродит бот в User-Agent которого написано следующее: ichiro/3.0 (http:// search.goo.ne.jp/option/use/sub4/sub4-1/). IP бота - 218.213.28.187.
Вроде как это поисковый бот из Гонконга. Бот методично обходит все странички, при этом соблюдая robots.txt.
Интересно, зачем ему понадобилось индексировать сайт на русском языке, причем так активно?
31.08.2013 14:23:36
Найти все сообщения Цитировать это сообщение
Admin Не на форуме
Верховный
Главнокомандующий
(Administrator)
*

Сообщений: 2,431
У нас с: Aug 2011
Сообщение: #10
RE: Поисковые боты, создающие нагрузку на сайт
(07.04.2012 18:14:50)Admin писал(а):  Сегодня встретился еще один бот, который слишком резво перемещается по страничкам сайта, тем самым увеличивая нагрузку.
User-Agent: Mozilla/5.0 (compatible; SISTRIX Crawler; _http://crawler.sistrix.net/)
IP: 176.9.148.196

Все-таки данный бот достал наш сайт и поэтому он отправился в бессрочный бан по User-Agent.
01.10.2014 10:04:44
Найти все сообщения Цитировать это сообщение
Создать ответ 


Переход:


Пользователи просматривают эту тему: 1 Гость(ей)


LiveInternet
© Copyright 2011-2024 by UsefulScript.ru