Что за боты NetcraftSurveyAgent, Ezooms/1.0 и TOP.NET.RU BOT?

[Admin]

Недавно на нашем сайте появились непонятные боты, которые представляются как NetcraftSurveyAgent/1.0, Ezooms/1.0 и TOP.NET.RU BOT.

Что делают данные боты? Есть ли от них польза или вред, и стоит ли их забанить?

Более подробная информация по ним:
Mozilla/5.0 (compatible; Ezooms/1.0; ezooms.bot@gmail.com) 208.115.111.72
Mozilla/5.0 (compatible; NetcraftSurveyAgent/1.0; +info@netcraft.com) 50.19.44.147
TOP.NET.RU BOT v2.0 Top script 46.4.62.75

[Admin]

Вот только что еще один непонятный бот отметился - Yeti/1.0 (NHN Corp.; http:// help.naver.com/robots/) c IP 119.235.237.17

Интересно, что этот бот делает и есть ли от него хоть какая-нибудь польза?

P.S. Зашел еще раз, но уже c другого IP - 119.235.237.16

[Admin]

Сегодня наш сайт и форум активно сканировал бот:
User-Agent бота: Mozilla/5.0 (compatible; Purebot/1.1; +http://www.puritysearch.net/) 91.205.96.19

Непонятно что он делает, но совершает очень много переходов за очень маленькое время, чем создает большую нагрузку на хостинг игнорируя файл robots.txt.

Решил забанить по его IP для снижения нагрузки на сайт.

[Admin]

Вот еще один непонятный бот поселился на нашем сайте - Mozilla/5.0 (compatible; AhrefsBot/1.0; +http:// ahrefs.com/robot/) с IP 212.113.37.106

Пока решил не банить, посмотрим как себя поведет.

[Admin]

Вот еще один очень странный посетитель:

User-Agent бота: Mozilla/5.0 (compatible; socketcrawler; http:// nlp.fi.muni.cz/projects/biwec/) с IP адресом 147.251.48.4

Посетил довольно много страничек сайта, но особенно его заинтересовал наш форум. Похоже, что искал уязвимости т.к. обращался к темам меняя ссылки на такие:

/forumdisplay.php?fid=8'
/forumdisplay.php?fid='

[Admin]

И еще один непонятный бот:

User-Agent: netEstate NE Crawler (+http://www.sengine.info/)

Его IP: 81.209.177.145

[Admin]

И еще один непонятный гость представился как:

Mozilla/5.0 (compatible; oBot/2.3.1; +http://filterdb.iss.net/crawler/)

Пришел с IP 206.253.224.18

[Admin]

Совсем непонятный бот, в User-Agent которого написано FeedValidator/1.3

Заходил сразу с двух разных IP: 128.30.52.88 и 128.30.52.94,

при этом постоянно обращался к одной и той же страничке http://usefulscript.ru/pull_down_menu.php около 40 раз за 13 минут!

[Admin]

Продолжает тему с непонятными ботами.

User-Agent: Mozilla/5.0 (compatible; discobot/1.1; +http://discoveryengine.com/discobot.html )
IP: 38.101.148.126

User-Agent: Updownerbot (+http://www.updowner.com/bot)
IP: 176.9.78.7

[Admin]

И еще парочка непонятных ботов отметилась на нашем сайте.

Первый представился как SearchBot с IP 109.207.13.64.
Потом уже пришел с других IP (109.207.13.36 и 109.207.13.18) и "скушал" много страничек.

Что интересно IP адреса Российские и netname: Electronic-government.

А второй, с IP 64.124.57.5 в User-Agent имел следующее: Wget/1.10.2 (Red Hat modified)