Борьба со спамерами

[Admin]

Последние два дня наблюдается прямо какое-то нашествие ботов. Все они действуют по одной схеме и даже посещают одни и те же странички в одном и том же порядке.
Пока наш скрипт автобана справляется и за два неполных дня им уже были забанены 20 IP адресов. Как ни странно все IP адреса принадлежат зарубежным странам (Япония, Венесуэла, США, Китай, Багамы и т.д.) и их можно смело банить.
Я конечно понимаю, что всех не забанить, но на первое время хоть как то надо бороться, а то такие боты пользы не приносят.

На форум так же идут постоянные попытки авторегистраций и СПАМ-а. Пришлось закрыть доступ к форуму еще для пары подсетей: 220.200.48*, 220.200.49*, 220.200.50* и 220.200.51*.

[Admin]

Сегодня зашел на форум и обалдел.
Некий СПАМ-ер под логином moumilly оставил на форуме менее чем за сутки аж 68 сообщений в разных темах со СПАМ-ом. Все сообщения были на английском языке и содержали по несколько внешних ссылок.

Все эти сообщение естественно были сразу удалены, участник под логином moumilly был забанен. Так же были забанены и IP адреса с которых данный участник зарегистрировался (72.52.116.231) и отсылал сообщения на форум (113.240.105.200). Почта данного "негодяя" - yaojingshui112@gmail.com. User-agent - Mozilla/5.0 (Windows NT 5.1; rv:15.0) Gecko/20100101 Firefox/15.0 и Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0).

Судя по логам регистрацию прошел вручную, а вот сообщения уже отсылал скриптом.
Жаль только что в это время как раз по сайту гулял робот Яндекса и мог всю эту "гадость" проиндексировать.

[Admin]

Последние дни что-то активизировались боты, которые так и пытаются зарегистрироваться на нашем форуме и наспамить (определяем по логам форума). Пока защита сайта держится, и враг не прошел! Но такие участившиеся попытки все равно настораживают.
На данный момент в будние дни приходится банить примерно по 20 очень настырных IP адресов, с которых не прекращаются попытки авторегистраций.

[Admin]

Пришлось перейти к более активным действиям для снижения нагрузки на сайт.
Теперь "спамные" IP адреса банятся через .htaccess, а не средствами форума. Таким образом, забаненные IP теперь даже сообщение о том, что доступ на форум им запрещен, получать не будут. Кстати на основной сайт они теперь тоже доступ не будут иметь и не будут забивать логи своими попытками оставить сообщения в темах.

[Admin]

Сегодня кто-то очень активно выкачивал наш сайт и форум. В результате к сайту шли десятки обращений к разным страницам с разных IP адресов, у которых в user-agent фигурировал Googlebot. При этом robotx.txt дынными ботами не учитывался, в результате чего количество страничек форума, к которым обращались эти самые боты, увеличилось в геометрической прогрессии. Из-за сканирования просто огромного количества страничек (в том числе повторных и не существующих) в панели хостера был замечен скачок увеличения нагрузки
Придется принимать какие-то меры

[Admin]

Первым делом было решено убрать ни кем не используемые ссылки для просмотра пользователей, оставивших комментарии к темам. Тем самым можно неплохо уменьшить количество ссылок вида:

Код:

<a href="javascript:MyBB.whoPosted(99);">99</a>

При открытии таких ссылок в новой вкладке, все (в том числе и боты) попадают на страничку с ошибкой 404.

Данные ссылки находились напротив названия тем в столбце "Ответов":


При клике по данным ссылкам выскакивало окошко с логинами пользователей, ответивших в теме и количеством оставленных ими сообщениям:


Если у Вас тоже форум на платформе MyBB, то Вы тоже можете удалить данные ссылки. Для этого зайдите в Админ-Панель, перейдите в Шаблоны » Default Templates. Выберите "Правка шаблона: forumdisplay_thread" и найдите там следующий код:

Код:

<a href="javascript:MyBB.whoPosted({$thread['tid']});">{$thread['replies']}</a>

Чтобы избавиться от ссылки, замените данный код на такой:

Код:

{$thread['replies']}

[Admin]

Следующий наш шаг - отключение рейтинга темы. Данная опция все равно как-то не прижилась на нашем форуме, так что было принято решение от нее избавиться и тем самым убрать еще по пять лишних ссылок на каждую тему.

Как это выглядело раньше:


Отключается данная опция просто. Заходите в Админ-Панель, переходите в "Настройки форума", выбираете "Forum Display Options" и у настройки "Use Thread Ratings?" выбираете флаг "Нет".

Ну и напоследок, для всех не зарегистрированных пользователей был закрыт доступ к календарю. Там все равно ничего интересного нет, да и в robotx.txt уже давно закрыта его индексация.


Думаю, все сделанные изменения будут положительно восприняты поисковыми системами, т.к. содержательная часть форума не пострадает, а вот куча лишних тегов и ссылок будет убрана.

[Admin]

Прошло 8 дней и ситуация с очень активным выкачиванием нашего сайта и форума повторилась. За 10 минут было сделано примерно 5000 обращений к страницам сайта, причем странички не повторялись, а вот IP адреса все время были разные. Как и в предыдущем случае в user-agent фигурировал Googlebot, хотя IP явно не принадлежат Google. Блокировать все эти 5000 IP адресов диапазонами как-то не хочется, т.к. многие IP - российские, а это значит, что могут пострадать обычные пользователи.
Что интересно, у многих IP адресов (проверял из разных диапазонов) нашлось нечто общее:

Код:

ISP:    Trusov Ilya Igorevych
Organization:    Trusov Ilya Igorevych

Так-то пусть боты ходят по сайту, но зачем создавать нагрузку за такой маленький промежуток времени!

[Admin]

Да, давненько уже в данной теме ничего не писал, т.к. особо спамеры и не досаждали.
Но вот видать и время пришло.

Сегодня, в течении дня на нашем форуме зарегистрировалось более 180 пользователей с почтой @penemails.com и еще несколько с другими ящиками.

Учитывая, что при регистрации и активации профилей практически все IP адреса были из "заморских стран" было решено не дожидаться, когда с этих аккаунтов посыпятся сообщения, все они были удалены.

Почтовым ящикам с @penemails.com отныне запрещено регистрироваться на нашем форуме.