В начале года один из наших проектов, который находится на SEO-продвижении, подвергся атаке поведенческих ботов. В статье на примере этого сайта рассказываем и показываем как боты были обнаружены, какие меры предпринимались и что из этого вышло.
Содержание статьи:
- Какие бывают боты
- О накрутке поведенческих факторов
- Как понять что сайт подвергся атаке ботов
- Способы блокировки ботов
- Последствия накрутки
- Какие действия не помогут
- Какая ситуация у сайта сейчас
- Итоги
Виды ботов
Прежде чем рассказывать об избавлении от ботов следует упомянуть какие типы бывают:
-
Поисковые боты или иначе краулеры:
Эти боты полезные и используются поисковыми системами Яндекс, Google и другими для сканирования и индексации содержимого веб-страниц. Они помогают обновлять базы данных поисковых систем.
-
Спам-боты:
Автоматически размещают спам в комментариях, форумах и на страницах социальных сетей. Они могут также использоваться для рассылки нежелательных сообщений в электронную почту.
-
Боты для накрутки:
Предназначены для имитации пользовательского поведения, как, например, наращивание посещаемости сайта, кликов по рекламе или оставления положительных отзывов.
-
Боты для мониторинга:
Они собирают данные о различных веб-ресурсах, например, ценах на товары, изменениях в контенте или доступности услуг.
-
Осуществляют сетевые атаки, например, для перегрузки серверов путем отправки огромного количества запросов, атаки типа DDoS.
Что такое накрутка поведенческих факторов
Один из важных факторов, который поисковые системы используют для ранжирования сайтов — поведение посетителей на сайте. Как долго остаются на сайте, с какими элементами взаимодействуют, как много страниц посещают и прочие.
Исходя из этого фактора некоторые владельцы сайтов прибегают к накрутке поведенческих факторов. Положительная накрутка может быть направлена на сайт владельца, чтобы в глазах поисковых систем сайт выглядел как очень релевантный, удобный и интересный для пользователей.
Но существует накрутка в обратную сторону. Когда сайт конкурента подвергается атаке ботов, которые проводят от 0 до 15 секунд на сайте и портят статистику. Поисковая система считает, что людям такая страница не дает ответов на нужный вопрос и прячет в выдаче подальше.
Любая из накруток дело рисковое и не всегда оправданное, можно попасть под санкции. Если сайт действительно плохой, то никакие положительные накрутки не помогут. Ведь людям всё также не удобно, не выгодно, нужно вкладываться не в покупку ботов, а в улучшение сайта.
Так и наш клиент столкнулся с атакой ботов, которые портили показатели сайта, которые участвуют в ранжировании поисковыми системами.
Как определить что сайт подвергся атаке ботов
Важно регулярно отслеживать посещаемость сайта, чтобы в дальнейшем не было больших трудностей и проблема была решена как можно быстрее.
Анализ трафика и выявление закономерностей
При помощи Яндекс Метрики можно наблюдать за основными показателями, которые нужны для анализа посетителей и их поведения.
Первым звоночком для сайта стал резкий рост процента отказов:
Сначала появилась мысль, что какие-то страницы перестали работать или сайт в целом стал дольше загружаться. А как мы знаем, посетители не любят долго ждать и уходят обратно в поиск.
Но с этим всё было впорядке, значит нужно переходить в более детальные отчеты и находить зацепки, которые приведут к верному решению.
При просмотре целого месяца на графике наглядно видно на сколько увеличилась посещаемость сайта:
Самое часто явление при большом количестве посещений ботов — это сочетание роста прямых заходов и отказов:
Благодаря записям Вебвизора удалось найти много информации, которая помогла убедиться в наплыве ботов на сайт.
Посмотрев на IP-сеть было обнаружено, что большая доля отказов происходила от Biterika Group OOO:
Также все отказы происходили группами по несколько штук в одну и ту же минуту или с очень маленькими интервалами. Затем перерыв и снова группа ботов заходила на сайт.
Исходя из этих данных было предположение, что на сайт заходят именно покупные боты, а не люди.
Про способы борьбы написано в следующей главе, но эта история не заканчивается. Успешная блокировка ботов Битерики, видимо, была обнаружена и на сайт пошли новые боты с других сетей и с новым поведением, но всё с теми же отказами.
Чего только не было обнаружено на записях Вебвизора, некоторые устройства были похожи на фитнес-браслеты:
Или же совсем на что-то неизведанное:
Обычные люди точно не будут заходить на сайт с подобных устройств. Да и, как обычно, вырос процент отказов, а прямые заходы вели именно на главную страницу. Можно было бы также применить блокировку по IP, но среди источников отказа была также сеть Мегафон Net By Net Holding LLC:
Можно было бы попытаться заблокировать, но тогда под неё попадут настоящие пользователи сети. Такой метод уже не подходит для нас, поэтому было принято использовать другое решение.
Как заблокировать ботов
Блокировка IP-адресов с подозрительной активностью в .htaccess
Этот способ помог избавиться от ботов Biterika. Нужно добавить в файл. htaccess IP-адреса для блокировки через RequireAll — можно скачать все оформленные адреса Битерики для блокировки
Переход на Cloudflare
Так как сайт подвергся новому наплыву ботов, то было принято решение переходить на защиту от Cloudflare.
На бесплатном тарифе доступно задание 5 правил для защиты сайта, чего нам вполне хватило, так как в одном правиле можно прописывать сразу несколько значений.
Подробнее об этом уже писали в статье.
Стоит сказать, что проводить такие действия перед выходными или праздниками не стоит, т.к. что-то может пойти не так. Лучше исправить ошибку в рабочий день чем на выходных, или выйти после праздников и заметить, что сайт всё это время не работал.
Последствия накрутки
Поисковые системы вроде Яндекса и Google ведут активную борьбу с накруткой поведенческих факторов. Появление ботов на сайте может привести к санкциям, снижению позиций в поисковой выдаче или даже полному исключению сайта из индекса.
Использование поведенческих ботов также не принесет никаких положительных результатов. Накрутка создает искаженное представление о реальной популярности и настоящих пользователях сайта. Этот подход негативно влияет на восприятие истинной картины, что, в свою очередь, может ухудшить бизнес-решения и стратегическое развитие компании.
Какие действия не помогут
При поиске способов борьбы с ботами была найдена информация, в которой говорилось, что можно просто убрать счетчик метрики со страниц, которые подверглись атаке.
Такое мнение является ложным, так как счетчик не привлекает ботов. Это не решение вопроса, а представление будто никаких проблем нет, ведь боты также будут ходить на сайт и портить его показатели, а мы просто этого не будем видеть. Но поисковые системы видеть будут! И считать, что сайт плохой.
Какая ситуация у сайта сейчас
Регулярные проверки и оперативное вмешательство помогли выстоять и не потерять позиции.
С момента атаки 09.02.2024 средняя позиция в Яндексе выглядит так:
Средняя позиция в Google:
Да и показатели по рынку радуют:
Уже в первые часы после формирования правил для защиты в Cloudflare появились результаты:
27 ботов не смогли пройти проверку и не попали на сайт.
Подведем итоги
Если ваш сайт подвергся атаке,то можно найти в интернете способы блокировки ботов, что-то уже было решено. Но если конкурент захочет понизить ваш сайт в выдаче, то будет искать новые способы. И тогда уже нужно смотреть на основные показатели — страна, сеть, источник заходов, страница входа, устройства и многое другое, чтобы подобрать правила защиты именно для себя.
Накрутка поведенческих факторов — далеко не решение всех проблем. Не стоит нагонять их на свой сайт, чтобы улучшить позиции, или на сайт конкурента, чтобы ухудшить его показатели.
