Да, это правда. Мы собственными руками обрезали трафик на один из подопечных сайтов. Зачем и как мы это сделали?

Не весь трафик на сайте полезен

По данным Arkose Labs, 42% интернет-трафика составляют боты. Внушительная доля, согласитесь? В лучшем случае они не сделают вашему сайту ничего плохого, в худшем – окажутся вредоносными. На этом подводные камни не заканчиваются.

Поведение пользователя на сайте, это важный фактор ранжирования для поисковых систем. От времени, проведенного на сайте, от числа просмотренных страниц зависит положение сайта в выдаче поисковика. Как только пользовательское поведение стало настолько значимым, то его стали сразу пытаться симулировать ботами, т.н. “накрутка”. А поисковики стали с этим бороться и накладывать санкции на сайты, которые продвигали такими “серыми” способами.

Таким образом накруточных ботов можно использовать как для улучшения позиций своего сайта, так и для ухудшения позиций конкурента — просто их работу нужно не маскировать, а наоборот, открыть поисковику.

Например, в декабре 2022 – январе 2023 года мы столкнулись с огромным числом прямых заходов на сайт https://glavstroy365.ru/. Данные получены из сервиса Яндекс.Метрика.

Нормой считается 15-30%, а тут целых 83,4%! Яндекс.Метрика с помощью фильтра “Роботность” позволяет отсечь ботов. С ним результаты получаются несколько иными.


Это говорит нам, что сайт очень популярен у ботов. Мы решили принять меры.

Как мы отсекли трафик от ботов?

Для этого мы подключили к сайту защиту от ботов CloudFlare.

Он позволяет настроить своеобразную воронку, ставит фильтры, которые не допускают вредных ботов на сайт. Согласно этим правилам:

  • на сайт допускаются доверенные белые боты;
  • заход возможен только из Беларуси, РФ, Казахстана;
  • ограничен доступ плохим краулерам;
  • урезан трафик по протоколам IPV6 и по HTTP (а это явные боты);

и несколько других ограничений.

Что мы получили в итоге?

Из явного — нам удалось сократить число прямых заходов до более разумных цифр:

Из менее явного — нам удалось остановить постоянный рост ботного трафика и незначительно увеличить органический.

Окончательные выводы можно будет сделать гораздо позже, реальные результаты ожидаются на более дальней дистанции. О них мы обязательно напишем, оставайтесь с нами!