По данным Incapsula, в 2015 году 48,5% всего траффика вебсайтов было сгенерировано посещениями веб-роботов. При этом для маленьких сайтов (до 1000 посещений в день) доля роботов составляла 85,4%. По данным DeviceAtlas, в первом квартале 2016 года общая доля роботов составила 48,59%. Заметим, что это — существенное улучшение по сравнению с предыдущими годами, когда эта доля доходила да 61.5%.
Респределение веб-траффика в 2012–2015 годах (данные Incapsula).Веб-робот (бот, интернет-бот и т. п.) — это программа, которая в автоматическом режиме обращается к сайту используя тот же программный интерфейс, который используют веб-браузеры. Веб-роботы бывают «хорошие» и «плохие».
Хорошие роботы
Хорошие роботы помогают вам и/или вашим клиентам. Примеры хороших роботов:
- роботы поисковых систем, индексирующие веб-страницы,
- роботы проверяющие исправность сайта и его соответствие техническим стандартам интернета,
- RSS-боты,
- роботы собирающие текущие параметры сайта для SEO и прочей оптимизации.
Плохие роботы
Плохие роботы, в лучшем случае, расходуют ресурсы хостинга без малейшей пользы для вас, а в худшем — наносят прямой вред сайту. Примеры плохих роботов:
- вирусы и различного рода инструменты для взлома сайтов,
- боты и бот-сети для сбора email-адресов и телефонов для спам-баз,
- боты для публикации спама в комментариях и веб-формах,
- боты для копирования контента.
Плохие роботы часто изощренно маскируются под настоящего посетителя, и инструменты веб-аналитики не всегда распознают их как роботов, что приводит к искажению данных аналитики. Это необходимо знать и учитывать владельцу сайта.