Проблема с нагрузкой от ИИ-краулеров на серверы сайтов

Некоторые владельцы веб-ресурсов выражают недовольство из-за большого количества ботов, в частности краулеров для ИИ, создающих значительную нагрузку на серверы. Согласно отчету Fastly, такие боты могут генерировать до 39 тысяч запросов в минуту. В 2025 году активность скраперов увеличилась на 87%, причем основной объем трафика обеспечивают RAG-скраперы. В настоящее время ИИ-краулеры составляют около 80% всего трафика ботов, в то время как 20% приходится на фетчеры, ответственные за пиковые нагрузки. Например, ClaudeBot от Anthropic отправил миллион запросов за день на сайт iFixit.com и 3,5 миллиона запросов за четыре часа на Freelancer.com. Одним из самых активных является краулер Facebook, который меняет user-agent после блокировки. Для защиты от ботов используются различные методы, включая капчи и фильтрацию по user-agent, а также более креативные решения, такие как использование zip-бомб, которые истощают память дата-центров. Некоторые веб-мастера применяют такие меры в ответ на деструктивное поведение ИИ-краулеров, игнорирующих директивы robots.txt.