Некоторые владельцы сайтов выражают недовольство из-за значительного количества ботов, создающих нагрузку на серверы, в частности, краулеров для LLM (искусственного интеллекта). Согласно аналитическому отчёту Fastly, такие боты могут генерировать до 39 тысяч запросов в минуту. В 2025 году нагрузка от скраперов возросла на 87%, при этом основную часть трафика составляют RAG-скраперы, а не те, что предназначены для первичного обучения моделей. В настоящее время ИИ-краулеры производят около 80% интернет-трафика от всех ИИ-ботов. Примечательно, что 20% приходится на фетчеры, которые могут вызывать значительные пиковые нагрузки. Например, ClaudeBot от компании Anthropic отправил миллион запросов за один день к сайту iFixit.com и 3,5 миллиона запросов за четыре часа к Freelancer.com. В числе самых активных ботов выделяется краулер Facebook, который меняет user-agent после блокировок. Для борьбы с краулерами применяются различные методы, включая капчи и фильтрацию по user-agent, а также креативные решения, такие как система Anubis, проверяющая входящие соединения. В последние годы также начали использовать zip-бомбы, которые истощают оперативную память краулеров. Несмотря на эти меры, некоторые веб-мастера заявляют, что новые ИИ-краулеры ведут себя весьма агрессивно, игнорируя директивы robots.txt, что приводит к увеличению нагрузки на серверы.