Личные ИИ-агенты ходят на сайты в обход robots.txt и аналитики

20 октября 2026 года Search Engine Journal опубликовал разбор того, как до сайтов добираются персональные ИИ-агенты: Muse у Meta и dots у OpenAI. Это не классические краулеры с опознаваемым user-agent. Агент получает содержимое страницы либо через коннектор к сервису, либо через облачный браузер, который открывает сайт на инфраструктуре провайдера и отдаёт пользователю уже готовый ответ.

Для клиента это ломает три привычных инструмента. Robots.txt написан под поисковых роботов и такую сессию не описывает: формально на сайт заходит не краулер, а браузер по запросу конкретного человека. On-page SEO работает не полностью — если агент берёт данные через интеграцию, он не видит ни разметку в шаблоне, ни элементы, которые дорисовывает скрипт. Аналитика показывает визит из дата-центра без внятного источника, поэтому трафик оседает в прямых заходах или фильтруется как бот, а последующая покупка приписывается не тому каналу. В сумме отчёт перестаёт отвечать на вопрос, откуда пришёл спрос.

Что делать сейчас:

• Смотреть серверные логи, а не только счётчик: по IP, ASN и user-agent видно обращения, которых нет в веб-аналитике.
• Проверить сайт без JavaScript: цена, наличие, условия доставки и контакты должны присутствовать в HTML, который отдаёт сервер.
• Поддерживать структурированные данные и чистую разметку — для агента это самый дешёвый способ понять страницу.
• Решить, что делать с доступом: прописать правила для агентных обращений в robots.txt и пользовательском соглашении, не закрыв заодно нужный трафик.
• Добавить к отчётности бренд-мониторинг в ответах ассистентов: по нему виден спрос, который не доходит до сайта в виде визита.

Источник: Search Engine Journal.