ChatGPT видит больше сайтов: итоги пилота с Cloudflare

20 октября 2026 года Search Engine Journal сообщил о результатах совместного эксперимента Cloudflare и OpenAI. По данным Cloudflare, сигналы её сети помогли OpenAI добавить в индекс поиска ChatGPT сотни миллионов страниц, которые раньше в него не попадали. Речь не о новом алгоритме и не о смене интерфейса — выросла сама база документов, из которых ChatGPT берёт ответы и ссылки.

Почему эти страницы отсутствовали? Cloudflare стоит перед сайтами как слой защиты и доставки контента, и её фильтры, проверки и правила для ботов нередко отсекают ИИ-краулеров вместе с вредным трафиком. Для владельца сайта это выглядело так: страница открывается в браузере, индексируется Яндексом и Google, но для ChatGPT её не существует. Пилот снял часть этих барьеров на уровне инфраструктуры — без каких-либо действий со стороны самих сайтов.

Для бизнеса здесь две стороны. Хорошая: шанс попасть в ответы ChatGPT вырос у сайтов, которые до этого были для него невидимы, а значит появился смысл всерьёз работать над представлением бренда в ИИ-поиске. Менее приятная: индекс расширился у всех сразу, включая конкурентов, и борьба за место в ответе становится плотнее. Плюс расширение охвата — это и вопрос контроля: ваши тексты теперь с большей вероятностью используются как источник, и решать, устраивает это вас или нет, лучше осознанно.

Что имеет смысл сделать в ближайшие недели:

• Проверить, пускаете ли вы ИИ-ботов. Посмотрите robots.txt и правила доступа: разрешены ли GPTBot и OAI-SearchBot. Запрет в robots.txt остаётся вашим решением, и инфраструктурные договорённости его не отменяют.
• Заглянуть в настройки Cloudflare. Если вы пользуетесь панелью Cloudflare, проверьте блокировку ИИ-ботов, Bot Fight Mode и кастомные правила WAF — именно они чаще всего закрывают доступ незаметно для владельца.
• Посмотреть логи сервера. Отфильтруйте обращения по user-agent ИИ-краулеров: это самый honest способ понять, читают вас или нет, без догадок.
• Проверить техническую доступность. Контент, который подгружается только скриптами, страницы за капчей и геоблоки остаются слабым местом даже при открытом доступе для ботов.
• Подготовить контент к цитированию. Короткие прямые ответы на конкретные вопросы, цифры, даты, понятные подзаголовки, фактура вместо общих слов — такие фрагменты удобнее вытащить в ответ.
• Настроить отслеживание трафика из ИИ-сервисов. Выделите переходы с chatgpt.com и других ИИ-платформ в отдельный сегмент аналитики, чтобы видеть динамику, а не узнавать о канале случайно.
• Определиться со стратегией. Открытый доступ даёт видимость, закрытый — контроль над контентом. Для медиа и сервисов с платным контентом ответ может быть разным, но он должен быть осознанным, а не унаследованным от настроек по умолчанию.

Отдельно стоит зафиксировать ожидания: расширение индекса не гарантирует, что ChatGPT начнёт ссылаться именно на вас. Это снятие технического барьера, а не продвижение. Дальше работает то же, что и в обычном поиске: полезность материала, его структура и доверие к источнику.

Источник: Search Engine Journal.