Быстрый тест показал: поисковые системы на базе ИИ могут звучать уверенно, ссылаясь на нерабочие или низкокачественные источники
Простая проверка происхождения данных (provenance) в трех популярных поисковых инструментах на базе ИИ показала, что два из них либо ссылаются на нерабочие ссылки, либо подкрепляют свои ответы сайтами с низким уровнем доверия, хотя все три инструмента выдавали одинаково уверенный текст и ряд «чипсов»-источников.
Тест, вызвавший удивление
Я задал фактический, актуальный вопрос: «Что изменилось в Законе ЕС об ИИ (EU AI Act) в 2026 году?» Ответ содержится в официальном тексте поправок, поэтому он либо есть, либо его нет. Я отправил этот запрос трем поисковым системам на базе ИИ, которые предоставляют цитаты: Perplexity, ИИ-режиму Google и Brave Search.
Все три системы вернули идентичные факты — те же даты, то же описание — так что по чисто фактической точности они разделили первое место. Расхождения проявились только тогда, когда я изучил указанные источники.
Как я оценивал качество источников
Я создал трехступенчатую схему оценки, где каждая цитата взвешивается в зависимости от типа хоста:
- Первичный (вес 3) — сайт, который непосредственно публикует закон (например, официальный реестр ЕС).
- Официальный (вес 2) — учреждение, которое издает или контролирует закон (государственные домены, сайты ведомств).
- Пользовательский контент (UGC, вес 0) — такие платформы, как YouTube или Reddit.
Общий балл каждой системы — это средний вес отображаемых ею URL-адресов.
| Система | Указанные источники | Балл |
|---|---|---|
| Perplexity | Официальные государственные домены | 2.00 |
| Google AI mode | Консалтинговые фирмы и видео на YouTube | 1.00 |
| Brave Search | Первичный источник | 3.00 |
На бумаге Brave выглядела идеально, Perplexity была вполне достойной, а Google отставала.
Скрытая ошибка: нерабочие ссылки
Карта уровней учитывает только доменное имя; она не проверяет, загружается ли на самом деле связанная страница. Я перешел по каждой ссылке. «Первичная» цитата Brave вернула пустую страницу — ссылка была нерабочей. Система утверждала, что ссылается на закон, но ничего не предоставила.
Perplexity использовала официальные государственные домены.
Google использовала консалтинговые фирмы и видео на YouTube.
Выявились две разные проблемы:
- Высококачественный домен не гарантирует доступность страницы.
- Грамотно составленное резюме может опираться на низкокачественные источники.
Пользовательский интерфейс скрывает обе проблемы. Все три инструмента представляют один и тот же уверенный текст и единообразный ряд «чипсов»-источников, не давая никаких визуальных подсказок о том, что один из них ведет на нерабочую страницу, а другой — на обучающее видео на YouTube, а не на текст закона.
Почему происхождение данных важно для разработчиков
Разработчики могут превратить проверку происхождения данных в измеримую метрику:
- Оценивайте каждый ответ, используя многоуровневое взвешивание, подобное описанному выше.
- Автоматически проверяйте работоспособность ссылок; помечайте пустые ответы или ошибки HTTP.
- Настраивайте оповещения, если балл происхождения ответа падает ниже заданного порога.
Этот подход более конкретен, чем борьба с «галлюцинациями»: модель может сгенерировать правдоподобное предложение, но проверка происхождения точно укажет, какая цитата (или её отсутствие) вызвала проблему, что позволит внести точечные исправления.
Вывод
Краткая проверка происхождения данных показывает, что поисковые системы на базе ИИ могут казаться авторитетными, ссылаясь на нерабочие или низкокачественные источники. Разработчикам, использующим эти системы, следует относиться к качеству цитирования как к измеримому свойству, а не как к гарантированному факту, и внедрять автоматизированные проверки в свои рабочие процессы. Проверка того, что «первичный» источник действительно загружается, может стать решающим фактором между заслуживающим доверия ответом и скрытой ловушкой дезинформации.