Швидкий тест показує: ШІ-пошукові системи можуть звучати впевнено, посилаючись на неробочі або низькоякісні джерела
Проста перевірка походження даних (provenance) у трьох популярних пошукових інструментах на базі ШІ виявила, що два з них або вели на неробочі посилання, або підкріплювали свої відповіді сайтами з низьким рівнем довіри, хоча всі три відображали однаковий впевнений текст і ряд «чіпсів» (chips) із джерелами.
Тест, що викликав здивування
Я поставив фактичне, актуальне запитання: «Що змінилося в EU AI Act у 2026 році?». Відповідь міститься в офіційному тексті поправок, тому вона або є, або її немає. Я ввів цей запит у три ШІ-пошукові системи, які надають цитування: Perplexity, Google AI mode та Brave Search.
Усі три системи надали ідентичні факти — ті самі дати, той самий опис — тож за чистою достовірністю вони були рівними. Розбіжності з'явилися лише тоді, коли я перевірив процитовані джерела.
Як я оцінював якість джерел
Я створив трирівневу схему оцінювання, яка зважує кожне цитування залежно від типу хоста:
- Первинне (вага 3) — сайт, який безпосередньо публікує закон (наприклад, офіційний реєстр ЄС).
- Офіційне (вага 2) — установа, яка видає або контролює закон (урядові домени, сайти відомств).
- Користувацький контент (UGC, вага 0) — такі платформи, як YouTube або Reddit.
Загальний бал кожної системи — це середній зважений показник URL-адрес, які вона відобразила.
| Система | Повідомлені джерела | Бал |
|---|---|---|
| Perplexity | Офіційні урядові домени | 2.00 |
| Google AI mode | Консалтингові фірми та відео на YouTube | 1.00 |
| Brave Search | Первинне джерело | 3.00 |
На папері Brave виглядала ідеально, Perplexity була непоганою, а Google відставала.
Прихована помилка: неробочі посилання
Карта рівнів враховує лише доменне ім'я; вона не перевіряє, чи завантажується сторінка за посиланням насправді. Я перейшов за кожним URL. «Первинне» цитування Brave повернуло порожню сторінку — посилання було неробочим. Система стверджувала, що посилається на закон, але нічого не надала.
Perplexity використовувала офіційні урядові домени.
Google використовувала консалтингові компанії та відео на YouTube.
Виникли дві окремі проблеми:
- Високоякісний домен не гарантує доступність сторінки.
- Добре сформульований підсумок може базуватися на джерелах із низьким рівнем довіри.
Користувацький інтерфейс приховує обидві проблеми. Усі три інструменти представляють однаковий впевнений абзац і однорідний ряд «чіпсів» із джерелами, без жодних візуальних підказок про те, що один із них веде на неробочу сторінку, а інший — на навчальний відеоролик на YouTube, а не на текст закону.
Чому походження даних важливе для розробників
Розробники можуть перетворити перевірку походження даних на метрику, яку можна протестувати:
- Оцінюйте кожну відповідь, використовуючи багаторівневе зважування, подібне до наведеного вище.
- Автоматично перевіряйте працездатність посилань; позначайте порожні відповіді або помилки HTTP.
- Налаштовуйте сповіщення, якщо бал походження відповіді падає нижче встановленого порогу.
Цей підхід є більш конкретним, ніж боротьба з «галюцинаціями» — модель може згенерувати правдоподібне речення, але перевірка походження точно вкаже, яке саме цитування (або його відсутність) спричинило проблему, що дозволить усунути її цілеспрямовано.
Висновок
Короткий тест на походження даних показує, що ШІ-пошукові системи можуть виглядати авторитетними, посилаючись на неробочі або низькоякісні джерела. Розробникам, які покладаються на ці системи, слід ставитися до якості цитування як до вимірюваної властивості, а не як до гарантованої умови, і впроваджувати автоматизовані перевірки у свої робочі процеси (pipelines). Перевірка того, чи дійсно завантажується «первинне» джерело, може стати вирішальним фактором між надійною відповіддю та прихованою пасткою дезінформації.