Как искусственный интеллект реагирует на вымышленные концепции: результаты исследования Фуданьского университета

Недавнее исследование, проведенное учеными Фуданьского университета, привлекло внимание к тому, как современные инструменты искусственного интеллекта, такие как ChatGPT, Perplexity, Grok и Google AI, реагируют на вымышленные концепции. В рамках эксперимента исследователи опубликовали посты о несуществующих темах на девяти платформах, которые часто цитируются этими инструментами. Результаты показали, что все четыре инструмента быстро отреагировали на одну из вымышленных концепций, но не смогли идентифицировать другие темы, что поднимает вопросы о надежности и точности AI в поисковых системах.

Как проводился тест

В марте исследовательская группа Фуданьского университета протестировала 120 вопросов с использованием 10 инструментов AI для поиска информации. Они классифицировали ChatGPT, Perplexity, Grok и Google AI как инструменты для англоязычного веба, в то время как остальные шесть, включая Doubao и DeepSeek, относятся к китайскому вебу. В ходе тестирования Reddit оказался наиболее цитируемым сайтом для Google AI и Grok, YouTube — для Perplexity, а Wikipedia — для ChatGPT. В апреле исследователи оценили 22 платформы для публикаций, среди которых Medium, GitHub, LinkedIn и Facebook были признаны легкими для регистрации и публикации, в то время как Reddit с его требованиями к карме и строгими правилами удаления постов оказался менее доступным. В результате команда выбрала наиболее цитируемый сайт для каждой из четырех инструментов, на котором новый аккаунт мог бы разместить пост. В итоге они выбрали девять платформ, включая Medium, YouTube и Sohu.

Вымышленные концепции и их цитирование

Исследователи опубликовали статьи о вымышленном "Протоколе гравитации кактусов", о том, заменит ли AI младших программистов в течение пяти лет, и о несуществующей клавиатуре. Первые черновики статей были созданы с помощью ChatGPT, затем вручную доработаны с добавлением вымышленных деталей, чтобы исследователи могли отслеживать, повторяют ли AI инструменты эту информацию. В течение недели после публикации исследователи ежедневно проверяли, как каждый из инструментов реагирует на три темы. В результате восемь из десяти инструментов упомянули вымышленный "Протокол гравитации кактусов" в течение недели, включая все четыре англоязычных инструмента. Grok ссылается на пост в 30 из 32 ответов, Google AI — в 15 из 33, Perplexity — в 13 из 35, а ChatGPT — в 7 из 20.

Результаты и выводы

Несмотря на высокую цитируемость вымышленного протокола, количество ответов, включающих вымышленные детали, было невелико. Например, 53% ответов Grok содержали такие детали, в то время как у ChatGPT этот показатель составил 10%, а у Google AI — 6%. В общей сложности среди всех 10 инструментов и трех тем было 176 ссылок из 1,004 ответов за неделю. Интересно, что единственным англоязычным инструментом, который упомянул "мнение" в своих ответах, оказался Perplexity, который сделал это в 11.4% своих ответов. Ни один из четырех инструментов не упомянул посты о клавиатуре в течение недели.

Влияние размещения на цитируемость

Для оценки влияния размещения исследователи провели отдельный эксперимент, в котором публиковали посты о пяти относительно неизвестных туристических направлениях. Один пост был размещен на источнике, часто упоминаемом инструментами, а другой — на сайте, который редко упоминается. В каждом случае пост на часто упоминаемом источнике получал первую ссылку или цитату. На менее упоминаемом сайте потребовалось 20 публикаций, чтобы получить хотя бы одну ссылку.

Почему это важно

Результаты исследования поднимают важные вопросы о том, как AI инструменты обрабатывают информацию и как они могут быть подвержены манипуляциям. Все темы, упомянутые в исследовании, были вымышленными, что ставит под сомнение, как AI будет реагировать на реальные бренды или продукты. Google в своих рекомендациях по AI подчеркивает, что попытки манипулировать ответами AI могут не привести к желаемым результатам.

Перспективы

Исследование было проведено в марте и апреле, до того как Google уточнил свои политики по борьбе со спамом 15 мая. Авторы исследования отметили, что точные показатели могут измениться по мере изменения инструментов. Они также сообщили о своих находках всем 10 платформам, и ChatGPT, Perplexity и Google AI подтвердили получение информации.