Влияние структуры текста на цитирование в AI-поиске: результаты нового исследования

Недавнее исследование, опубликованное на arXiv 14 сентября, ставит под сомнение, как изменение лишь одной части источника может повлиять на цитирование в AI-поиске, сохраняя все остальные параметры неизменными. Авторы исследования, Шрирам Селвам и Аннесва Гош, протестировали агент GPT-5.4, использующий Exa в качестве поискового провайдера, и обнаружили, что разница в цитировании между первыми и пятыми результатами поиска была значительной.

Как проводился тест

В рамках эксперимента исследователи задали агенту GPT-5.4 130 распространенных вопросов, заставив его выполнять независимые веб-поиски. Все сообщения и результаты поиска были записаны для 129 вопросов. Из этих транскриптов были выбраны пары страниц, которые появились в одних и тех же результатах поиска и обе подтверждали один и тот же факт. Это позволило выявить ситуации, когда каждая страница могла быть справедливо процитирована. В итоге было подтверждено 113 пар страниц, из которых 103 прошли слепую проверку. Каждая сохраненная беседа была воспроизведена четырьмя способами: одна страница размещалась выше или ниже другой, а текст представлялся как обычные абзацы или в структурированном виде с заголовками и списками. Генерация текста осуществлялась с помощью AI, в основном с использованием Grok 4.3, а GPT-5.4 использовался в качестве резервного варианта.

Разница в позициях и ее влияние на цитирование

В начальной позиции страницы цитировались в 85.1% случаев, тогда как страницы на пятой позиции — только в 42.8%. Это создает разницу в 42.3 процентных пункта. Позиция в данном контексте относится к порядку пяти результатов, возвращаемых в одном поиске, а не к их ранжированию в Google. Исследование подчеркивает, что поисковые провайдеры обычно размещают более релевантные страницы выше, что объясняет большую разницу в цитировании. Когда исследователи переместили одну и ту же страницу выше в паре, вероятность ее цитирования увеличилась на 7.9 процентных пункта, однако это изменение не было статистически значимым после учета множества тестов. В другом наборе данных с 56 парами, где была изменена только позиция, результаты показали 0.0 пунктов, с доверительным интервалом 95% от -5.4 до +5.4.

Влияние структуры текста на цитирование

Страницы, переписанные с заголовками и списками, получили в среднем на 0.50 больше маркеров цитирования по сравнению с теми же страницами, написанными в виде обычных абзацев. Ответы в тесте были сильно цитируемыми, со средним значением 29 маркеров на шесть документов. Общее количество цитат на ответ не увеличилось, а количество на другой странице едва изменилось. Авторы интерпретируют это как сосредоточение кредита на переписанной странице. Основной тест, который проводили исследователи, заключался в том, чтобы выяснить, была ли страница вообще процитирована. Они обнаружили, что использование структурированного текста увеличивало вероятность цитирования на 4.5 процентных пункта, однако этот результат не является окончательным.

Повторные тесты и их результаты

Исследователи повторно протестировали 120 ответов, используя те же входные данные, и обнаружили, что решение о цитировании целевой страницы изменилось в 15% случаев. Средний эффект оставался стабильным. Они оценили, что около 45% вариации в эффекте одного запуска обусловлено случайностью модели. Авторы рекомендуют многократно повторять тесты цитирования и делиться информацией о том, насколько результаты стабильны.

Значение исследования

Разница в позициях в этом тесте была значительно больше, чем средний эффект, наблюдаемый при смене порядка источников. Это поднимает вопросы о том, были ли корреляции в отчетах поставщиков или в вашем отслеживании когда-либо протестированы путем изменения переменной. Исследование не может подтвердить, увеличивает ли переформатирование живой страницы цитирования, так как переписывания применялись только к тексту, уже полученному, исключая процессы индексации, извлечения и ранжирования.

Перспективы дальнейших исследований

Авторы повторно запустили сохраненные поиски на Grok 4.3 и обнаружили, что структурированные переписывания показывают аналогичные результаты. Однако менее половины первых ответов Grok следовали правильному формату цитирования. Авторы рекомендуют проводить больше исследований, тестируя каждую ситуацию несколько раз, исследовать различные поисковые провайдеры и модели, а также обращать внимание на частоту цитирования и на то, была ли страница процитирована вообще.