Надежность оценки новизны научных идей с помощью больших языковых моделей

В недавнем исследовании под названием "Старые идеи, новые проблемы" команда Ai2 представила новый подход к оценке новизны научных идей в научных исследованиях с использованием больших языковых моделей (LLM). В рамках этого проекта были разработаны инструменты, которые позволят исследователям тестировать и оценивать новизну идей, а также автоматизированный процесс для создания новых наборов данных для оценки.

Разработка систем поддержки научного открытия

Ai2 активно работает над созданием AI-систем, которые помогают в различных аспектах научного открытия. Среди них:

DataVoyager — инструмент для исследования и анализа структурированных данных;

AutoDiscovery — система для генерации и тестирования гипотез;

Theorizer — программа, которая синтезирует доказательства из обширных литературных источников в кандидатские научные теории.

Эти проекты направлены на то, чтобы помочь исследователям перейти от понимания предыдущих работ к предложению, тестированию и уточнению новых идей. Однако, создание новых исследовательских идей — это лишь часть задачи автоматизации научного открытия. Важно, чтобы эти идеи действительно вносили что-то новое, что требует от систем способности различать новаторские направления и те, которые в основном переупаковывают существующие работы.

Оценка новизны идей

Для решения этой задачи используется так называемый "судья новизны" (novelty judge), который оценивает, насколько новая исследовательская идея по сравнению с предыдущими работами. Однако, на данный момент нет стандартного подхода к созданию таких судей. Исследовательские группы выбирают модели, формулировки запросов, форматы оценивания и системы поиска литературы, что может существенно повлиять на результаты. К сожалению, такие судьи часто проверяются только на текстах, написанных людьми, а не на идеях, сгенерированных AI.

Результаты нового бенчмарка

В новом исследовании были протестированы шесть LLM-судей: GPT-5.1, GPT-5.2, GPT-5.4, Claude Sonnet 4.5, Claude Opus 4.5 и Claude Opus 4.6. Результаты показали, что даже небольшие изменения в настройках оценки могут приводить к кардинально различным суждениям о тех же идеях. Например, изменение нескольких слов в запросе могло изменить точность модели в определении более новаторской идеи на более чем 50 процентных пунктов.

Создание бенчмарка для судей новизны

Для тестирования надежности судей новизны была создана автоматизированная система на основе рецензий ICLR 2026. Вместо того чтобы использовать принятие статьи как прокси для новизны, команда извлекла из рецензий фрагменты, где рецензенты явно обсуждали оригинальность вклада. Это позволило создать два пула идей: один с высокими показателями новизны (154 идеи из принятых статей) и другой с низкими показателями (145 идей из отклоненных статей).

Сравнение идей от людей и AI

Второй набор данных, Human+Generated, состоял из 154 идей, сгенерированных LLM, которые были сопоставлены с ранее валидированными человеческими идеями. Ожидалось, что сгенерированные идеи будут менее новыми, однако эти предположения не были проверены для каждой идеи. Экспертная оценка показала, что все 30 пар идей, выбранных для анализа, были предпочтительнее в пользу человеческих идей.

Нестабильность оценок

Используя собранные идеи, команда протестировала, насколько хорошо шесть LLM-судей могут оценивать новизну через абсолютные и парные сравнения. Наиболее значительные изменения в производительности наблюдались в зависимости от формулировки запроса. Например, изменение формулировки запроса для GPT-5.4 привело к снижению точности с 93.5% до 40.9% при сравнении пар идей.

Влияние дополнительных ресурсов

Дополнительные ресурсы, такие как более высокий бюджет на рассуждения и поиск, не всегда приводили к улучшению оценок новизны. Например, судья с высоким бюджетом на рассуждения показал результаты ниже, чем более простые модели, что указывает на то, что более сложные системы не всегда обеспечивают лучшую точность.

Заключение

Результаты исследования подчеркивают, что оценка новизны с помощью LLM остается значительной открытой проблемой. Судьи, которые кажутся надежными для идей, написанных людьми, могут вести себя иначе для идей, сгенерированных AI. Будущие исследования должны сосредоточиться на тестировании судей на тех идеях, которые они будут фактически оценивать, а также на улучшении способов интеграции предыдущей литературы и создании бенчмарков, которые могут эволюционировать по мере роста научной литературы и улучшения AI-систем.