Расширение данных для оценки ASR: новые акценты и сотрудничество с Liva AI

В последние месяцы мы значительно расширили базу данных для оценки автоматического распознавания речи (ASR), добавив частные данные от компаний Appen и DataOceanAI. Эти данные охватывают 11 наборов, включающих как сценарную, так и разговорную речь с пятью акцентами. Реакция сообщества была положительной, и многие участники отметили важность использования удерживаемых наборов для надежной оценки моделей. Недавно мы добавили еще один частный набор данных для английского языка с индийским акцентом, собранный Voice Arena. Теперь мы рады сообщить о новом сотрудничестве с Liva AI, которое позволит добавить еще больше частных данных с двумя новыми акцентами: египетским и нигерийским.

Подробности о новых наборах данных

Согласно информации от Liva AI, новые наборы данных имеют следующие характеристики:

Акцент: Египетский (EG)

- Продолжительность: 1.34 часа - Стиль: Разговорный, спонтанный - Транскрипция: С пунктуацией, с учетом регистра, с дисфлуэнциями.

Акцент: Нигерийский (NG)

- Продолжительность: 1.55 часа - Стиль: Разговорный, спонтанный - Транскрипция: С пунктуацией, с учетом регистра, с дисфлуэнциями. Эти добавления являются частью нашей постоянной работы по улучшению представительства в оценках ASR, что включает в себя больше акцентов и языков, а также повышение доверия к результатам (новые частные данные для минимизации benchmaxxing и новые поставщики данных).

Обновления в Open ASR Leaderboard

С новыми акцентами мы можем представить более детальную разбивку акцентов, основанную на модели "Трех кругов" Качру. Теперь Open ASR Leaderboard будет сообщать:

Сравнение: США против стран вне США (Великобритания, Австралия, Канада, Индия, Нигерия, Египет)

Внутренний круг (США, Великобритания, Австралия, Канада) против внешнего и расширяющегося кругов (Индия, Нигерия, Египет)

С увеличением числа акцентов мы будем разделять внешний и расширяющийся круги для более точной оценки.

О компании Liva AI

Liva AI занимается сбором мультимодальных данных взаимодействия через потребительские продукты, используемые реальными людьми. Поскольку Liva контролирует как среду сбора, так и распространение данных, компания может разрабатывать продукты, ориентированные на конкретные пробелы в моделях в различных областях, отраслях, языках, модальностях и типах взаимодействия. Это дает доступ к естественному поведению с высоким контекстом, которое возникает в процессе реального использования продуктов, а не в результате искусственно вызванных или основанных на задачах взаимодействий.