«Нейросети могут давать настолько же точные оценки, как и человек»
Голосовые помощники стали частью обычной жизни. Они могут строить маршрут, включать музыку и фильмы, отвечать на вопросы. Качество речи голосовых ассистентов требует оценки. Для решения этой задачи студенты мастерской по прикладному искусственному интеллекту ИМШ НИУ ВШЭ и VK разработали нейросети, способные оценивать синтез речи.
Никита Шевцов
«Технологии Text-to-Speech превращают текст в речь. Это те самые голоса, которые мы слышим в навигаторах или аудиокнигах. Чтобы понять, насколько хорошо работает синтез, раньше требовалась ручная проверка: люди слушали записи и выставляли оценки. Мы решили автоматизировать этот процесс. Студентам мастерской предстояло создать систему, которая заменит субъективную оценку на нейросетевую модель. Ручная разметка не только дорогая и долгая, но и требует участия множества специалистов», — говорит Никита Шевцов, руководитель проекта мастерской по прикладному искусственному интеллекту ИМШ НИУ ВШЭ и VK.
Студенты мастерской ИМШ и VK использовали открытые англоязычные датасеты SOMOS, содержащие 20 100 аудиофрагментов, 200 TTS-систем, 987 асессоров и более 350 000 оценок.
На их основе были подготовлены и внедрены две метрики: MOS (Mean Opinion Score) — оценка одного аудиофайла от 1 до 5; SBS (Side-by-Side) — сравнение двух аудиофрагментов с выбором лучшего. Также были разработаны пять моделей: для MOS — MOSNet, MOSNetBert, WhisperBert; для SBS — NeuralSBS, NeuralSBSBert. Модели работают как в аудиоформате, так и в мультимодальном формате.
«Мы увидели, что нейросети могут давать настолько же точные оценки, как и человек. MOS-модели показали RMSE ≈ 0,4, что близко к человеческой погрешности 0,62. Модель NeuralSBS определяет лучшее аудио в 73% случаев — на уровне среднего субъективного слушателя. Это открывает путь к ускорению и удешевлению оценки качества TTS», — отметил Никита Шевцов.
Следующий этап — переобучение моделей на русском языке. Команда также рассматривает возможность интеграции оценочных моделей в пайплайны CI/CD, чтобы внедрить автоматическую проверку качества в производственные процессы генерации речи.
«Автоматическая оценка синтеза речи — это шаг к более надежным и масштабируемым TTS-системам. Мы собираемся сделать ее доступной для широкой разработки», — добавил Никита Шевцов.
Вам также может быть интересно:
НИУ ВШЭ начал разработку отечественных технологий связи 6G на базе субтерагерцовой микрорадиоэлектроники
В Высшей школе экономики стартовали масштабные научно-инженерные работы по созданию отечественных технологий для перспективных систем связи шестого поколения (6G). Работы ведутся командой стратегического технологического проекта «Комплекс технологий доверенных систем связи 6G», реализуемого в рамках программы «Приоритет-2030».
Вышка исследует потребности глухих
В последнее воскресенье сентября в мире традиционно отмечается День глухих. В этом году факультет социальных наук (ФСН) Высшей школы экономики присоединился к празднику и совместно с Московской городской организацией Всероссийского общества глухих (МГО ВОГ) запустил исследование потребностей глухих и слабослышащих москвичей в социальных услугах и доступности среды.
НИУ ВШЭ и компании-партнеры скоординировали подходы к подготовке специалистов топ-уровня в сфере ИИ
В НИУ ВШЭ прошла встреча с представителями Сбера, Яндекса и VK для согласования подходов к подготовке специалистов топ-уровня в сфере искусственного интеллекта. В частности, договорились о регулярном обновлении образовательных программ с учетом новейших решений и разработок компаний-партнеров. Участники встречи обсудили текущий статус проекта, содержание образовательных программ и механизмы взаимодействия для обеспечения достижения показателей эффективности созданного в университете Центра организации обучения студентов для топ-специалистов в сфере искусственного интеллекта НИУ ВШЭ.
В Высшей школе экономики открылась межфакультетская Музейная лаборатория
Вышка запустила межфакультетскую Музейную лабораторию, которая станет устойчивым центром экспертной поддержки в сфере музейного дела. Ее миссия связана с изменением современных моделей восприятия культуры и трансформацией институциональной среды. Лаборатория специализируется на модернизации музейных практик и повышении престижа музеев, формируя пространство для профессионального диалога и внедрения инноваций.
Физики предложили новый механизм усиления сверхпроводимости с помощью «квантового клея»
Команда исследователей с участием сотрудников МИЭМ ВШЭ показала, что дефекты в материале могут не снижать, а, наоборот, усиливать сверхпроводимость. Это возможно благодаря взаимодействию дефектных и более чистых областей, которое образует «квантовый клей» — однородную компоненту, связывающую разрозненные сверхпроводящие участки в единую сеть. Расчеты подтвердили, что такой механизм может помочь в создании сверхпроводников, работающих при более высоких температурах. Исследование опубликовано в журнале Communications Physics.
30 студентов из 19 университетов приняли участие в исследовательской экспедиции НИУ ВШЭ в «Новом Херсонесе»
В рамках программы студенческих экспедиций «Открываем Россию заново» при поддержке программы Росмолодежи «Больше, чем путешествие», президентской платформы «Россия — страна возможностей», а также Симферопольской и Крымской епархии НИУ ВШЭ на базе Школы молодого гуманитария провела исследовательскую экспедицию на территории музейно-храмового комплекса «Новый Херсонес» в Севастополе. По ее итогам будут разработаны предложения по организации просветительских проектов в области формирования исторической памяти молодежи о роли Херсонеса, Крыма и византийского наследия в истории российской культуры и государственности.
Большие группы студентов эффективнее используют ИИ в обучении
Исследователи Института образования и факультета экономических наук НИУ ВШЭ узнали, от каких факторов зависит качество групповой работы студентов, когда они выполняют ее в сотрудничестве с ИИ. Оказалось, что, помимо уровня знаний команды, важен размер группы: чем она больше, тем эффективнее работа. Статья ученых опубликована в журнале Innovations in Education and Teaching International.
Завершила работу Первая Кавказская школа по экспериментальным исследованиям и когнитивным наукам
С 17 по 21 сентября на базе «Горная легенда» Адыгейского государственного университета прошла Первая Кавказская школа по экспериментальным исследованиям и когнитивным наукам. Организаторами мероприятия выступили Лаборатория экспериментальной лингвистики АГУ, Центр языка и мозга и Центр социокультурных и этноязыковых исследований НИУ ВШЭ. Школа собрала более 50 участников — студентов, аспирантов и молодых исследователей из разных регионов России, а также слушателей и спикеров из Франции, Сербии, Китая, Турции, Казахстана и Узбекистана.
Испугать и обмануть: почему люди поддаются на уловки мошенников
В НИУ ВШЭ прошел IX Фестиваль финансовой грамотности и предпринимательской культуры для старшего поколения. Почему люди верят мошенникам и как можно защитить себя и близких от угрозы кражи денег, обсудили эксперты-психологи на дискуссии, состоявшейся в рамках фестиваля.
Бренд-медиа ВШЭ запустило подкаст о профессиях будущего «Кем стать, когда вывезу»
IQ Media — бренд-медиа Высшей школы экономики — запускает новый проект «Кем стать, когда вывезу», посвященный профессиям будущего. В девяти выпусках подкаста эксперты ВШЭ из разных сфер — маркетологи, специалисты по будущему, инженеры, эксперты по кибербезопасности, юристы, биоинформатики — рассказывают о том, чему и где научиться уже сейчас, чтобы быть востребованным в будущем.