Xiaomi оголосила про вихід відкритої моделі штучного інтелекту OmniVoice, призначеної для перетворення тексту в мову — крім мовного синтезу кількома сотнями мов, вона підтримує клонування голосу і настроювану генерацію мови.
OmniVoice, за словами розробника, демонструє високі показники в китайській та англійській мовах, виступаючи конкурентом існуючих комерційних систем та перевершуючи їх у низці завдань. Однією з головних переваг моделі є підтримка мов навіть з обмеженими ресурсами — вона генерує мову «майже будь-якою мовою», навіть якщо для неї був доступний лише невеликий обсяг навчальних даних. Крім того, зазначили у Xiaomi, це перша в галузі модель для клонування голосу з охопленням кількох сотень мов.
За результатами багатомовного тестування OmniVoice перевершила кілька комерційних систем 24 мовами за подібністю та розбірливістю мови — навіть при навчанні на відкритих наборах даних. При тестуванні 102 мовами розбірливість мови OmniVoice була близька до людської, а в деяких випадках і перевершувала її. Високу якість на виході вдалося забезпечити навіть у тих випадках, коли з якоїсь мови було менше 10 годин навчальних даних.
У порівнянні з сучасними системами синтезу мови OmniVoice відрізняє набагато простіша архітектура: замість підключення кількох модулів та етапів прогнозування тут розгорнута єдина двонаправлена мережа типу трансформер для прямого перетворення тексту на мовлення. Не потрібно окремо моделювати текст, підключати складні гібридні структури та багаторівневі системи прогнозування токенів. Спрощена архітектура означає високу швидкість роботи моделі — лише за день її можна навчити на 100 000 годин даних; а при інференсі (запуску) вона працює на величину до 40 разів швидше за реальний час з використанням ІІ-фреймворку PyTorch, тобто відносно просто розгортається в споживчих додатках та сервісах.
Високу продуктивність OmniVoice, розповіли у Xiaomi, забезпечили за допомогою двох рішень. По-перше, при навчанні моделі застосували «метод випадкового приховання акустичних кодів», що збільшило ефективність навчання та розширило загальні можливості моделі. По-друге, на етапі попереднього навчання до неї підключили велику мовну модель – вона допомогла підвищити точність вимови та розбірливість мови.
OmniVoice пропонує кілька практичних функцій. Модель може згенерувати голос за описаними користувачем властивостями – врахувати вік, стать, висоту тону, акцент, діалект та стиль мови; без необхідності в зразку можна генерувати шепіт та інші спеціальні стилі промови. Вона також вміє видаляти зі зразка шуми і вибирати чіткі характеристики голосу, щоб копіювати його навіть тоді, коли вихідний аудіофайл записувався в далеких від ідеальних умовах. Є також засоби управління інтонацією, генеруються зітхання та вибухи сміху, що робить вироблену мову більш природною. Нарешті, можна вручну коригувати складні аспекти вимови, наприклад, багатозвучні китайські ієрогліфи або власні англомовні імена.