Статья от NVIDIA о новой модели NEST для обработки речи

«`html

Разработка систем обработки речи

Обработка речи направлена на анализ, интерпретацию и генерацию человеческой речи. Технологии этой области охватывают широкий спектр приложений, таких как распознавание речи, верификация диктора, перевод речи в текст и диаризация дикторов. В условиях растущей зависимости от виртуальных ассистентов, транскрипционных сервисов и многоязычных коммуникационных инструментов эффективная и точная обработка речи становится неотъемлемой.

Основные проблемы и решения

Одной из основных проблем в этой области является недостаточная вычислительная эффективность существующих моделей самообучения. Многие из них, хоть и эффективны, требуют больших ресурсов из-за использования таких техник, как кластеризация речи и ограниченное подвыборочное масштабирование. Это приводит к более быстрым скоростям обработки и высоким вычислительным затратам. Кроме того, эти модели часто имеют трудности в различении дикторов в многодикторских средах или выделении основного диктора из фонового шума.

Ряд моделей, таких как Wav2vec-2.0 и HuBERT, доминируют в области самообучения обработки речи. Однако они имеют существенные ограничения, включая высокие вычислительные требования и медленное время вывода из-за их архитектуры. Их производительность в задачах, связанных с определенными дикторами, например, диаризацией дикторов, затруднена из-за ограниченной способности явно разделять одного диктора от другого, особенно в шумных средах или при наличии нескольких дикторов.

Исследователи из NVIDIA представили новое решение — NEST (NeMo Encoder for Speech Tasks), которое решает эти проблемы. NEST построен на архитектуре FastConformer и предлагает эффективную и упрощенную структуру для самообучения в обработке речи. В отличие от предыдущих моделей, NEST имеет восемькратный подвыборочный масштаб, что делает его более быстрым, чем архитектуры типа Transformer и Conformer, которые обычно используют длину кадра 20 мс или 40 мс. Это существенное сокращение длины последовательности значительно уменьшает вычислительную сложность модели, улучшая ее способность обрабатывать большие наборы речи с высокой точностью.

Методология NEST включает несколько инновационных подходов для упрощения и улучшения обработки речи. Одной из ключевых особенностей является его метод квантования на основе случайных проекций, который заменяет трудоемкие методы кластеризации, используемые моделями, такими как HuBERT. Этот более простой метод значительно сокращает время и ресурсы, необходимые для обучения, сохраняя при этом современную производительность. NEST также включает обобщенную технику аугментации шумной речи. Эта аугментация улучшает способность модели разделять основного диктора от фонового шума или других дикторов путем случайного вставления сегментов речи из разных дикторов во входные данные. Этот подход обеспечивает модель качественным обучением в разнообразных реальных звуковых средах, улучшая производительность в задачах идентификации и разделения дикторов.

Архитектура модели NEST разработана таким образом, чтобы максимизировать эффективность и масштабируемость. Она применяет сверточное подвыборочное масштабирование к входным признакам Мел-спектрограмм перед их обработкой слоями FastConformer. Этот шаг сокращает длину входной последовательности, что приводит к более быстрым временам обучения без потери точности. Кроме того, метод квантования на основе случайных проекций использует фиксированный кодовый словарь с 8192 словами и 16-мерными признаками, дополнительно упрощая процесс обучения и обеспечивая модели захватывать существенные характеристики входной речи. Исследователи также реализовали механизм маскирования блока, случайно выбирая сегменты ввода для маскирования во время обучения, что стимулирует модель к изучению устойчивых представлений речевых признаков.

Результаты и потенциальные применения

Результаты экспериментов, проведенных исследовательской командой NVIDIA, впечатляющи. В различных задачах обработки речи NEST последовательно превосходит существующие модели, такие как WavLM и XEUS. Например, в задачах диаризации дикторов и автоматического распознавания речи NEST достиг значительного улучшения точности по сравнению с WavLM-large, который имеет в три раза больше параметров. В задаче диаризации дикторов NEST достигает ошибочной ставки диаризации (DER) 2,28%, по сравнению с 3,47% у WavLM, что является значительным улучшением точности. Кроме того, в задачах распознавания фонем NEST сообщает ошибочную ставку фонем (PER) 1,89%, демонстрируя его способность решать разнообразные задачи обработки речи.

Более того, производительность NEST в многоязычных задачах автоматического распознавания речи впечатляет. Модель была оценена на наборах данных на четырех языках: английском, немецком, французском и испанском. Несмотря на то, что она была в основном обучена на данных на английском языке, NEST достигла сниженной ошибочной ставки слов (WER) на всех четырех языках. Например, в немецком тесте NEST записала WER 7,58%, превзойдя несколько более крупных моделей, таких как Whisper-large и SeamlessM4T. Эти результаты подчеркивают способность модели к обобщению на различные языки, делая ее ценным инструментом для многоязычных задач распознавания речи.

В заключение, фреймворк NEST представляет собой значительный прорыв в области обработки речи. Своей упрощенной архитектурой и инновационными техниками квантования на основе случайных проекций и аугментации шумной речи исследователи из NVIDIA создали модель, которая не только быстрее и эффективнее, но также высокоточна в различных задачах обработки речи. Производительность NEST в задачах, таких как автоматическое распознавание речи, диаризация дикторов и распознавание фонем, подчеркивает ее потенциал как масштабируемого решения для реальных задач обработки речи.

«`