«`html
Исследования языка жестов: новый подход в технологиях
Исследования языка жестов направлены на разработку технологий, улучшающих понимание, перевод и интерпретацию языков жестов, используемых глухими и слабослышащими людьми по всему миру. Это включает создание обширных наборов данных, разработку сложных моделей машинного обучения и улучшение инструментов для перевода и идентификации в различных приложениях. Путем устранения коммуникационных барьеров эти исследования способствуют лучшей инклюзивности и доступности для людей, использующих язык жестов для повседневного общения.
Решение ключевой проблемы: недостаток данных
Одной из основных проблем в этой области является нехватка данных для многих языков жестов. В отличие от устных языков языки жестов не имеют стандартизированной письменной формы, что усложняет сбор и обработку данных. Это ограничивает развитие эффективных инструментов перевода и интерпретации, особенно для менее изученных языков жестов. Недостаток существенных наборов данных затрудняет прогресс моделей машинного обучения, адаптированных к этим уникальным визуально-пространственным языкам.
Практическое решение: YouTube-SL-25
Исследователи Google и Google DeepMind представили YouTube-SL-25 — крупный открытый мультиязычный корпус видеороликов на языке жестов. Этот набор данных является самым крупным и разнообразным в своем роде, включая более 3 000 часов видеоматериалов и более 3 000 уникальных жестовщиков на более чем 25 языках жестов. Предоставляя хорошо выровненные заголовки, YouTube-SL-25 значительно расширяет ресурсы для задач перевода и идентификации языка жестов.
Создание YouTube-SL-25 включает тщательный двухэтапный процесс. Вначале автоматические классификаторы выявляют потенциальные видеоролики на языке жестов на YouTube. В отличие от предыдущих наборов данных, требующих обширного ручного обзора, этот этап был последован процессом триажа, где исследователи проверяли и определяли приоритеты видеороликов на основе качества контента и выравнивания. Этот подход позволил эффективно собрать 81 623 кандидатских видеороликов, затем отобрать 39 197 видеороликов высокого качества, всего 3 207 часов контента. Этот набор данных включает хорошо выровненные заголовки, охватывающие 2,16 миллиона заголовков с 104 миллионами символов, устанавливая новый стандарт для наборов данных языка жестов.
Использование набора данных продемонстрировано через тесты с использованием объединенной мультиязычной модели многозадачности на основе T5. Исследователи расширили эту модель для поддержки нескольких исходных и целевых языков, улучшая ее способность идентификации и перевода языка жестов. Результаты показали существенные преимущества мультиязычного трансфера, с заметными улучшениями в языках жестов с высокими и низкими ресурсами. Например, производительность модели на тестах для ASL, швейцарского немецкого языка жестов, швейцарского французского языка жестов и швейцарского итальянского языка жестов продемонстрировала значительные улучшения, с BLEURT-оценками 40,1 для ASL и 37,7 для швейцарского немецкого языка жестов.
Набор данных YouTube-SL-25 имеет значительное воздействие, предлагая фундаментальный ресурс для разработки технологий языка жестов. Этот набор данных решает критические пробелы в доступности мультиязычных данных языка жестов, позволяя лучше предварительное обучение для моделей перевода жестов в текст и улучшая задачи идентификации языка жестов. Открытая природа набора данных позволяет широкое применение, от общего предварительного обучения языка жестов до качественной донастройки для конкретных задач, таких как перевод и выравнивание заголовков.
Поддержка и обратная связь
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot itinai.ru/aisales. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
«`
