«`html
Интер- и интра-модальное моделирование (I2M2) для мульти-модального обучения
В обучении с учителем мульти-модальным методом данные отображаются из различных модальностей на целевую метку с использованием информации о границах между модальностями. Это фундаментальная парадигма в машинном обучении, которая находит применение в различных областях, таких как автономные транспортные средства, здравоохранение, робототехника и другие. Однако эффективность мульти-модального обучения зависит от конкретной задачи. В некоторых ситуациях мульти-модальный подход работает лучше, чем уни-модальный, в других случаях он может быть менее эффективным.
Практические решения и ценность
Исследователи из Нью-Йоркского университета, Genentech и CIFAR предлагают новый, более принципиальный подход к мульти-модальному обучению, который позволяет выявить причины различий в производительности между мульти-модальными моделями и разработать стандартную процедуру для более эффективного использования мульти-модальных данных.
Предложенный подход предполагает, что метки являются основным источником данных для каждой модальности, и устанавливает связь между меткой, процессом выбора и различными модальностями. Команда разработала и объединила классификаторы для каждой модальности, чтобы учесть зависимости внутри каждой модальности, а также классификатор для зависимостей между меткой и взаимодействиями различных модальностей.
Результаты показывают, что I2M2 превосходит как внутри-модальные, так и между-модальные подходы, подтверждая утверждения исследователей на различных наборах данных. Это подтверждается на примере автоматической диагностики с использованием MRI снимков коленного сустава и прогнозирования смертности и кодов ICD-9 в наборе данных MIMIC-III.
Зависимости различаются в силе между наборами данных, но I2M2 демонстрирует надежную производительность независимо от относительной важности зависимостей.
Подробнее см. статью и GitHub.
Практическое применение ИИ в маркетинге и продажах
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте I2M2 для улучшения процессов и повышения эффективности.
Проанализируйте, как ИИ может изменить вашу работу, определите, где возможно применение автоматизации, и найдите моменты, когда ваши клиенты могут извлечь выгоду из AI. Определите ключевые показатели эффективности (KPI), которые вы хотите улучшить с помощью ИИ, и подберите подходящее решение из множества вариантов ИИ.
Внедряйте ИИ-решения постепенно, начиная с малых проектов, и анализируйте результаты и KPI. На основе полученных данных и опыта расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на Telegram и следите за новостями о ИИ в нашем Телеграм-канале или в Twitter.
Попробуйте AI Sales Bot, который помогает автоматизировать ответы на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
Исследователи @taromakino, @suchop, @kchonyc и @dmadaan_ предлагают модально-независимую платформу для преодоления проблем мульти-модального моделирования посредством I2M2.
Источник: MarkTechPost
«`
