Универсальная большая мультимодальная модель LLaVA-NeXT-Interleave для работы с множественными изображениями, кадрами и видами.

«`html

Новые возможности в области многомодальных моделей (LMMs)

Недавние успехи в области больших многомодальных моделей (LMMs) продемонстрировали выдающиеся возможности в различных многомодальных сценариях, приближаясь к цели искусственного общего интеллекта. За счет использования больших объемов данных по зрительно-языковым данным, они улучшают LMMs с визуальными способностями, выстраивая визуальные кодировщики. Однако большинство открытых LMMs сосредоточены в основном на сценариях с одним изображением, оставляя более сложные сценарии с несколькими изображениями в основном неисследованными. Это важно, поскольку многие прикладные задачи в реальном мире требуют многократного анализа изображений. Учитывая широкий спектр ситуаций компьютерного зрения и типов данных, существует сильная потребность в разработке общей структуры для LMMs, которая может эффективно работать с многократными изображениями, видео и 3D-данными.

Практические решения и ценность

Для решения этих проблем в данной статье обсуждаются некоторые связанные работы. Первая работа — это переплетенные данные изображений и текста, которые предоставляют LMMs две ключевые способности: многомодальное контекстное обучение (ICL) и выполнение инструкций в реальных сценариях с несколькими изображениями. Далее, переплетенные LMMs, такие как закрытые GPT-4V и Gemini, поддерживают прикладные сценарии с несколькими изображениями с высокой производительностью. Сообщество также создало открытые LMMs с отличными навыками работы с несколькими изображениями, используя разнообразные общедоступные наборы данных. В последней связанной работе, переплетенные бенчмарки, были разработаны несколько высококачественных бенчмарков для оценки этих многократных способностей LMMs.

Исследователи из ByteDance, HKUST, CUHK и NTU предложили LLaVA-NeXT-Interleave, универсальную LMM, способную работать в различных реальных сценариях, таких как многократные изображения, многокадровые (видео), многопросмотровые (3D), сохраняя при этом производительность при работе с одиночными изображениями.

Модель LLaVA-NeXT-Interleave протестирована на M4. Результаты для многократных изображений показывают, что средняя производительность LLaVA-NeXT-Interleave лучше, чем у ранее открытых моделей в тестах внутри и вне области. После добавления DPO предложенная модель 7B достигает лучшей производительности на тестах VDD и VideoChatGPT, превосходя предыдущую LLaVA-NeXTVideo (34B). LLaVA-NeXT-Interleave использует только многопросмотровые изображения для понимания 3D-мира и получает намного более высокие баллы в сложных 3D-ситуациях по сравнению с 3D-LLM и Point-LLM. Для задач с одиночными изображениями добавлено 307 тыс. (40%) исходных данных LLaVA-NeXT для работы с одиночными изображениями, делая модель способной обрабатывать эти задачи.

В заключение, исследователи представили LLaVA-NeXT-Interleave, гибкую LMM, способную работать в различных реальных сценариях, таких как многократные изображения, многокадровые (видео) и многопросмотровые (3D). Эксперименты в данной статье показывают, что LLaVA-NeXT-Interleave устанавливает новые высокие стандарты в задачах с многократными изображениями и успешно справляется с задачами с одиночными изображениями. Эта работа устанавливает новый стандарт в области, открывая двери для будущих достижений в области многомодального ИИ и сложных задач визуального понимания.

Практические решения и ценность

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте LLaVA-NeXT-Interleave: A Versatile Large Multimodal Model LMM that can Handle Settings like Multi-image, Multi-frame, and Multi-view.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI. Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358

Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!

«`