Ученые из UCLA и Стэнфорда представили MRAG-Bench: стандарт для оценки моделей с мультимодальными данными, ориентированных на визуальные задачи.

Researchers from UCLA and Stanford Introduce MRAG-Bench: An AI Benchmark Specifically Designed for Vision-Centric Evaluation for Retrieval-Augmented Multimodal Models

«`html

Введение в MRAG-Bench

Текущие стандарты оценки многомодального извлечения информации (RAG) в основном сосредоточены на текстовом извлечении знаний для ответов на вопросы, что имеет значительные ограничения. В некоторых случаях извлечение визуальной информации более полезно и проще, чем доступ к текстовым данным.

MRAG-Bench: новая оценка для моделей

Исследователи из UCLA и Стэнфорда представили MRAG-Bench, стандарт оценки, ориентированный на визуальные данные, который помогает оценить эффективность моделей визуально-языкового понимания (LVLM) в ситуациях, где визуальная информация дает явное преимущество.

Содержит 16,130 изображений и 1,353 аннотированных вопросов.
Оценивает 10 открытых и 4 собственных LVLM.

Структура MRAG-Bench

Стандарт состоит из девяти сценариев, разделенных на два аспекта: понимание перспективы и трансформационное понимание. Это помогает моделям анализировать визуальные объекты под разными углами и условиями.

Аспект перспективы: угол, частичность, масштаб, окклюзия.
Аспект трансформации: временные, биологические и физические изменения объектов.

Результаты оценки

Результаты показывают, что визуальные данные значительно улучшают производительность моделей по сравнению с текстовыми данными. Все модели показали лучшие результаты с использованием изображений, что подтверждает важность визуального подхода.

Лучше всего показала себя собственная модель GPT-4o.
Модели лучше различают качественные и шумные визуальные данные.

Заключение

MRAG-Bench представляет собой новый стандарт оценки для LVLM, сосредоточенный на визуальном извлечении информации. Это важный шаг к созданию моделей, которые могут эффективно использовать визуальные данные, как это делают люди.

Как AI может помочь вашему бизнесу

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ и оставалась в числе лидеров, проанализируйте, как ИИ может изменить вашу работу:

Определите, где возможно применение автоматизации.
Установите ключевые показатели эффективности (KPI), которые хотите улучшить с помощью ИИ.
Подберите подходящее решение и внедряйте его постепенно.
Расширяйте автоматизацию на основе полученных данных и опыта.

Получите советы по внедрению ИИ

Если вам нужны советы по внедрению ИИ, пишите нам.

Попробуйте AI Sales Bot

Это AI ассистент для продаж, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж. Узнайте, как ИИ может изменить процесс продаж в вашей компании!

«`