Оценка возможностей долгосрочного визуального поиска и рассуждений: новый бенчмарк «Visual Haystacks»

«`html

Решение проблемы многокартинного визуального вопросно-ответного анализа

Одной из основных проблем в области визуального вопросно-ответного анализа (VQA) является задача многокартинного визуального вопросно-ответного анализа (MIQA). Это включает в себя генерацию соответствующих и обоснованных ответов на естественноязыковые запросы на основе большого набора изображений. Существующие модели смешанного типа (LMM) отлично справляются с вопросно-ответным анализом для одного изображения, но сталкиваются с серьезными трудностями, когда запросы охватывают обширные коллекции изображений. Решение этой проблемы является критическим для реальных приложений, таких как поиск по большим фотоальбомам, поиск конкретной информации в Интернете или мониторинг изменений окружающей среды с помощью спутниковых изображений.

Текущие методы визуального вопросно-ответного анализа

Текущие методы визуального вопросно-ответного анализа в основном сосредоточены на анализе одного изображения, что ограничивает их применимость для более сложных запросов, включающих большие наборы изображений. Модели, такие как Gemini 1.5-pro и GPT-4V, могут обрабатывать несколько изображений, но сталкиваются с серьезными трудностями в эффективном извлечении и интеграции соответствующих изображений из больших наборов данных. Эти методы являются вычислительно неэффективными, проявляют деградацию производительности при увеличении объема и изменчивости изображений. Они также страдают от позиционного смещения и испытывают трудности с интеграцией визуальной информации из множества несвязанных изображений, что приводит к снижению точности и применимости в крупномасштабных задачах.

Новое решение: MIRAGE

Для преодоления этих ограничений исследователи из Университета Калифорнии предлагают MIRAGE (Multi-Image Retrieval Augmented Generation) — новую среду, созданную специально для MIQA. MIRAGE расширяет модель LLaVA путем интеграции нескольких инновационных компонентов: сжатый кодировщик изображений, фильтр релевантности на основе запросов и обучение с использованием целевых синтетических и реальных данных MIQA. Эти инновации позволяют MIRAGE эффективно обрабатывать более крупные контексты изображений и улучшать точность в решении задач MIQA. Этот подход представляет собой значительный вклад в область, предлагая до 11% улучшения точности по сравнению с закрытыми моделями, такими как GPT-4o, на бенчмарке Visual Haystacks (VHs), а также демонстрируя до 3,4-кратного увеличения эффективности по сравнению с традиционными текстово-ориентированными многоэтапными подходами.

«`
… (the rest of the HTML code follows)