Модель VLM Llama3-V: сравнимая производительность с моделями GPT4-V, Gemini Ultra, Claude Opus, но в 100 раз меньшем размере

«`html

Превосходство Llama3-V в мире искусственного интеллекта

Исследование установило, что Llama 3 значительно превзошел GPT-3.5 и даже превзошел GPT-4 в нескольких тестах, демонстрируя свою эффективность и производительность в конкретных задачах, несмотря на меньшее количество параметров. Однако GPT-4o обогнал Llama 3 благодаря расширенным мультимодальным возможностям, заняв верхнюю позицию. Llama 3, используя инновации, такие как механизм внимания для группировки запросов, преуспевает в переводе и генерации диалогов, в то время как GPT-4 демонстрирует превосходные навыки рассуждения и решения проблем. GPT-4o дополнительно улучшает эти способности, укрепляя свое лидерство благодаря улучшенной нейронной архитектуре и мультимодальной профессионализации.

Llama3-V: мультимодальная модель нового поколения

Исследование представляет Llama3-V, мультимодальную модель на основе Llama3, обученную с затратами менее $500. Она интегрирует визуальную информацию, встраивая входные изображения в патч-встраивания с использованием модели SigLIP. Эти встраивания соотносятся с текстовыми токенами через блок проецирования с использованием блоков самовнимания, помещая визуальные и текстовые встраивания на одну плоскость. Затем визуальные токены прикрепляются к текстовым токенам, и совместное представление обрабатывается через Llama3, улучшая его способность понимать и интегрировать визуальные данные.

Для оптимизации вычислительных ресурсов были использованы две стратегии. Во-первых, механизм кэширования предварительно вычисляет встраивания изображений SigLIP, увеличивая использование графического процессора и размер партии без вызова ошибок из-за нехватки памяти. Это разделение этапов обработки SigLIP и Llama3 повышает эффективность. Во-вторых, использование оптимизаций MPS/MLX позволяет SigLIP, благодаря его меньшему размеру, выполнять вывод на Macbooks и достигать производительности 32 изображения в секунду. Эти оптимизации экономят время обучения и вывода путем эффективного управления ресурсами и максимизации использования графического процессора.

Предварительное вычисление встраиваний изображений путем SigLIP включает загрузку модели SigLIP, предварительную обработку изображений и получение векторных представлений. Изображения высокого разрешения разбиваются на патчи для эффективного кодирования. К логитам применяется сигмоидная активация для извлечения встраиваний, которые затем проецируются в совместное мультимодальное пространство с использованием матрицы весов, выученной матрицей проецирования. Эти проецированные встраивания, или «латентности», прикрепляются к текстовым токенам для предварительного обучения Llama3. Предварительное обучение использует 600 000 пар изображений и текста, обновляя только матрицу проецирования. Надзорное дообучение улучшает производительность с использованием 1 миллиона примеров, сосредотачиваясь на матрицах визуализации и проецирования.

Llama3-V демонстрирует увеличение производительности на 10–20% по сравнению с Llava, ведущей моделью для мультимодального понимания. Она также проявляет сравнимую с гораздо большими закрытыми моделями производительность по большинству метрик, за исключением MMMU, демонстрируя свою эффективность и конкурентоспособность, несмотря на меньший размер.

Интеграция Llama3-V в ваш бизнес

Если вы хотите внедрить и развивать свою компанию с помощью искусственного интеллекта, Llama3-V предлагает уникальные возможности для обеспечения конкурентных преимуществ в вашей отрасли. Проанализируйте, как ИИ может изменить вашу работу, определите ключевые показатели эффективности, подберите подходящее решение и внедряйте ИИ постепенно, анализируя результаты и опыт для расширения автоматизации. Для советов по внедрению ИИ или получения дополнительной информации, свяжитесь с нами на Telegram-канале t.me/itinainews или в Twitter @itinairu45358.

Узнайте, как AI Sales Bot от itinai.ru может помочь вам в автоматизации продаж, управлении клиентскими запросами и создании контента. Разработайте свои бизнес-процессы с помощью решений AI Lab от itinai.ru и обеспечьте своему бизнесу будущее уже сегодня!

«`