Новая серия маленьких языковых моделей Zamba2 превосходит Gemma2.

Zyphra Releases Zamba2-1.2B-Instruct and Zamba2-2.7B-Instruct: A New State-of-the-Art Small Language Model Series that Outperforms Gemma2-2B-Instruct

Обзор Zamba2-1.2B-Instruct и его возможностей

Модель Zamba2-1.2B-Instruct содержит 1,22 миллиарда параметров, что позволяет ей обрабатывать сложные задачи естественного языка при оптимизированном вычислительном объеме.

Статистика производительности Zamba2-1.2B-Instruct

Zamba2-1.2B-Instruct выделяется во многих бенчмарках, превосходя модели большего размера в своей категории. Например, в баллах MT-Bench и IFEval, Zamba2-1.2B-Instruct превосходит Gemma2-2B-Instruct, который более чем в два раза больше по размеру.

Zamba2-2.7B-Instruct: на грани новых достижений

Выход Zamba2-2.7B-Instruct, более крупной и продвинутой версии Zamba2, приносит дополнительные возможности. С 2,69 миллиарда параметров, эта модель использует тот же гибридный архитектурный подход Мамба2 в сочетании с трансформерными блоками и вносит улучшения в механизмы внимания и общую структуру.

Сравнительный анализ производительности

Zamba2-2.7B-Instruct демонстрирует существенный скачок в производительности по сравнению с моделями аналогичного или даже большего размера.

Архитектурные инновации

Обе модели серии Zamba2 внедряют инновационные дизайнерские решения, выделяющие их среди других в их категории. Основные элементы архитектуры состоят из слоев Мамба2, переплетенных с общими слоями внимания, что позволяет создавать мощные и эффективные модели.