Исследователи компании Aleph Alpha выпустили Pharia-1-LLM-7B: два различных варианта — Pharia-1-LLM-7B-Control и Pharia-1-LLM-7B-Control-Aligned.

Aleph Alpha Researchers Release Pharia-1-LLM-7B: Two Distinct Variants- Pharia-1-LLM-7B-Control and Pharia-1-LLM-7B-Control-Aligned

«`html

Релиз Pharia-1-LLM-7B: Две различные варианты — Pharia-1-LLM-7B-Control и Pharia-1-LLM-7B-Control-Aligned от исследователей Aleph Alpha

Исследователи из Aleph Alpha объявляют о выпуске новой семьи базовых моделей, включающей Pharia-1-LLM-7B-control и Pharia-1-LLM-7B-control-aligned. Эти модели теперь доступны для общественного использования в соответствии с лицензией Open Aleph, позволяющей использование в некоммерческих исследованиях и образовательных целях. Этот релиз представляет собой значительный шаг в обеспечении доступности высокопроизводительных языковых моделей для сообщества.

Особенности модели Pharia-1-LLM-7B-control:

Модель разработана для предоставления кратких, контролируемых по длине ответов, соответствующих производительности ведущих моделей с открытым исходным кодом в диапазоне параметров от 7B до 8B. Модель культурно и лингвистически оптимизирована для немецкого, французского и испанского благодаря обучению на мультиязычном корпусе. Эта особенность повышает ее универсальность в различных языковых контекстах.

Обучающие данные модели:

Тщательно отобраны в соответствии с применимыми законодательством ЕС и национальными нормативными актами, включая законы об авторском праве и конфиденциальности данных. Это внимание к юридическим и этическим аспектам обеспечивает возможность уверенного использования модели Pharia-1-LLM-7B-control в различных исследовательских и образовательных средах.

Применение в конкретных отраслях:

Модель прекрасно подходит для областно-специфических приложений, особенно в автомобильной и инженерной отраслях. Ее возможность быть адаптированной к предпочтениям пользователя делает ее подходящей для критических приложений без риска поведения выключения, что решает распространенную проблему внедрения ИИ.

Второй вариант модели Pharia-1-LLM-7B-control-aligned:

Улучшен дополнительными системами безопасности, используя методы выравнивания. Этот вариант предлагает дополнительный уровень безопасности и надежности, что делает его идеальным для приложений, где безопасность и контролируемый вывод играют решающую роль.

Сопровождающие релизу ресурсы включают подробную карточку модели и подробный блог-пост.

Оптимизация гиперпараметров:

Исследователи планировали оптимизировать гиперпараметры, используя небольшую модель-прокси с размером скрытого слоя 256 и 27 слоями, соответствующими количеству слоев целевой модели. Данный метод был успешно применен для поиска гиперпараметров для моделей размером 1B, с переходом к 7B вызывающим нестабильность обучения. В дальнейшем был разработан улучшенный подход к применению этого метода, что привело к публикации статьи с модифицированной, численно стабильной версией.

Обучение модели:

Были применены эффективные стратегии обучения, включая использование формата bfloat16 с миксированием точности и использование параллельных вычислений для оптимизации процесса. Обучение модели охватило общий объем токенов в 7.7T, что позволило получить высокую производительность.