«`html
BRAG: высокопроизводительные модели малых языковых моделей, специально обученные для задач RAG за менее чем $25 каждая
BRAG — это серия моделей Retrieval Augmented Generation (RAG) высокой производительности, разработанных исследователями Maximalists AI. Модели BRAG — это семейство малых языковых моделей (SLM), разработанных для предложения экономичных и высокопроизводительных альтернатив в обработке языка, основанной на искусственном интеллекте. Эти модели были обучены по впечатляюще низкой стоимости менее чем $25 каждая, что позиционирует их как эффективные и экономичные решения в области искусственного интеллекта.
Создание BRAG
Модели BRAG были созданы в ответ на необходимость в эффективных и высокопроизводительных языковых моделях, не требующих обширных вычислительных ресурсов, обычно связанных с масштабными моделями, такими как те от Nvidia и OpenAI. Основной мотивацией создания BRAG было разработать серию моделей, способных превзойти или превзойти производительность ведущих моделей, таких как Cohere’s Command R+, Qwen2, Llama3.1 и Llama3, при этом сохраняя минимальные затраты на обучение.
Серия моделей BRAG включает в себя четыре модели:
- BRAG-Qwen2-7b-v0.1
- BRAG-Llama-3.1-8b-v0.1
- BRAG-Llama-3-8b-v0.1
- BRAG-Qwen2-1.5b-v0.1
Эти модели были выбраны на основе их производительности в открытых бенчмарках и способности сбалансировать эффективность и возможности. Модели прошли процесс двухэтапной настройки, вдохновленный методикой ChatQA от Nvidia, который предполагает начальное обучение на общих инструкционных наборах данных, за которым следует обучение на специфических для RAG наборах данных.
Преимущества моделей BRAG
Модели BRAG замечательны тем, что их производительность превосходит их размер. Модели объемом 1.5 миллиарда предлагают отличный баланс производительности и эффективности. В сравнении с этими моделями объемом 7 миллиардов и 8 миллиардов могут справляться с более сложными задачами, такими как понимание длинных контекстов, интерпретация табличных данных и математическое рассуждение. Такой стратегический выбор моделей и методология обучения позволили Maximalists оптимизировать производительность, эффективно управляя затратами.
Процесс обучения моделей BRAG
Обучение моделей BRAG включало в себя техники LoRA (Low-Rank Adaptation) и QLoRA (quantized LoRA). LoRA обеспечивает более быстрое обучение при сниженных вычислительных затратах путем упрощения матриц адаптации. В отличие от этого, QLoRA сжимает параметры веса до 4-битной точности, существенно уменьшая объем памяти и облегчая обучение на графических процессорах для потребителей.
Оценка моделей BRAG
Модели были оценены с использованием ChatRAG-Bench, бенчмарка, разработанного для оценки возможностей беседы QA и RAG по различным типам документов и форматам вопросов. Метрики оценки включали F1-оценку и точность точного совпадения, что дало представление о способности моделей генерировать точные и контекстно значимые ответы.
Изучение моделей и их применение
В ходе обучения обнаружились несколько проблем, включая работу с длинными документами, интерпретацию табличных данных и решение запросов, специфических для определенной области. Эти проблемы были устранены благодаря тщательному выбору наборов данных и экспериментам с различными их комбинациями. Например, включение наборов данных, таких как DROP, Quoref и SQuAD, помогло улучшить возможности моделей для работы с комплексными и разнообразными типами данных. Оценочная метрика F1-оценки, хотя и широко принятая, отмечено, что она имеет ограничения в улавливании семантических нюансов и контекста. Это подчеркивает необходимость более всесторонних и контекстно-ориентированных метрик оценки для более точной оценки производительности моделей.
Планы по улучшению моделей BRAG
Maximalists планируют улучшить модели BRAG, улучшив производительность RAG и обработку табличных данных, а также внедрив генерацию цитат для лучшей интерпретации. Они также стремятся усовершенствовать техники переписывания запросов для улучшения точности и значимости поиска. Разработка BRAG была поддержана за счет кредитов Modal Labs, что облегчило экономичные эксперименты. Пользуясь инновационными методиками обучения и стратегическим подбором моделей, BRAG продемонстрировал, что высокая производительность может быть достигнута при минимальных затратах ресурсов, что открывает путь для более доступных и эффективных решений в области искусственного интеллекта.
Подробности и модели
Вся благодарность за это исследование исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашему Telegram каналу и LinkedIn группе. Если вам понравилась наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему реддиту 47k+ ML SubReddit
Найдите предстоящие вебинары по искусственному интеллекту здесь
Этот пост впервые появился на сайте MarkTechPost.
«`
