Ученые из Университета Калифорнии в Беркли и компании Anyscale представили RouteLLM: открытую платформу для экономичной маршрутизации LLM.

«`html

Решение для маркетинга и продаж: Использование искусственного интеллекта для оптимизации бизнес-процессов

Большие языковые модели (LLM) проявили впечатляющие возможности в различных задачах, но их стоимость и способности могут значительно отличаться. Деплоймент этих моделей в реальных приложениях представляет собой значительное испытание: направление всех запросов к наиболее способным моделям обеспечивает высокое качество ответов, но дорого, в то время как направление запросов к более маленьким моделям экономит затраты за счет качества ответов. Исследователи из UC Berkeley, Anyscale и Canva предлагают RouteLLM, открытую систему маршрутизации LLM, которая эффективно балансирует цену и производительность для решения этой проблемы.

Проблемы в маршрутизации LLM

Маршрутизация LLM направлена на определение, какая модель должна обрабатывать каждый запрос, чтобы минимизировать затраты, сохраняя при этом качество ответов. Система маршрутизации должна выявлять характеристики поступающих запросов и возможности различных моделей, что делает проблему сложной. RouteLLM решает эту проблему, используя данные предпочтений для обучения своих маршрутизаторов, что позволяет системе узнавать, какие запросы могут обрабатываться слабыми моделями, а какие требуют более сильных моделей.

Структура и методология

RouteLLM формализует проблему маршрутизации LLM и исследует методы улучшения производительности маршрутизатора. Система использует общедоступные данные из Chatbot Arena и включает новые методы обучения. Было обучено четыре различных маршрутизатора:

• Маршрутизатор с учетом сходства (SW): выполняет «взвешенный расчет Эло» на основе сходства.
• Модель факторизации матрицы: изучает функцию оценки, насколько хорошо модель может ответить на запрос.
• Классификатор BERT: предсказывает, какая модель может дать лучший ответ.
• Классификатор причинной LLM: также предсказывает, какая модель может дать лучший ответ.

Процесс обучения использует данные предпочтений, где каждая точка данных состоит из запроса и сравнения качества ответа между двумя моделями. Этот метод помогает понять сильные и слабые стороны различных моделей относительно различных запросов.

Производительность и эффективность затрат

Производительность этих маршрутизаторов была оценена на бенчмарках, таких как MT Bench, MMLU и GSM8K. Результаты показали, что маршрутизаторы могут значительно снизить затраты без ущерба качеству. Например, на MT Bench маршрутизатор факторизации матрицы достиг 95% производительности GPT-4, совершая только 26% вызовов к GPT-4, что привело к снижению затрат на 48% по сравнению со случайной базовой линией. Дополнение тренировочных данных с использованием оценочного судьи LLM дальше улучшило производительность маршрутизаторов, снизив количество вызовов к GPT-4 до всего 14%, сохраняя при этом тот же уровень производительности.

На MMLU маршрутизаторы изначально показали плохую производительность из-за внедостаточной натуры большинства вопросов. Однако дополнение набора данных золотого уровня данными из валидационного раздела MMLU привело к значительным улучшениям. Самый эффективный причинный маршрутизатор LLM требовал всего 54% вызовов к GPT-4 для достижения 95% производительности GPT-4, обеспечивая снижение затрат на 14% по сравнению со случайной базовой линией.

Сравнение с коммерческими предложениями

Производительность RouteLLM была сравнена с коммерческими системами маршрутизации, такими как Martian и Unify AI. Используя GPT-4 Turbo в качестве сильной модели и Llama 2 70B или Mixtral 8x7B в качестве слабой модели, RouteLLM достигла схожей производительности, при этом стоила на 40% дешевле. Это сравнение подчеркивает экономическую эффективность и конкурентное преимущество системы RouteLLM.

Обобщение на другие модели

Для демонстрации ее универсальности RouteLLM была протестирована с различными парами моделей, такими как Claude 3 Opus и Llama 3 8B. Маршрутизаторы поддерживали высокую производительность без повторного обучения, указывая на то, что они выучили общие характеристики, которые помогают различать сильные и слабые модели, применимые к новым парам моделей.

Заключение

RouteLLM предоставляет масштабируемое и экономически эффективное решение для деплоя LLM путем эффективного балансирования затрат и производительности. Использование предпочтительных данных и методов дополнения данных обеспечивает высококачественные ответы при значительном снижении затрат — открытый релиз RouteLLM, вместе с его наборами данных и кодом.

Проверьте Paper, GitHub и Details. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.

Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.

Если вам нравится наша работа, вам понравится наша рассылка.

Не забудьте присоединиться к нашему 45k+ ML SubReddit.

Статья Researchers from UC Berkeley and Anyscale Introduce RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing была опубликована на MarkTechPost.

Используйте искусственный интеллект для развития вашего бизнеса

Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Researchers from UC Berkeley and Anyscale Introduce RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing.

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.

Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!

«`