«`html
Решение для маркетинга и продаж: Использование искусственного интеллекта для оптимизации бизнес-процессов
Большие языковые модели (LLM) проявили впечатляющие возможности в различных задачах, но их стоимость и способности могут значительно отличаться. Деплоймент этих моделей в реальных приложениях представляет собой значительное испытание: направление всех запросов к наиболее способным моделям обеспечивает высокое качество ответов, но дорого, в то время как направление запросов к более маленьким моделям экономит затраты за счет качества ответов. Исследователи из UC Berkeley, Anyscale и Canva предлагают RouteLLM, открытую систему маршрутизации LLM, которая эффективно балансирует цену и производительность для решения этой проблемы.
Проблемы в маршрутизации LLM
Маршрутизация LLM направлена на определение, какая модель должна обрабатывать каждый запрос, чтобы минимизировать затраты, сохраняя при этом качество ответов. Система маршрутизации должна выявлять характеристики поступающих запросов и возможности различных моделей, что делает проблему сложной. RouteLLM решает эту проблему, используя данные предпочтений для обучения своих маршрутизаторов, что позволяет системе узнавать, какие запросы могут обрабатываться слабыми моделями, а какие требуют более сильных моделей.
Структура и методология
RouteLLM формализует проблему маршрутизации LLM и исследует методы улучшения производительности маршрутизатора. Система использует общедоступные данные из Chatbot Arena и включает новые методы обучения. Было обучено четыре различных маршрутизатора:
- Маршрутизатор с учетом сходства (SW): выполняет «взвешенный расчет Эло» на основе сходства.
- Модель факторизации матрицы: изучает функцию оценки, насколько хорошо модель может ответить на запрос.
- Классификатор BERT: предсказывает, какая модель может дать лучший ответ.
- Классификатор причинной LLM: также предсказывает, какая модель может дать лучший ответ.
Процесс обучения использует данные предпочтений, где каждая точка данных состоит из запроса и сравнения качества ответа между двумя моделями. Этот метод помогает понять сильные и слабые стороны различных моделей относительно различных запросов.
Производительность и эффективность затрат
Производительность этих маршрутизаторов была оценена на бенчмарках, таких как MT Bench, MMLU и GSM8K. Результаты показали, что маршрутизаторы могут значительно снизить затраты без ущерба качеству. Например, на MT Bench маршрутизатор факторизации матрицы достиг 95% производительности GPT-4, совершая только 26% вызовов к GPT-4, что привело к снижению затрат на 48% по сравнению со случайной базовой линией. Дополнение тренировочных данных с использованием оценочного судьи LLM дальше улучшило производительность маршрутизаторов, снизив количество вызовов к GPT-4 до всего 14%, сохраняя при этом тот же уровень производительности.
На MMLU маршрутизаторы изначально показали плохую производительность из-за внедостаточной натуры большинства вопросов. Однако дополнение набора данных золотого уровня данными из валидационного раздела MMLU привело к значительным улучшениям. Самый эффективный причинный маршрутизатор LLM требовал всего 54% вызовов к GPT-4 для достижения 95% производительности GPT-4, обеспечивая снижение затрат на 14% по сравнению со случайной базовой линией.
Сравнение с коммерческими предложениями
Производительность RouteLLM была сравнена с коммерческими системами маршрутизации, такими как Martian и Unify AI. Используя GPT-4 Turbo в качестве сильной модели и Llama 2 70B или Mixtral 8x7B в качестве слабой модели, RouteLLM достигла схожей производительности, при этом стоила на 40% дешевле. Это сравнение подчеркивает экономическую эффективность и конкурентное преимущество системы RouteLLM.
Обобщение на другие модели
Для демонстрации ее универсальности RouteLLM была протестирована с различными парами моделей, такими как Claude 3 Opus и Llama 3 8B. Маршрутизаторы поддерживали высокую производительность без повторного обучения, указывая на то, что они выучили общие характеристики, которые помогают различать сильные и слабые модели, применимые к новым парам моделей.
Заключение
RouteLLM предоставляет масштабируемое и экономически эффективное решение для деплоя LLM путем эффективного балансирования затрат и производительности. Использование предпочтительных данных и методов дополнения данных обеспечивает высококачественные ответы при значительном снижении затрат — открытый релиз RouteLLM, вместе с его наборами данных и кодом.
Проверьте Paper, GitHub и Details. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 45k+ ML SubReddit.
Статья Researchers from UC Berkeley and Anyscale Introduce RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing была опубликована на MarkTechPost.
Используйте искусственный интеллект для развития вашего бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Researchers from UC Berkeley and Anyscale Introduce RouteLLM: An Open-Source Framework for Cost-Effective LLM Routing.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
«`
