Объявлено открытое тестирование Mosaic AI Agent Framework и Agent Evaluation от Databricks

«`html

Databricks объявила о публичном предварительном просмотре Mosaic AI Agent Framework и Agent Evaluation

Новые инструменты Mosaic AI Agent Framework и Agent Evaluation от Databricks предназначены для помощи разработчикам в создании и развертывании высококачественных приложений Agentic и Retrieval Augmented Generation (RAG) на платформе Data Intelligence Databricks.

Проблемы при создании высококачественных генеративных приложений ИИ

Создание концепции генеративных приложений ИИ относительно просто. Однако разработка высококачественного приложения, соответствующего строгим стандартам для решений, предназначенных для клиентов, требует времени и усилий. Разработчики часто сталкиваются с проблемами:

• Выбор правильных метрик для оценки качества приложения.
• Эффективное сбор человеческой обратной связи для измерения качества.
• Выявление корневых причин проблем с качеством.
• Быстрая итерация для улучшения качества приложения перед развертыванием в продакшн.

Введение Mosaic AI Agent Framework и Agent Evaluation

Mosaic AI Agent Framework и Agent Evaluation решают эти проблемы благодаря нескольким ключевым возможностям:

• Интеграция человеческой обратной связи: Agent Evaluation позволяет разработчикам определить высококачественные ответы для своих генеративных приложений ИИ, приглашая экспертов по предмету из своей организации для обзора и обратной связи, даже если они не являются пользователями Databricks. Этот процесс помогает собрать разнообразные точки зрения и идеи для улучшения приложения.
• Комплексные метрики оценки: Agent Evaluation предлагает набор метрик для измерения качества приложения, разработанный совместно с Mosaic Research. Эти метрики включают точность, галлюцинации, вредоносность и полезность. Система автоматически регистрирует ответы и обратную связь в таблице оценки, облегчая быстрый анализ и выявление потенциальных проблем с качеством. ИИ-судьи, откалиброванные с использованием обратной связи экспертов, оценивают ответы, чтобы выявить корневые причины проблем.
• Рабочий процесс от начала до конца: Интегрированный с MLflow, Agent Framework позволяет разработчикам регистрировать и оценивать генеративные приложения ИИ с использованием стандартных API MLflow. Эта интеграция поддерживает плавные переходы от разработки к продакшн, обеспечивая непрерывные циклы обратной связи для улучшения качества приложения.
• Управление жизненным циклом приложения: Agent Framework предоставляет упрощенный SDK для управления жизненным циклом агентных приложений, от управления разрешениями до развертывания с Mosaic AI Model Serving. Эта комплексная система управления гарантирует масштабируемость и поддержание высокого качества приложений на протяжении их жизненного цикла.

Построение высококачественного RAG-агента

Для иллюстрации возможностей Mosaic AI Agent Framework Databricks предоставила пример создания высококачественного RAG-приложения. Этот пример включает создание простого RAG-приложения, которое извлекает соответствующие фрагменты из предварительно созданного векторного индекса и резюмирует их в ответ на запросы. Процесс включает подключение к векторному поисковому индексу, установку индекса в ретриевер LangChain и использование MLflow для включения трассировок и развертывания приложения. Этот рабочий процесс демонстрирует простоту создания, оценки и улучшения генеративных приложений ИИ с использованием инструментов Mosaic AI.

Прикладные программы и отзывы

Несколько компаний успешно реализовали Mosaic AI Agent Framework для улучшения своих генеративных решений ИИ. Например, Corning использовала фреймворк для создания искусственного интеллекта-ассистента по исследованиям, индексирующего сотни тысяч документов, что значительно улучшило скорость извлечения, качество ответов и точность. Lippert воспользовалась фреймворком для оценки результатов своих генеративных приложений ИИ, обеспечивая точность и контроль данных. FordDirect интегрировала фреймворк для создания единого чат-бота для своих дилерских центров, облегчая оценку производительности и взаимодействие с клиентами.

Ценообразование и следующие шаги

Ценообразование для Agent Evaluation основано на запросах судей, а Mosaic AI Model Serving ценообразование основано на тарифах Mosaic AI Model Serving. Databricks призывает клиентов попробовать Mosaic AI Agent Framework и Agent Evaluation, получив доступ к различным ресурсам, таким как документация Agent Framework, демонстрационные блокноты и Generative AI Cookbook. Эти ресурсы предоставляют подробное руководство по созданию генеративных приложений ИИ высокого качества от концепции до развертывания.

В заключение, объявление Databricks о Mosaic AI Agent Framework и Agent Evaluation представляет собой значительный прогресс в области генеративного искусственного интеллекта. Эти инструменты предоставляют разработчикам необходимые возможности для эффективного создания, оценки и развертывания высококачественных генеративных приложений ИИ. Адресуя общие проблемы и предлагая комплексную поддержку, Databricks дает разработчикам возможность создавать инновационные решения, соответствующие высочайшим стандартам качества и производительности.

Источник: MarkTechPost

«`