«`html
Оптимизация вычислительных рабочих процессов для приложений ИИ
Разработка вычислительных рабочих процессов для приложений ИИ, таких как чат-боты и помощники по кодированию, является сложной из-за необходимости управления многочисленными гетерогенными параметрами, такими как подсказки и гиперпараметры машинного обучения. Ошибки после развертывания требуют ручных обновлений, что увеличивает сложность. Исследование исследует проблемы оптимизации, направленные на автоматизацию проектирования и обновления этих рабочих процессов.
Оптимизация рабочих процессов с помощью фреймворка Trace
Исследователи из Microsoft Research и Stanford University предлагают фреймворк под названием Trace для автоматизации проектирования и обновления систем ИИ, таких как помощники по кодированию и роботы. Trace рассматривает вычислительный рабочий процесс как граф, аналогичный нейронным сетям, и оптимизирует гетерогенные параметры с использованием оптимизации с помощью Trace Oracle (OPTO). Этот подход повышает эффективность оптимизации в различных областях, превосходя специализированные оптимизаторы в задачах, таких как оптимизация подсказок, настройка гиперпараметров и проектирование контроллеров роботов.
Преимущества фреймворка Trace
В отличие от существующих фреймворков, таких как LangChain, Semantic Kernels, AutoGen и DSPy, Trace использует трассировку выполнения для автоматической оптимизации, обобщая вычислительный граф для различных рабочих процессов. Фреймворк OPTO Trace поддерживает совместную оптимизацию подсказок, гиперпараметров и кодов с обратной связью и динамически адаптируется к изменениям в структуре рабочего процесса. Он расширяет принципы AutoDiff на недифференцируемые рабочие процессы, обеспечивая эффективных самоадаптирующихся агентов и общепринятую оптимизацию в различных приложениях, превосходя специализированные оптимизаторы в нескольких задачах.
Оптимизация с помощью алгоритма OptoPrime
Алгоритм оптимизации на основе LLM OptoPrime разработан для решения проблемы OPTO. Он использует возможности кодирования и отладки LLM для обработки подграфов трассировки выполнения. Эксперименты показывают эффективность OptoPrime в числовой оптимизации, управлении трафиком, оптимизации подсказок и управлении роботами на длительном горизонте времени.
Будущие направления развития
Это лишь первый шаг к новой парадигме оптимизации с различными будущими направлениями. Улучшения в рассуждениях LLM, такие как Chain-of-Thought, Few-Shot Prompting, Tool Use и Multi-Agent Workflows, могут улучшить или вдохновить новые оптимизаторы OPTO. Гибридный рабочий процесс, объединяющий LLM и алгоритмы поиска с специализированными инструментами, может привести к общепринятому оптимизатору OPTO. Специализация пропагатора для конкретных вычислений, особенно для больших графов, и разработка оптимизаторов, способных проводить контрфактическое рассуждение, могут улучшить эффективность. Нетекстовые контексты и обратная связь также могут расширить применимость Trace.
Подробности, проект и GitHub можно найти по ссылке. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter и присоединиться к нашему Telegram-каналу и группе LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
Найдите предстоящие вебинары по ИИ здесь.
Оригинальная статья: Microsoft and Stanford University Researchers Introduce Trace: A Groundbreaking Python Framework Poised to Revolutionize the Automatic Optimization of AI Systems на MarkTechPost.