«`html
SELFGOAL: Фреймворк искусственного интеллекта для расширения возможностей агентов на основе LLM для достижения высокоуровневых целей
Большие языковые модели (LLM) позволяют создавать автономных языковых агентов, способных решать сложные задачи в динамических средах без специального обучения. Однако эти агенты часто сталкиваются с проблемами при выполнении широких, высокоуровневых целей из-за их неоднозначной природы и отсроченных вознаграждений. Необходимость частого переобучения модели для адаптации к новым целям и задачам дополнительно усложняет проблему. Текущие подходы сосредотачиваются на двух типах вспомогательного руководства: декомпозиции предыдущей задачи и суммировании опыта после его завершения. Однако эти методы имеют ограничения, такие как отсутствие эмпирической основы или сложности в эффективном приоритизации стратегий. Основная задача заключается в обеспечении возможности автономным языковым агентам достижения высокоуровневых целей без обучения, преодолевая эти ограничения.
Практические решения и ценность:
Исследователи из Университета Фудан и Института Allen для искусственного интеллекта предлагают SELFGOAL, самоадаптивный фреймворк для языковых агентов, который использует как предыдущие знания, так и обратную связь от окружающей среды для достижения высокоуровневых целей. Основная идея заключается в построении дерева текстовых подцелей, где агенты выбирают подходящие в качестве руководства на основе текущей ситуации. SELFGOAL включает два основных модуля для работы с GOALTREE: модуль поиска, который выбирает наиболее подходящие узлы целей, и модуль декомпозиции, который разбивает узлы целей на более конкретные подцели. Модуль действия использует выбранные подцели в качестве руководства для LLM для выполнения действий. Этот подход обеспечивает точное руководство для высокоуровневых целей и адаптируется к различным средам, значительно улучшая производительность языкового агента как в сотрудничестве, так и в конкурентных сценариях.
SELFGOAL использует непараметрический подход к обучению языковых агентов для достижения высокоуровневых целей. Он проводит иерархическую декомпозицию высокоуровневой цели сверху вниз, используя древовидную структуру (GOALTREE) для руководства принятием решений. Фреймворк взаимодействует с окружающей средой через три ключевых модуля: Поиск, Декомпозиция и Действие. Модуль поиска определяет наиболее подходящие подцели для текущей ситуации, выбирая из листовых узлов в GOALTREE. Модуль декомпозиции уточняет GOALTREE, разбивая выбранные подцели на более конкретные с помощью механизма фильтрации для контроля гранулярности и избегания избыточности. Затем модуль действия использует эти выбранные подцели для обновления инструкций и руководства действиями агента в окружающей среде. Такой динамический подход позволяет SELFGOAL адаптироваться к изменяющимся ситуациям и предоставлять контекстно-релевантное руководство.
SELFGOAL значительно превосходит базовые фреймворки в различных средах с высокоуровневыми целями, показывая большие улучшения с увеличением размера LLM. В отличие от методов декомпозиции задач, таких как ReAct и ADAPT, которые могут предоставлять несоответствующее или слишком общее руководство, или методов суммирования опыта после его завершения, таких как Reflexion и CLIN, которые могут производить слишком детальные руководства, SELFGOAL динамически корректирует свое руководство. Например, в игре Public Good Game SELFGOAL уточняет свои подцели на основе наблюдаемого поведения игроков, что позволяет агентам эффективно адаптировать свои стратегии. Фреймворк также показывает превосходную производительность с меньшими LLM, что объясняется его логической, структурной архитектурой. В конкурентных сценариях, таких как аукционные соревнования, SELFGOAL демонстрирует явное преимущество перед базовыми методами, используя более стратегическое поведение при торгах, что приводит к лучшим результатам.
В данном исследовании исследователи предложили SELFGOAL, который расширяет возможности LLM для достижения высокоуровневых целей в различных динамических задачах и средах. Путем динамического создания и уточнения иерархического GOALTREE контекстуальных подцелей на основе взаимодействия с окружающей средой SELFGOAL значительно улучшает производительность агента. Метод доказывает свою эффективность как в конкурентных, так и в кооперативных сценариях, превосходя базовые подходы. Постоянное обновление GOALTREE позволяет агентам навигировать в сложных средах с большей точностью и адаптивностью. Несмотря на эти преимущества, SELFGOAL представляет собой значительный прогресс в обеспечении возможности автономным языковым агентам последовательно достигать высокоуровневых целей без частого переобучения.
Проверьте статью и проект. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter.
Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
Попробуйте AI Sales Bot. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab. Будущее уже здесь!
«`
