«`html
Проблемы больших языковых моделей (LLMs)
Большие языковые модели часто не могут последовательно и точно выполнять многопроцессное рассуждение, особенно в сложных задачах, таких как решение математических задач и генерация кода. Они испытывают трудности с обнаружением и обучением на ошибках, так как в основном обучаются на правильных решениях. Это ограничение затрудняет проверку и ранжирование результатов.
Новое решение от исследователей
Исследователи из Университета Нотр-Дам и Salesforce AI представили инновационную структуру, которая увеличивает вычисления во время вывода, создавая несколько путей рассуждения для сложных задач. Проверяющие оценивают эти пути и ранжируют сгенерированные результаты по правильности для повышения точности.
Уникальный набор данных
Команда разработала обширный набор данных, включающий как правильные, так и неправильные решения для математических и кодовых задач, сгенерированных различными LLM. Этот набор данных уникален, так как включает разнообразные шаблоны решений, что позволяет проверяющим лучше различать правильные и ошибочные ответы.
Эффективные проверяющие
На основе этого набора данных были обучены два проверяющих: Math Reasoning Ensembled Verifier (Math-Rev) и Code Reasoning Ensembled Verifier (Code-Rev). Результаты показывают значительные улучшения по сравнению с предыдущими методами.
Достижения
Проверяющие Math-Rev и Code-Rev достигли передовой точности на таких эталонах, как GSM8k и MATH, даже превзойдя производительность GPT-4o и LLaMA3. Например, Math-Rev в сочетании с Qwen-72B-Instruct показал лучшие результаты на тестовом наборе MATH.
Заключение
Это исследование вводит новый подход к улучшению возможностей рассуждения LLM, интегрируя совместную проверку с несколькими путями рассуждения и проверяющими. Исследователи стремятся способствовать будущим достижениям в увеличении вычислений во время вывода и повышении надежности LLM.
Как использовать ИИ в вашем бизнесе
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ), следуйте этим шагам:
- Проанализируйте, как ИИ может изменить вашу работу.
- Определите, где возможно применение автоматизации.
- Определитесь с ключевыми показателями эффективности (KPI), которые хотите улучшить с помощью ИИ.
- Подберите подходящее решение, начните с малого проекта и анализируйте результаты.
- На основе полученных данных расширяйте автоматизацию.
Получите помощь в внедрении ИИ
Если вам нужны советы по внедрению ИИ, пишите нам. Следите за новостями об ИИ в нашем Телеграм-канале.
Попробуйте AI Sales Bot
Это AI ассистент для продаж, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж. Узнайте, как ИИ может изменить процесс продаж в вашей компании с решением от saile.ru!
«`
