Диаграмма мысли (DoT): фреймворк ИИ, моделирующий итеративное мышление в крупных языковых моделях (LLM) как построение направленного ациклического графа (DAG) в одной модели
Преимущества и практические решения:
Фреймворк DoT объединяет сильные стороны предыдущих подходов, обеспечивая более последовательный и эффективный процесс мышления. Использование DAG позволяет захватить нюансы логического вывода, сохраняя при этом вычислительную эффективность. DoT устраняет сложности множественного сотрудничества моделей, повышает эффективность обучения и развивает модели специализированного мышления для сложных задач.
Разработка и методология:
Ученые из Университета Цинхуа и Шанхайской лаборатории искусственного интеллекта разработали фреймворк DoT, представляющий собой DAG, интегрирующий предложения, критику, уточнения и проверки. Использование ролевых токенов облегчает итеративное улучшение мышления. Авторегрессивное предсказание следующего токена обеспечивает плавные переходы между предложением и оценкой, улучшая обратную связь.
Теоретическое обоснование и результаты:
Фреймворк DoT формализован в рамках топос-теории, обеспечивая логическую последовательность и надежность в процессе мышления. Реализованный в одной модели, DoT упрощает как обучение, так и процесс вывода, не требуя множественных моделей или внешних механизмов управления. Этот подход позволяет исследовать сложные пути мышления, повышая точность выводов и последовательность процессов мышления.
