Действительно ли автогрессивные языковые модели обречены? Комментарий к недавнему выступлению Янна Лекуна на саммите по ИИ.
«`html
Автогенеративные модели: миф или реальность?
Янн ЛеКун, главный научный сотрудник Meta и один из пионеров современного ИИ, недавно заявил, что автогенеративные модели (LLMs) имеют фундаментальные недостатки. По его мнению, вероятность генерации правильного ответа уменьшается с каждым новым токеном, что делает их непрактичными для долгосрочных и надежных взаимодействий с ИИ.
Что такое автогенерация?
Автогенеративные модели — это вероятностные модели, которые обучены генерировать текст по одному токену за раз. Они предсказывают следующий наиболее вероятный токен, повторяя этот процесс, пока не будет достигнуто условие остановки. Это позволяет создавать как короткие ответы, так и целые статьи.
Ошибки генерации не накапливаются экспоненциально
Аргумент ЛеКуна можно разбить на несколько частей:
- Существует множество возможных завершений текста.
- Некоторые завершения являются приемлемыми, а некоторые — нет.
- Вероятность ошибки в генерации следующего токена не постоянна.
Он предполагает, что вероятность ошибки в каждом токене независима, однако это не так. Модели могут корректировать свои ошибки, как если бы вы рассказывали историю, где можно исправить ошибку в следующем предложении.
Почему это предположение неверно?
Автогенеративные модели обладают свойствами самокоррекции. Например, Chain-of-Thought (CoT) помогает модели генерировать промежуточные шаги рассуждения, что улучшает её способность находить приемлемые ответы.
Вопросы внимательного рассуждения (ARQs) — это прорыв
В Parlant мы развили концепцию Attentive Reasoning Queries (ARQs), которые помогают модели поддерживать последовательность в длинных текстах, фокусируя внимание на ключевых инструкциях. Это позволяет нам достигать высокой точности в ИИ-решениях и взаимодействии с клиентами.
Автогенеративные модели остаются актуальными
Мы уверены, что автогенеративные LLMs не обречены. Хотя поддержание долгосрочной последовательности — это задача, существуют механизмы, которые помогают избежать расхождений.
Как внедрить ИИ в вашу компанию?
Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, следуйте этим шагам:
- Анализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации.
- Установите KPI. Определите ключевые показатели эффективности, которые хотите улучшить с помощью ИИ.
- Подберите подходящее решение. Внедряйте ИИ постепенно, начиная с небольших проектов.
- Расширяйте автоматизацию. На основе полученных данных и опыта.
Если вам нужны советы по внедрению ИИ, пишите нам на Телеграм.
Попробуйте AI Sales Bot — это ИИ ассистент для продаж, который помогает отвечать на вопросы клиентов и генерировать контент для отдела продаж.
Узнайте, как ИИ может изменить процесс продаж в вашей компании с решением от saile.ru. Будущее уже здесь!
«`