«`html
Решение Baidu AI для улучшения надежности и прослеживаемости систем RAG
Использование Retrieval-Augmented Language Model (RALM) позволяет улучшить точность ответов и снизить фактические ошибки благодаря интеграции внешних знаний в процесс вывода. Однако RALM сталкиваются с проблемами надежности и прослеживаемости. Шумный поиск может привести к неполезным или неверным ответам, а отсутствие правильных ссылок затрудняет проверку выводов модели. Для улучшения надежности поиска применяются модели естественного языка и сжатия документов, что увеличивает сложность и стоимость. Оптимизация и выбор этих вспомогательных моделей остаются значительными вызовами для эффективной реализации.
Решение от Baidu Inc.
Исследователи из Baidu Inc., Китай, предлагают собственную систему самообоснования для улучшения надежности и прослеживаемости RALM. Эта система генерирует траектории самообоснования через три процесса: процесс, осведомленный о релевантности, процесс выборочного осведомленного о доказательствах и процесс анализа траектории. Она направлена на улучшение точности ответов, обучая модель рассуждать на основе извлеченных документов. Оцененная на четырех общедоступных наборах данных, эта методика превосходит существующие модели и соответствует производительности GPT-4, используя всего 2 000 обучающих образцов. Система улучшает интерпретируемость и прослеживаемость без использования внешних моделей.
Интеграция внешней информации в LLMs
Множество исследований направлены на улучшение LLMs путем интеграции внешней информации. Подходы включают предварительное обучение с извлеченными отрывками, включение цитат и использование систем, которые извлекают доказательства и генерируют ответы без изменения весов модели. Некоторые методы динамически настраивают LLMs на использование инструментов поиска, в то время как другие фокусируются на улучшении фактической точности через поиск и редактирование. Техники, такие как фильтрация нерелевантных документов, сжатие документов и коррекция ошибок, исследовались для улучшения надежности. В отличие от этого подхода, данная методика идентифицирует ключевые предложения и ссылается на соответствующие документы в рамках единой системы, избегая необходимости внешних моделей и предлагая эффективность без использования специальных токенов или обширных обучающих образцов.
Проблема генерации с самообоснованием
Процесс генерации ответов на основе траекторий рассуждения включает обучение LLM на генерацию траекторий рассуждения и ответов за один проход. Процесс разделен на три этапа: оценка релевантности документа, выбор и ссылка на ключевые предложения, анализ рассуждений для получения окончательного ответа. Данные генерируются и контролируются по качеству с использованием автоматических инструментов и методов фильтрации для обеспечения точности перед обучением модели на этих дополненных данных.
Эксперименты и результаты
Проведены обширные эксперименты на двух наборах данных коротких вопросов и ответов, одном наборе данных длинных вопросов и ответов и одном наборе данных для проверки фактов для оценки системы SELF-REASONING. Эффективность системы оценивалась с использованием различных поисковых систем и метрик, адаптированных к каждой задаче, включая точность, полное совпадение, точность цитирования и точность. По сравнению с базовыми моделями и моделями с поиском, подход SELF-REASONING продемонстрировал превосходную производительность, особенно в задачах длинных вопросов и ответов и проверки фактов. Он превзошел большинство базовых моделей, включая те, которые требуют дополнительных обучающих данных или внешних инструментов, обеспечивая высокую точность цитирования и точность с меньшим количеством обучающих образцов и сниженным потреблением ресурсов.
Исследование влияния каждого компонента
Проведено исследование влияния каждого компонента в системе SELF-REASONING на коротких вопросах и ответах и наборе данных для проверки фактов. Результаты показали, что исключение процесса, осведомленного о релевантности, процесса выборочного осведомленного о доказательствах или процесса анализа траектории значительно снижает производительность, подчеркивая важность каждого компонента. Система продемонстрировала устойчивость к шумным и перемешанным извлеченным документам, превзойдя другие модели в таких условиях. Анализ цитирования людьми показал, что качество цитирования системы хорошо соответствует автоматическим оценкам, часто с лучшими показателями. Полученные результаты подчеркивают эффективность системы в улучшении производительности LLM на задачах, требующих большого объема знаний.
Подробнее ознакомьтесь с статьей. Вся заслуга за это исследование принадлежит его авторам. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наш рассылка.
Не забудьте присоединиться к нашему сообществу в Reddit.
Узнайте о предстоящих вебинарах по ИИ здесь.
Используйте AI Sales Bot здесь.
Узнайте, как ИИ может изменить ваш бизнес с помощью решений от AI Lab здесь. Будущее уже здесь!
«`
