Как RAG влияет на поведение языковых моделей и использование памяти

«`html

Исследование: Как Retrieval Augmented Generation (RAG) влияет на поведение языковых моделей и использование памяти

Исследователи из Microsoft, Университета Массачусетса в Амхерсте и Университета Мэриленда в Колледж-Парке рассматривают проблему понимания влияния Retrieval Augmented Generation (RAG) на рассуждения и фактическую точность языковых моделей (LMs). Исследование фокусируется на том, зависят ли LMs больше от внешнего контекста, предоставленного RAG, чем от их параметрической памяти при генерации ответов на фактические запросы.

Практические решения и ценность

Текущие методы улучшения фактической точности LMs часто включают либо улучшение внутренних параметров моделей, либо использование внешних систем извлечения для предоставления дополнительного контекста во время вывода. Техники, такие как ROME и MEMIT, фокусируются на редактировании внутренних параметров модели для обновления знаний. Однако было ограниченное исследование в том, как эти модели балансируют использование внутренних (параметрических) знаний и внешнего (непараметрического) контекста в RAG.

Исследователи предлагают механистическое исследование конвейеров RAG для определения того, насколько LMs зависят от внешнего контекста по сравнению с их внутренней памятью при ответе на фактические запросы. Они используют две передовые LMs, LLaMa-2 и Phi-2, для проведения своего анализа, используя методы, такие как Causal Mediation Analysis, Attention Contributions и Attention Knockouts.

Результаты показали, что в присутствии контекста RAG обе модели LLaMa-2 и Phi-2 показали значительное снижение зависимости от их внутренней параметрической памяти. Внимание Contributions и Knockouts дополнительно подтвердили, что модели приоритетно используют внешний контекст перед внутренней памятью для фактических предсказаний.

В заключение, предложенный метод демонстрирует, что языковые модели проявляют «shortcut» поведение, сильно полагаясь на внешний контекст, предоставленный RAG, перед их внутренней параметрической памятью для фактических запросов. Путем механистического анализа того, как LMs обрабатывают и приоритизируют информацию, исследователи предоставляют ценные идеи взаимодействия между параметрическим и непараметрическим знанием в retrieval-augmented generation. Исследование подчеркивает необходимость понимания этих динамик для улучшения производительности модели и надежности в практических приложениях.

Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.

Присоединяйтесь к нашему Telegram каналу и группе в LinkedIn.

Если вам нравится наша работа, вам понравится наш новостной бюллетень.

Не забудьте присоединиться к нашему 44k+ ML SubReddit.

Источник: MarkTechPost.

Как ИИ может изменить вашу работу

Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.

Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.

Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.

На полученных данных и опыте расширяйте автоматизацию.

Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.

Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.

Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!

«`