«`html
Успех языковых моделей (LLM) в различных задачах
С появлением языковых моделей на основе машинного обучения (LLM) поисковые системы начали использовать генеративные методы для предоставления точных ответов с встроенными цитатами на запросы пользователей. Однако создание надежных и приписываемых ответов, особенно в ситуациях поиска информации без ограничений, представляет определенные трудности из-за сложности вопросов и широкого круга кандидатов на приписку ответов. Существующие методы обычно сосредотачиваются на приписывании ответов на вопросы, что предполагает нахождение конкретных ответов на точные запросы, не обращая внимания на более сложную проблему приписываемого поиска информации. Основная проблема заключается в возможности LLM генерировать неправильную или «вымышленную» информацию.
Проект французских исследователей
Команда исследователей из Франции предложила воспроизводимую структуру искусственного интеллекта (ИИ), которая поддерживает различные архитектуры LLM для приписываемого поиска информации и адаптируема для любого набора данных. Предложенная структура предназначена для бенчмаркинга задач приписываемого поиска информации с различными архитектурами LLM. Метод Generate использует LLM для генерации ответов исключительно на основе их предварительных знаний. В подходе Retrieve Then Generate сначала извлекаются документы, связанные с запросом, а затем LLM генерирует ответы с цитированием на основе этих документов. Структура включает вариации RTG, такие как обычное извлечение и генерация запросов, последний вариант включает генерацию подзапросов для повышения точности извлечения. В подходе Generate Then Retrieve ответы сначала генерируются без цитирования, а затем идентифицируются соответствующие документы для поддержки сгенерированных утверждений.
Результаты исследований и их влияние
Оценка производительности на датасете HAGRID показывает, что подходы RTG превосходят другие методы, демонстрируя лучшую общую производительность в правильности ответов и качестве цитирования. Анализ показывает, что качество цитирования и воздействие методов извлечения являются ключевыми факторами эффективности систем приписываемого поиска информации. Структура также включает различные метрики для оценки как правильности ответов, так и качества цитирования, результаты показывают, что подходы RTG в целом демонстрируют превосходные результаты по сравнению с методами GTR.
Уместные советы по эффективному использованию ИИ
Если ваша компания стремится использовать ИИ для устойчивого развития и оставаться в числе лидеров, обратите внимание на предложенную структуру искусственного интеллекта, которая адресует проблему оценки приписываемого поиска информации. Фокусируясь на правильности ответов и качестве цитирования, структура предлагает ценные исследования и бенчмарки для дальнейших исследований.
Исследовательский подход RTG-query-gen демонстрирует значительные улучшения в точности цитирования, подчеркивая важность эффективного извлечения документов и генерации запросов в задачах приписываемого поиска информации.
Не забудьте о новинках
Посетите сайт для ознакомления с исследованием. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нашу страницу в Твиттере и присоединиться к нашей группе в LinkedIn. Если вам понравилась наша работа, вам понравится и наша рассылка.
Если вы хотите присоединиться к Reddit-сообществу в 50 тысяч пользователей, посетите нашу страницу на Reddit.
БЕСПЛАТНЫЙ ВЕБИНАР ПО ИИ: «SAM 2 для видео: как настроить на ваши данные» (Ср, 25 сентября, 11:00 — 11:45 GMT+3)
Источник: MarkTechPost