«`html
Решение проблемы релевантности текстов с использованием больших языковых моделей
Исследование и практические решения
Значительной проблемой в области информационного поиска (IR) с использованием больших языковых моделей (LLM) является сильная зависимость от созданных людьми запросов для ранжирования релевантности. Эта зависимость требует больших усилий и экспертизы, что делает процесс долгим и субъективным. Кроме того, сложности, связанные с ранжированием релевантности, такие как интеграция запросов и длинных текстов и необходимость комплексной оценки релевантности, недостаточно решаются существующими методами. Эти проблемы препятствуют эффективному и масштабируемому применению LLM в реальных сценариях, ограничивая их полный потенциал в улучшении задач IR.
Текущие методы решения этой проблемы в основном включают в себя ручное создание запросов, которое, хотя и эффективно, требует много времени и субъективно. Ручные методы не могут масштабироваться и ограничены изменчивостью человеческой экспертизы. Кроме того, существующие автоматические методы создания запросов фокусируются больше на более простых задачах, таких как языковое моделирование и классификация, не решая уникальных сложностей ранжирования релевантности. Эти сложности включают интеграцию запросов и текстов и необходимость комплексного ранжирования релевантности, которые существующие методы решают неоптимально из-за их более простых процессов оптимизации.
Команда исследователей из университетов Ратгерса и Коннектикута предлагает APEER (Automatic Prompt Engineering Enhances LLM Reranking), который автоматизирует создание запросов путем итеративной обратной связи и оптимизации предпочтений. Этот подход минимизирует участие человека, генерируя улучшенные запросы на основе обратной связи о производительности и выстраивая их с предпочтительными примерами запросов. Путем систематического улучшения запросов APEER решает ограничения ручного создания запросов и улучшает эффективность и точность LLM в задачах IR. Этот метод представляет собой значительное достижение, предоставляя масштабируемое и эффективное решение для оптимизации запросов LLM в сложных сценариях ранжирования релевантности.
APEER работает путем начального создания запросов и их улучшения через два основных этапа оптимизации. Оптимизация обратной связи включает получение обратной связи о производительности текущего запроса и генерацию улучшенной версии. Оптимизация предпочтений дополнительно улучшает этот запрос, изучая наборы положительных и отрицательных примеров. Обучение и проверка APEER проводятся с использованием нескольких наборов данных, включая MS MARCO, TREC-DL и BEIR, обеспечивая надежность и эффективность метода в различных задачах IR и архитектурах LLM.
APEER демонстрирует значительное улучшение производительности LLM для задач ранжирования релевантности. Основные метрики производительности, такие как nDCG@1, nDCG@5 и nDCG@10, показывают существенные улучшения по сравнению с современными ручными запросами. Например, APEER достиг среднего улучшения 5,29 nDCG@10 на восьми наборах данных BEIR по сравнению с ручными запросами на модели LLaMA3. Кроме того, запросы APEER проявляют лучшую переносимость между различными задачами и архитектурами LLM, последовательно превосходя базовые методы на различных наборах данных и моделях, включая GPT-4, LLaMA3 и Qwen2.
В заключение, предложенный метод APEER автоматизирует создание запросов для LLM в IR, решая критическую проблему зависимости от созданных людьми запросов. Путем использования итеративной обратной связи и оптимизации предпочтений APEER сокращает усилия человека и значительно улучшает производительность LLM на различных наборах данных и моделях. Это новшество представляет собой значительное достижение в области, предоставляя масштабируемое и эффективное решение для оптимизации запросов LLM в сложных сценариях ранжирования релевантности.
Ознакомьтесь с научной статьей. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится и наша рассылка.
Не забудьте присоединиться к нашему 45k+ ML SubReddit.
Источник: MarkTechPost.
Внедрение искусственного интеллекта в продажи и маркетинг
Практические рекомендации
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте APEER: A Novel Automatic Prompt Engineering Algorithm for Passage Relevance Ranking.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358.
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!
«`
