«`html
Patronus AI выпустила серию LYNX v1.1: значительный шаг в области искусственного интеллекта
Patronus AI выпустила серию LYNX v1.1, представляющую собой значительный шаг в области искусственного интеллекта, особенно в обнаружении галлюцинаций в контенте, созданном ИИ. Галлюцинации в контексте ИИ означают генерацию информации, которая не подтверждена или противоречит предоставленным данным, что представляет собой значительное препятствие для приложений, полагающихся на точные и надежные ответы. Модели LYNX решают эту проблему с помощью метода retrieval-augmented generation (RAG), который помогает обеспечить, что ответы, сгенерированные ИИ, соответствуют предоставленным документам.
Применение в реальных сценариях
Версия 70B LYNX v1.1 продемонстрировала исключительную производительность в этой области. На оценке HaluBench, тестирующей обнаружение галлюцинаций в реальных сценариях, модель 70B достигла впечатляющей точности 87,4%. Эта производительность превосходит другие ведущие модели, включая GPT-4o и GPT-3.5-Turbo, и показывает превосходную точность в конкретных задачах, таких как ответы на медицинские вопросы в PubMedQA.
Эффективность и производительность
Версия 8B LYNX v1.1, известная как Patronus-Lynx-8B-Instruct-v1.1, является тщательно отрегулированной моделью, которая обеспечивает баланс эффективности и возможностей. Обученная на разнообразных наборах данных, включая CovidQA, PubmedQA, DROP и RAGTruth, эта версия поддерживает максимальную длину последовательности 128 000 токенов и в первую очередь ориентирована на английский язык. Применяются передовые методы обучения, такие как обучение смешанной точности и внимание flash, для улучшения эффективности без ущерба точности. Оценки проводились на 8 графических процессорах Nvidia H100 для обеспечения точных показателей производительности.
Практическая польза
С момента выпуска Lynx v1.0 тысячи разработчиков интегрировали его в различные прикладные приложения, демонстрируя его практическую полезность. Несмотря на усилия по снижению галлюцинаций с помощью RAG, большие языковые модели (LLM) все равно могут допускать ошибки. Однако Lynx v1.1 значительно улучшает обнаружение галлюцинаций в реальном времени, делая его наилучшей моделью обнаружения галлюцинаций RAG своего размера. Модель 8B показала существенные улучшения по сравнению с базовыми моделями, такими как Llama 3, с результатом 87,3% на HaluBench. Она превосходит модели, такие как Claude-3.5-Sonnet, на 3%, и GPT-4o по медицинским вопросам на 6,8%. Кроме того, по сравнению с Lynx v1.0, у нее на 1,4% выше точность на HaluBench и она превосходит все открытые модели в задачах LLM-как-судья.
Заключение
Модель LYNX 8B серии LYNX v1.1 — это надежный и эффективный инструмент для обнаружения галлюцинаций в контенте, созданном ИИ. В то время как модель 70B лидирует по общей точности, версия 8B предлагает убедительный баланс эффективности и производительности. Ее передовые методы обучения, в сочетании с существенными улучшениями производительности, делают ее отличным выбором для различных приложений машинного обучения, особенно там, где обнаружение галлюцинаций в реальном времени критично. Lynx v1.1 является открытым исходным кодом, с открытыми весами и данными, обеспечивая доступность и прозрачность для всех пользователей.
Проверьте статью, попробуйте ее в HuggingFace Spaces и скачайте Lynx v1.1 на HuggingFace. Вся заслуга за этот проект принадлежит исследователям. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и LinkedIn. Если вам нравится наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему подпишитесь на наш SubReddit
Найдите предстоящие вебинары по ИИ здесь
Источник: MarkTechPost
«`
