«`html
Улучшение надежности LLM: выявление конфабуляций семантической энтропией
LLM, такие как ChatGPT и Gemini, обладают впечатляющими способностями рассуждения и ответов, но часто производят «галлюцинации», то есть генерируют ложную или неподтвержденную информацию. Это затрудняет их надежность в критических областях, от права до медицины, где неточности могут иметь серьезные последствия. Усилия по снижению этих ошибок через надзор или укрепление имели ограниченный успех. Подмножество галлюцинаций, называемых «конфабуляциями», включает в себя LLM, дающие произвольные или неправильные ответы на идентичные запросы, такие как различные ответы на медицинский вопрос о Sotorasib. Понимание и решение этих тонких типов ошибок критично для улучшения надежности LLM.
Практические решения:
Исследователи из группы OATML Университета Оксфорда разработали статистический подход для обнаружения конфабуляций в LLM, известный как «семантическая энтропия». Эти ошибки возникают, когда LLM генерируют произвольные и неправильные ответы, часто из-за тонких вариаций во входных данных или случайного семени. Новый метод использует оценщики неопределенности на основе энтропии, фокусируясь на значении, а не на точной формулировке ответов. Путем оценки «семантической энтропии» — неопределенности в смысле сгенерированных ответов — эта техника может определить, когда LLM скорее всего произведут ненадежные результаты. Этот метод не требует знания конкретной задачи или размеченных данных и эффективен для различных наборов данных и приложений. Он повышает надежность LLM, сигнализируя, когда требуется дополнительная осторожность, позволяя пользователям избегать или критически оценивать потенциально конфабулированные ответы.
Значение:
Метод исследователей работает путем кластеризации похожих ответов на основе их значения и измерения энтропии внутри этих кластеров. Если энтропия высока, LLM скорее всего генерируют конфабулированные ответы. Этот процесс улучшает обнаружение семантических несоответствий, которые наивные меры энтропии, учитывающие только лексические различия, могут упустить. Техника была протестирована на различных LLM в различных областях, таких как тривиа, общие знания и медицинские запросы, что продемонстрировало значительное улучшение в обнаружении и фильтрации ненадежных ответов. Кроме того, отказываясь отвечать на вопросы, склонные к высокой энтропии (конфабулированные), метод может повысить общую точность результатов LLM. Эта инновация представляет собой критический прогресс в обеспечении надежности LLM, особенно в генерации свободного текста, где традиционные методы обучения с учителем оказываются недостаточными.
Практическое применение:
Семантическая энтропия — метод обнаружения конфабуляций в LLM путем измерения их неопределенности относительно значения сгенерированных результатов. Эта техника использует предсказательную энтропию и кластеризует сгенерированные последовательности по семантическому эквиваленту с использованием двунаправленного следования. Она вычисляет семантическую энтропию на основе вероятностей этих кластеров, указывая уверенность модели в своих ответах. Путем выборки результатов и их кластеризации семантическая энтропия определяет, когда ответы модели скорее всего произвольны. Этот подход помогает предсказать точность модели, улучшает надежность, выделяя неопределенные ответы, и дает пользователям лучшую оценку уверенности в результатах модели.
Исследование сосредотачивается на выявлении и смягчении конфабуляций — ошибочных или вводящих в заблуждение результатов — генерируемых LLM с помощью метрики «семантическая энтропия». Эта метрика оценивает изменчивость значения различных генераций результатов модели, отличаясь от традиционных мер энтропии, учитывающих только лексические различия. Исследование показывает, что семантическая энтропия, учитывающая согласованное значение несмотря на разнообразные фразы, эффективно выявляет случаи, когда LLM выдают неправильные или вводящие в заблуждение ответы. Семантическая энтропия превзошла базовые методы, такие как наивная энтропия и наблюдаемая регрессия встраивания, на различных наборах данных и размерах моделей, включая модели LLaMA, Falcon и Mistral, превзойдя базовые методы, такие как наивная энтропия и наблюдаемая регрессия встраивания, достигнув значительного AUROC 0,790. Это говорит о том, что семантическая энтропия предоставляет надежный механизм для выявления конфабуляций, даже при сдвигах распределения между обучением и внедрением.
Кроме того, исследование расширяет применение семантической энтропии на более длинные текстовые отрывки, такие как биографические абзацы, путем их разделения на фактические утверждения и оценки согласованности этих утверждений через перефразирование. Этот подход показал, что семантическая энтропия может эффективно выявлять конфабуляции в расширенных текстах, превзойдя простые механизмы самопроверки и адаптируя вероятностные методы. Эти результаты подразумевают, что LLM в своей сущности обладают способностью распознавать свои пробелы в знаниях, но традиционные методы оценки могут лишь частично использовать эту возможность. Таким образом, семантическая энтропия предлагает многообещающее направление для улучшения надежности результатов LLM в сложных и открытых задачах, предоставляя способ оценки и управления неопределенностями в их ответах.
Проверьте статью, проект и GitHub. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.
Если вам понравилась наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 45k+ ML SubReddit.
Попробуйте AI Sales Bot здесь. Этот AI ассистент в продажах помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж и снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru, будущее уже здесь!
«`
