«`html
LLM-CI: Новый фреймворк машинного обучения для оценки норм конфиденциальности, закодированных в LLM
Большие языковые модели (LLM) широко применяются в социотехнических системах, таких как здравоохранение и образование. Однако эти модели часто закодируют общественные нормы из данных, используемых во время обучения, вызывая опасения относительно их соответствия ожиданиям конфиденциальности и этического поведения. Центральная проблема заключается в обеспечении соответствия этих моделей общественным нормам в различных контекстах, архитектурах моделей и наборах данных. Кроме того, чувствительность к запросам, при которой небольшие изменения во входных запросах приводят к различным ответам, усложняет оценку того, насколько LLM надежно закодируют эти нормы. Решение этой проблемы критически важно для предотвращения этических проблем, таких как непреднамеренные нарушения конфиденциальности в чувствительных областях.
Оценка LLM
Традиционные методы оценки LLM фокусируются на технических возможностях, таких как связность и точность, пренебрегая закодированием общественных норм. Некоторые подходы пытаются оценить нормы конфиденциальности с использованием конкретных запросов или наборов данных, но они часто не учитывают чувствительность к запросам, что приводит к ненадежным результатам. Кроме того, вариации гиперпараметров модели и стратегий оптимизации, такие как емкость, выравнивание и квантование, редко учитываются, что приводит к неполным оценкам поведения LLM. Эти ограничения создают пробел в оценке этического соответствия LLM общественным нормам.
Фреймворк LLM-CI
Команда исследователей из Университета Йорка и Университета Ватерлоо представляет LLM-CI, новый фреймворк, основанный на теории Контекстуальной Целостности (CI), для оценки того, как LLM кодируют нормы конфиденциальности в различных контекстах. Он использует множественную стратегию оценки запросов для уменьшения чувствительности к запросам, выбирая запросы, которые дают согласованные результаты в различных вариантах. Это обеспечивает более точную оценку соблюдения норм в различных моделях и наборах данных. Подход также включает реальные виньетки, представляющие конфиденциальные ситуации, обеспечивая тщательную оценку поведения модели в различных сценариях. Этот метод значительно продвигает понимание того, насколько хорошо LLM соответствуют общественным нормам, особенно в чувствительных областях, таких как конфиденциальность.
Результаты оценки
LLM-CI продемонстрировал значительное улучшение в оценке того, как LLM кодируют нормы конфиденциальности в различных контекстах. Применение множественной стратегии оценки запросов привело к более последовательным и надежным результатам, чем методы с одиночными запросами. Модели, оптимизированные с использованием стратегий выравнивания, показали до 92% контекстной точности в соблюдении норм конфиденциальности. Кроме того, новый подход к оценке привел к увеличению согласованности ответов на 15%, подтверждая, что настройка свойств модели, таких как емкость, и применение стратегий выравнивания значительно улучшили способность LLM соответствовать общественным ожиданиям. Это подтвердило надежность LLM-CI в оценке соблюдения норм.
Применение в бизнесе
LLM-CI предлагает всесторонний и надежный подход для оценки того, как LLM кодируют нормы конфиденциальности с использованием множественной стратегии оценки запросов. Он обеспечивает надежную оценку поведения модели в различных наборах данных и контекстах, решая проблему чувствительности к запросам. Этот метод значительно продвигает понимание того, насколько хорошо LLM соответствуют общественным нормам, особенно в чувствительных областях, таких как конфиденциальность. Улучшая точность и последовательность ответов модели, LLM-CI представляет важный шаг к этическому применению LLM в реальных приложениях.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на нас в Twitter и присоединиться к нашему Telegram-каналу и группе LinkedIn. Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему сообществу более чем 50 тыс. подписчиков на ML SubReddit
БЕСПЛАТНЫЙ ВЕБИНАР ПО ИСКУССТВЕННОМУ ИНТЕЛЛЕКТУ: «SAM 2 для видео: как настроить на ваши данные» (Ср, 25 сентября, 4:00 — 4:45 EST)
«`
