«`html
Улучшенный параметризация DiNADO для превосходной сходимости и глобальных оптимумов при тонкой настройке
Большие предварительно обученные генеративные трансформеры продемонстрировали исключительную производительность в различных задачах генерации естественного языка, используя большие наборы обучающих данных для захвата логики человеческого языка. Однако адаптация этих моделей для определенных приложений через тонкую настройку представляет существенные вызовы. Эффективность тонкой настройки зависит от размера модели, что делает ее дорогостоящей для исследователей, работающих над крупными моделями. Тонкая настройка на меньших наборах данных представляет риск катастрофического забывания, когда модель переобучается на конкретной области задачи и теряет важные знания, полученные во время предварительного обучения. В связи с этой проблемой навыки рассуждения, такие как композиционная обобщенность и здравый смысл, сталкиваются с проблемами при оценке модели.
Существующие методы
Существующие методы включают prompt-tuning, который предполагает добавление токенов или обучаемых векторов ввода и оптимизацию их встраивания. Этот метод позволяет адаптироваться к новым задачам с минимальными данными, снижая риск катастрофического забывания. Второй метод — это алгоритм NeurAlly-Decomposed Oracles (NADO), который предоставляет золотую середину через более маленькую модель трансформера для управления базовой моделью без изменения ее параметров. Однако остаются вопросы о его оптимальных практиках обучения для существенных распределительных различий и снижения дополнительных затрат, связанных с обучением модуля NADO. Последний метод — это алгоритм GeLaTo, инновационная структура для улучшения авторегрессивной генерации текста путем интеграции управляемых вероятностных моделей (TPM).
Улучшенная параметризация DiNADO
Команда исследователей из Университета Калифорнии в Лос-Анджелесе, Amazon AGI и Samsung Research America представили norm-Disentangled NeurAlly-Decomposed Oracles (DiNADO), улучшенную параметризацию алгоритма NADO. Он улучшает сходимость NADO во время надзорной тонкой настройки и поздних этапов и фокусируется на уникальности глобальных параметрических оптимумов. Эффективность оценки градиента обрабатывается с использованием NADO с разреженными сигналами от функции управляющего сигнала, показывая, как улучшить эффективность выборки и оценки градиента. Более того, естественное сочетание DiNADO с подходами, такими как LoRA, позволяет обновлять базовую модель через контрастную формулировку и улучшает емкость модели NADO, повышая производительность во время вывода.
Оценка DiNADO
DiNADO оценивается по двум основным задачам: формальный машинный перевод (FormalMT) и лексически ограниченная генерация (LCG). Для FormalMT используется формальная ссылка и бинарный классификатор для приближения оценки формальности. Задача LCG использует набор данных CommonGen для оценки способностей композиционной обобщенности и здравого смысла генерации текстовых моделей. Эксперименты разделены на две части:
- Результаты с использованием базового распределения GPT-2-Large, оцененные по качеству генерации и управляемости.
- Исследование эффективности выборки по тому, как различные конструкции и техники переопределения целей улучшают эффективность выборки NADO.
Результаты показывают, что DiNADO-Soft превосходит DiNADO-Hard, поскольку строгая прямая согласованность DiNADO-Hard может повлиять на обучение сигналов оракула. Модули NADO большей емкости предлагают улучшенную гибкость и управляемость с DiNADO-Merge, что показывает более обобщенную производительность. Более того, нормализация DiNADO помогает контролировать регуляризацию ниже 0,5, обеспечивая, что обновления в функции R последовательно улучшают составленное распределение. Это в отличие от ванильного NADO, где расхождение в регуляризационном члене может повлиять на улучшение производительности, подчеркивая превосходство тренировочной динамики DiNADO и эффективности в контролируемых задачах генерации текста.
В заключение
Исследователи представили DiNADO, улучшенную параметризацию алгоритма NADO. Одно из основных преимуществ DiNADO — его совместимость с методами тонкой настройки, такими как LoRA, обеспечивающая емкостный вариант NADO. Более того, исследователи провели теоретический анализ недостатков реализации ванильного NADO и предложили конкретные решения. Эта статья вносит ценные идеи и улучшения в область управляемой генерации языка, потенциально открывая новые пути для более эффективных приложений генерации текста.
«`
