«`html
Недавние достижения в моделях диффузии значительно улучшили задачи, такие как генерация изображений, видео и 3D-моделей, с использованием предварительно обученных моделей, таких как Stable Diffusion.
Решение для улучшения моделей диффузии
Существующие подходы к тонкой настройке Additive, Reparameterized и Selective-based имеют ограничения, такие как увеличение задержки, переобучение или сложный выбор параметров. Предлагается использовать «временно неэффективные» параметры — те, которые имеют минимальное текущее влияние, но потенциал для изучения новой информации — путем их повторного активирования для улучшения генеративных возможностей модели без недостатков существующих методов.
Исследователи из Шанхайского Университета Цзяотун и Youtu Lab, Tencent, предлагают метод SaRA для тонкой настройки предварительно обученных моделей диффузии. SaRA повторно использует «временно неэффективные» параметры с малыми абсолютными значениями, оптимизируя их с использованием разреженных матриц и сохраняя предыдущие знания. Низкоранговая схема обучения на основе ядерной нормы и стратегия прогрессивной настройки параметров используются для предотвращения переобучения. Неструктурированная обратная связь SaRA снижает затраты на память на 40% по сравнению с LoRA. Эксперименты на моделях Stable Diffusion показывают превосходную производительность SaRA по различным задачам, требуя только одной строки изменения кода для внедрения.
Метод SaRA значительно улучшает генеративные возможности в задачах, таких как трансфер домена и редактирование изображений, превосходя методы, такие как LoRA. Он требует всего одной строки кодовой модификации для легкой интеграции, демонстрируя превосходную производительность на моделях, таких как Stable Diffusion 1.5, 2.0 и 3.0 в нескольких приложениях.
«`
