«`html
Недавние достижения в области генерации видео
Последние достижения в области генерации видео были обусловлены обучением больших моделей на обширных наборах данных, применением техник добавления слоев к существующим моделям и совместного обучения. Некоторые подходы используют многоступенчатые процессы, объединяя базовые модели с интерполяцией кадров и супер-разрешением. Video Super-Resolution (VSR) улучшает видео низкого разрешения, а новые техники используют разнообразные модели деградации для лучшего имитирования реальных данных. Space-Time Video Super-Resolution (STVSR) нацелена на улучшение как четкости, так и частоты кадров, хотя многие методы все еще испытывают трудности с реалистичными текстурными деталями. Эти разработки выталкивают границы улучшения качества видео и возможностей их генерации.
Недавние достижения в видеотехнологиях
Недавние достижения в области видеотехнологий включают VEnhancer, новый инструмент, улучшающий видео низкого качества путем улучшения деталей и движения. Он использует специализированную пространственно-временную видеомодель для решения распространенных проблем, таких как размытость и мерцание. Обученная модель VEnhancer продемонстрировала превосходную производительность по сравнению с другими методами, внося значительный вклад в лидирующие результаты бенчмарка популярного инструмента для генерации видео.
Исследования и разработки
Исследователи из Китайского университета Гонконга, Шанхайской лаборатории искусственного интеллекта и S-Lab Технологического университета Наньян идентифицировали ключевые проблемы в улучшении и генерации видео. Недавние достижения в этой области были обусловлены улучшениями моделей текст-в-изображение и больших наборов данных текст-в-видео, позволяющих создавать видео из текстовых описаний. Хотя каскадные конвейеры, объединяющие различные модели супер-разрешения, распространены, они сталкиваются с проблемами, такими как избыточность и недостаточная гибкость. Существующие модели на основе диффузии испытывают трудности с обобщением и приспособлением к различным видеосценариям. Эти ограничения подчеркивают необходимость интегрированного решения, такого как VEnhancer, для эффективного улучшения качества видео по нескольким измерениям одновременно, учитывая как пространственные, так и временные аспекты в едином подходе.
Практические решения и ценность
Обучение и оценка
Исследователи собрали около 350 000 видеороликов высокого качества из Интернета для обучения, обработанных с разрешением 720 × 1280 и 24 FPS. Они создали тестовый набор данных AIGC2023, включающий разнообразные сгенерированные видео от передовых методов текст-в-видео. Оценка использовала метрики нереферентного IQA и VQA (MUSIQ, DOVER) и бенчмарк VBench. Обучение проводилось с использованием размера пакета 256, оптимизатора AdamW, скорости обучения 10^-5 и отсева текстовой подсказки на 10% в течение четырех дней на 16 графических процессорах NVIDIA A100. Вывод включал 50 шагов выборки DDIM с руководством без классификатора. Пространственное-временное увеличение данных и обучаемая видеосеть ControlNet были реализованы для улучшения устойчивости модели и производительности в различных входных условиях.
Интеграция и оценка VEnhancer
VEnhancer успешно интегрировало пространственное супер-разрешение, временное супер-разрешение и улучшение видео в единый фреймворк, используя предварительно обученную модель диффузии видео и обучаемую видеосеть ControlNet. Обширные эксперименты продемонстрировали его превосходную производительность по сравнению с передовыми методами супер-разрешения видео и пространственно-временного супер-разрешения, значительно улучшая видео, созданные с использованием искусственного интеллекта. VEnhancer поднял VideoCrafter-2 на первое место в бенчмарке генерации видео VBench. Оценка с использованием метрик IQA и VQA (MUSIQ, DOVER) подтвердила его эффективность. Однако были выявлены ограничения, включая более длительное время вывода по сравнению с одношаговыми методами и трудности в поддержании долгосрочной последовательности для видео продолжительностью более 10 секунд. Модель, обученная на 350 000 видеороликах высокого качества, продемонстрировала надежную производительность на разнообразном тестовом наборе данных AIGC2023, подчеркивая ее потенциал для улучшения технологии улучшения видео.
Заключение
VEnhancer является значительным прорывом в технологии улучшения видео путем внедрения единого генеративного пространственно-временного метода улучшения. Этот новаторский подход эффективно объединяет пространственное и временное супер-разрешение с улучшением видео, используя предварительно обученную модель диффузии видео и обучаемую видеосеть ControlNet. Фреймворк демонстрирует превосходную производительность по сравнению с существующими передовыми методами, заметно поднимая VideoCrafter-2 на первое место в бенчмарке генерации видео VBench. Хотя VEnhancer проявляет впечатляющие возможности в улучшении качества видео, он также выявляет области для будущего улучшения, такие как оптимизация времени вывода и улучшение долгосрочной последовательности для продолжительных видео. Эти результаты не только подчеркивают текущий потенциал VEnhancer, но также освещают многообещающие направления для будущих исследований в быстро развивающейся области генерации и улучшения видео.
Ссылки и контакты
Посмотрите статью, GitHub и проект. Все заслуги за это исследование принадлежат его исследователям. Также не забудьте подписаться на наш Twitter и присоединиться к нашему каналу в Telegram и группе в LinkedIn. Если вам нравится наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему подпишитесь на ML SubReddit.
Найдите предстоящие вебинары по ИИ здесь.
Новости и решения от AI Lab itinai.ru
Arcee AI выпустил DistillKit: Open Source инструмент, упрощающий дистилляцию моделей для создания эффективных малых языковых моделей высокой производительности.
Статья VEnhancer: A Generative Space-Time Enhancement Method for Video Generation была опубликована на MarkTechPost.