Применение FakeShield: Решение для обнаружения и локализации поддельных изображений с использованием мультимодельных больших языковых моделей
Основные проблемы:
С развитием генеративного искусственного интеллекта стало проще изменять изображения, что затрудняет обнаружение подделок. Существующие методы обнаружения и локализации фальсификаций изображений сталкиваются с проблемами в обобщении и объяснимости. Для решения этих проблем исследователи ищут новые подходы с использованием мультимодальных больших языковых моделей.
Практические решения:
Исследования показывают, что FakeShield превосходит традиционные методы обнаружения фальсификаций изображений. Он использует GPT-4o для создания улучшенного набора данных MMTD-Set, что позволяет более точно обнаруживать и локализовывать различные виды подделок. FakeShield объединяет модули DTE-FDM и MFLM для улучшения точности обнаружения и объяснимости.
Результаты и преимущества:
Эксперименты показывают, что FakeShield превосходит другие методы на различных наборах данных, таких как Photoshop, DeepFake и AIGC-Editing. Использование мультимодальных больших языковых моделей делает FakeShield более надежным и точным в обнаружении различных типов фальсификаций.
