«`html
Улучшение обобщающей способности в методах сопоставления изображений
Техники сопоставления локальных особенностей помогают определять мелкие визуальные сходства между изображениями. Однако многие модели, сфокусированные на конкретных визуальных областях с большим объемом обучающих данных, показывают более низкую производительность на данных вне области, по сравнению с традиционными методами. Важно разработать архитектурное усовершенствование для обобщения методов сопоставления, учитывая высокую стоимость сбора высококачественной аннотации.
Обзор современных методов сопоставления изображений
До широкого распространения глубокого обучения многие исследования сосредотачивались на разработке обобщаемых моделей локальных особенностей. Например, SIFT, SURF и ORB широко используются для задач сопоставления изображений в различных областях. Кроме того, Sparse Learnable Matching методы, такие как SuperGlue, используют SuperPoint для обнаружения ключевых точек и применяют механизм внимания для внутри- и межизображенческого распространения особенностей ключевых точек. Еще один метод, Dense image matching, обучает описатели изображений и модуль сопоставления для выполнения сопоставления пиксельно по всему входному изображению.
OmniGlue: новый обучаемый сопоставитель изображений
Исследователи из Университета Техаса в Остине и Google Research представили OmniGlue, первый обучаемый сопоставитель изображений, разработанный с обобщением в качестве основополагающего принципа. Для улучшения обобщающих свойств слоев сопоставления были предложены две техники: руководство основной моделью и руководство вниманием к положению ключевых точек. OmniGlue использует эти техники для лучшего обобщения в области данных вне распределения, не затрагивая производительность на исходной области. Для разработки предложенного метода используется основная модель DINO, которая хорошо показывает себя в области разнообразных изображений.
Результаты и выводы
Эксперименты показали, что OmniGlue превосходит базовый метод SuperGlue в области внутридоменных данных и также демонстрирует лучшее обобщение. В отличие от SuperGlue, OmniGlue показывает сильную обобщающую способность и улучшение производительности при переносе на другие области на 12,3% и 15% соответственно.
Используйте преимущества ИИ для вашего бизнеса
Если вы хотите использовать преимущества искусственного интеллекта для развития вашего бизнеса, обратитесь к нам для консультации. Используйте AI Sales Bot для улучшения ваших продаж и следите за новостями в области ИИ в наших социальных сетях.
Больше информации и новостей о ИИ вы можете найти на нашем Telegram-канале и в Twitter @itinairu45358.
«`
