ViLa-MIL: Улучшение классификации изображений слайдов с помощью двойного масштабного обучения с учетом языка и изображений

ViLa-MIL: Enhancing Whole Slide Image Classification with Dual-Scale Vision-Language Multiple Instance Learning

«`html

Классификация изображений всего слайда (WSI) в цифровой патологии

Классификация WSI сталкивается с рядом серьезных проблем из-за их огромного размера и иерархической структуры. Эти изображения содержат миллиарды пикселей, что делает их прямое наблюдение вычислительно неосуществимым.

Проблемы текущих стратегий

Современные методы, основанные на многократном обучении (MIL), эффективны, но требуют больших объемов аннотированных данных, что сложно получить, особенно для редких заболеваний. Также они сталкиваются с проблемами обобщения из-за различий в распределении данных между больницами.

Новые решения

Исследователи из Университета Сиань и других организаций разработали модель, которая эффективно передает знания моделей языка и изображения в цифровую патологию. Эта модель использует текстовые подсказки, специально разработанные для патологии, и обучаемые декодеры для обработки изображений и текста.

Преимущества новой модели

Использует подсказки на двух масштабах для выделения глобальных и клеточных структур опухолей.
Снижает вычислительную сложность и улучшает представление признаков.
Поддерживает обучение с использованием кросс-энтропийной потери для надежной классификации.

Результаты

Модель показывает превосходные результаты на различных наборах данных, значительно превосходя текущие методы. Улучшение точности классификации на 1.7% до 7.2% в AUC и 2.1% до 7.3% в F1-score.

Практическое применение ИИ

Если вы хотите, чтобы ваша компания развивалась с помощью ИИ, используйте ViLa-MIL для улучшения классификации WSI. Анализируйте, как ИИ может изменить вашу работу и определите ключевые показатели эффективности (KPI), которые хотите улучшить.