Обучение большой сверточной нейронной сети для классификации изображений:
Практические решения и ценность:
Исследователи разработали большую сверточную нейронную сеть для классификации 1,2 миллиона изображений высокого разрешения из конкурса ImageNet LSVRC-2010, охватывающих 1 000 категорий. Модель, содержащая 60 миллионов параметров и 650 000 нейронов, достигла впечатляющих результатов с ошибками топ-1 и топ-5 в 37,5% и 17,0% соответственно, значительно превосходя предыдущие методы. Архитектура включает пять сверточных слоев и три полностью связанных слоя, заканчиваясь 1 000-путевым софтмаксом. Ключевые инновации, такие как использование ненасыщающихся нейронов и применение отсева для предотвращения переобучения, позволили эффективное обучение на GPU. Производительность CNN улучшилась в соревновании ILSVRC-2012, достигнув ошибки топ-5 в 15,3%, по сравнению с 26,2% у следующей лучшей модели.
Набор данных и архитектура сети:
Исследователи использовали ImageNet, обширный набор данных, включающий более 15 миллионов изображений высокого разрешения почти 22 000 категорий, все полученные из интернета и помеченные через Mechanical Turk от Amazon. Для вызова ImageNet Large-Scale Visual Recognition Challenge (ILSVRC), начавшегося в 2010 году как часть Pascal Visual Object Challenge, они сосредоточились на подмножестве ImageNet, содержащем около 1,2 миллиона обучающих изображений, 50 000 проверочных изображений и 150 000 тестовых изображений, равномерно распределенных по 1 000 категориям. Для обеспечения одинаковых размеров входных данных для своей CNN все фотографии были изменены до 256 × 256 пикселей путем масштабирования более короткой стороны до 256 и центрального обрезания изображения. Единственный дополнительный предварительный шаг заключался в вычитании средней активности пикселя из каждого изображения, что позволило сети эффективно обучаться на сырых значениях RGB.
Снижение переобучения в нейронных сетях:
Сеть, содержащая 60 миллионов параметров, сталкивается с переобучением из-за недостаточных ограничений обучающих данных. Для решения этой проблемы исследователи применяют две ключевые техники. Во-первых, аугментация данных искусственно увеличивает набор данных через трансляции изображений, отражения и изменения интенсивности RGB с помощью PCA. Этот метод помогает снизить ошибки топ-1 на более чем 1%. Во-вторых, мы используем отсев в полностью связанных слоях, случайно деактивируя нейроны во время обучения, чтобы предотвратить коадаптацию и улучшить устойчивость признаков. Отсев увеличивает количество итераций обучения, но является важным в снижении переобучения без увеличения вычислительных затрат.
Результаты на соревнованиях ILSVRC:
Модель CNN достигла ошибок топ-1 и топ-5 в 37,5% и 17,0% на наборе данных ILSVRC-2010, превзойдя предыдущие методы, такие как разреженное кодирование (47,1% и 28,2%). В соревновании ILSVRC-2012 модель достигла ошибки проверки топ-5 в 18,2%, которая улучшилась до 16,4%, когда предсказания пяти CNN были усреднены. Кроме того, предварительное обучение на наборе данных ImageNet Fall 2011, за которым последовало донастройка, снизило ошибку до 15,3%. Эти результаты значительно превосходят предыдущие методы, использующие плотные признаки, которые сообщали об ошибке теста топ-5 в 26,2%.
Обсуждение:
Большая глубокая сверточная нейронная сеть достигла рекордной производительности на сложном наборе данных ImageNet, с ошибками топ-1 и топ-5 в 37,5% и 17,0% соответственно. Удаление любого сверточного слоя снизило точность примерно на 2%, что демонстрирует важность глубины сети. Хотя неподкрепленное предварительное обучение не использовалось, оно может дополнительно улучшить результаты. Со временем, по мере улучшения аппаратного обеспечения и техник, уровень ошибок снизился в три раза, приближая CNN к производительности на уровне человека. Успех нашей модели спровоцировал широкое принятие глубокого обучения в компаниях, таких как Google, Facebook и Microsoft, революционизируя компьютерное зрение.
