«`html
Эффективное непрерывное обучение для спайковых нейронных сетей с сжатием во временной области
Продвижения в области аппаратного и программного обеспечения позволили интегрировать искусственный интеллект в устройства Интернета вещей (IoT) с низким энергопотреблением, такие как ультранизкопотребляющие микроконтроллеры. Однако развертывание сложных искусственных нейронных сетей на этих устройствах требует применения техник, таких как квантование и обрезка, чтобы соответствовать их ограничениям. Кроме того, модели искусственного интеллекта на краю могут столкнуться с ошибками из-за изменений в распределении данных между обучающей и операционной средами. Кроме того, многие приложения теперь требуют, чтобы алгоритмы искусственного интеллекта адаптировались к индивидуальным пользователям, обеспечивая при этом конфиденциальность и снижение интернет-подключения.
Непрерывное обучение (CL)
Непрерывное обучение — это способность постоянно учиться из новых ситуаций, не теряя при этом никакой информации, которая уже была обнаружена. Лучшие решения CL, известные как методы на основе повторения, уменьшают вероятность забывания, постоянно обучая ученика новыми данными и примерами из ранее полученных задач. Однако этот подход требует больше места для хранения на устройстве. Возможен компромисс в точности с подходами без повторения, которые зависят от конкретных настроек архитектуры сети или стратегии обучения, чтобы сделать модели устойчивыми к забыванию без хранения образцов на устройстве. Несколько моделей искусственных нейронных сетей, таких как сверточные нейронные сети (CNN), требуют больших объемов хранения на устройстве для сложных данных обучения, что может осложнить CL на краю, особенно подходы на основе повторения.
Спайковые нейронные сети (SNN)
Спайковые нейронные сети (SNN) представляют собой потенциальную парадигму для энергоэффективной обработки временных рядов благодаря их высокой точности и эффективности. Обменивая информацию в виде спайков, которые представляют собой кратковременные дискретные изменения потенциала мембраны нейрона, SNN имитируют активность органических нейронов. Эти спайки могут быть легко записаны как 1-битные данные в цифровых структурах, открывая возможности для создания решений CL. Использование онлайн-обучения в программном и аппаратном обеспечении SNN изучалось, но исследование методов CL в SNN с использованием подходов без повторения ограничено.
Новое исследование
Новое исследование команды из Университета Болоньи, Политехнического университета Турина, ETH Цюриха представляет передовую реализацию метода CL на основе повторения для SNN, который эффективен по памяти и разработан для беспрепятственной работы с устройствами с ограниченными ресурсами. Исследователи используют метод на основе повторения, а именно скрытую повторную подачу (LR), чтобы обеспечить CL на SNN. LR — это метод, который хранит подмножество прошлых опытов и использует их для обучения сети на новых задачах. Этот алгоритм доказал свою способность достигать передовой точности классификации на CNN. Используя устойчивое кодирование информации SNN для снижения точности, они применяют потери сжатия по временной оси, что является новым способом уменьшения памяти повторения.
Подход команды не только надежен, но и впечатляюще эффективен. Они используют две популярные конфигурации CL, Sample-Incremental и Class-Incremental CL, чтобы протестировать свой подход. Они нацеливаются на приложение распознавания ключевых слов с использованием рекуррентной SNN. Обучая десять новых классов на основе изначального набора из 10 предварительно изученных, они тестируют предложенный подход в обширной процедуре Multi-Class-Incremental CL, чтобы продемонстрировать его эффективность. На тестовом наборе данных Spiking Heidelberg Dataset (SHD) их подход достиг точности Top-1 в 92,46% в распределении Sample-Incremental, при этом требуется 6,4 МБ данных LR. Это происходит при добавлении нового сценария, улучшая точность на 23,64%, сохраняя все ранее изученные. При обучении нового класса с точностью 92,50% в распределении Class-Incremental метод достигает точности Top-1 в 92% при потреблении 3,2 МБ данных, с потерей до 3,5% на предыдущих классах. Путем комбинирования сжатия с выбором лучшего индекса LR, память, необходимая для данных повторения, была уменьшена в 140 раз, с потерей точности всего до 4% по сравнению с наивным методом. Кроме того, при обучении набора из 10 новых ключевых слов в распределении Multi-Class-Incremental команда достигла точности 78,4% с использованием сжатых данных повторения. Эти результаты заложили основу нового метода CL на краю, который одновременно энергоэффективен и точен.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему Telegram-каналу и группе LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 46k+ ML SubReddit
Статья опубликована на портале MarkTechPost.
«`
