«`html
Гармоники обучения: математическая теория возникновения фурье-признаков в системах обучения, таких как нейронные сети
Искусственные нейронные сети (ИНС) проявляют замечательные закономерности при обучении на естественных данных независимо от точного инициализации, набора данных или цели обучения; модели, обученные на одной и той же области данных, сходятся к схожим обученным закономерностям. Например, для различных моделей изображений начальные веса слоев имеют тенденцию сходиться к габоровским фильтрам и детекторам цветово-контрастных соотношений. Многие такие характеристики указывают на глобальное представление, выходящее за пределы биологических и искусственных систем, и эти характеристики наблюдаются в зрительной коре. Эти результаты практичны и хорошо зарекомендовали себя в области машин, способных интерпретировать литературу, но лишенных теоретических объяснений.
Локализованные версии канонических двумерных базисных функций Фурье наиболее часто встречаются в моделях изображений, например, габоровские фильтры или вейвлеты. При обучении моделей зрения на задачах, таких как эффективное кодирование, классификация, временная согласованность и прогноз следующего шага, эти фурье-признаки возникают в начальных слоях модели. Кроме того, нелокализованные фурье-признаки наблюдались в сетях, обученных для решения задач, где допускается циклическое заворачивание, например, модульная арифметика, более общие композиции групп или инвариантность к группе циклических трансляций.
Исследователи из КТХ, Центра теоретической нейронауки Редвуд и Университета Калифорнии в Санта-Барбаре представили математическое объяснение возникновения фурье-признаков в системах обучения, таких как нейронные сети. Это возникновение обусловлено нижестоящей инвариантностью обучающей системы, которая становится нечувствительной к определенным преобразованиям, например, плоским трансляциям или вращениям. Команда вывела теоретические гарантии относительно фурье-признаков в инвариантных обучающих системах, которые могут быть использованы в различных моделях машинного обучения. Это вывод основан на концепции, что инвариантность является фундаментальным предубеждением, которое может быть неявно и порой явно внедрено в обучающие системы из-за симметрий в естественных данных.
Стандартное дискретное преобразование Фурье является частным случаем более общих преобразований Фурье на группах, которые могут быть определены путем замены базиса гармоник различными унитарными представлениями группы. Набор предыдущих теоретических работ сформирован для моделей разреженного кодирования, выведены условия, при которых разреженные линейные комбинации используются для восстановления исходных баз, генерирующих данные, с помощью сети. Предложенная теория охватывает различные ситуации и архитектуры нейронных сетей, что помогает заложить основу для теории обучения представлений в искусственных и биологических нейронных системах.
Команда представила две неформальные теоремы в этой статье. Первая утверждает, что если параметрическая функция определенного вида инвариантна к входной переменной к действию конечной группы G, то каждый компонент ее весов W совпадает с гармоникой G с точностью до линейного преобразования. Вторая теорема утверждает, что если параметрическая функция практически инвариантна к G согласно некоторым функциональным ограничениям и веса ортонормированы, то мультипликативная таблица G может быть восстановлена из W. Более того, модель реализуется для удовлетворения потребностей предложенной теории и обучается через различное обучение на цели, поддерживающие инвариантность и извлечение мультипликативной таблицы G из ее весов.
В заключение, исследователи представили математическое объяснение возникновения фурье-признаков в системах обучения, таких как нейронные сети. Они также доказали, что если модель машинного обучения определенного вида инвариантна к конечной группе, то ее веса тесно связаны с преобразованием Фурье на этой группе, и алгебраическая структура неизвестной группы может быть восстановлена из инвариантной модели. Будущая работа включает изучение аналогов предложенной теории на действительных числах, что является интересной областью, которая будет более соответствовать текущим практикам в области.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, каналу в Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему подпреддиту по машинному обучению с более чем 42 тыс. подписчиков.
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Harmonics of Learning: A Mathematical Theory for the Rise of Fourier Features in Learning Systems Like Neural Networks.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru будущее уже здесь!