«`html
Индуктивные предпочтения в глубоком обучении: Понимание представления признаков
Исследование машинного обучения направлено на изучение представлений, способных обеспечить эффективное выполнение последующих задач. Возникающее подполе стремится интерпретировать роли этих представлений в поведении модели или изменять их для улучшения соответствия, интерпретируемости или обобщения. Подобно этому, нейронаука изучает нейрональные представления и их поведенческие корреляции. Обе области сосредотачиваются на понимании или улучшении вычислительных систем, абстрактных паттернов поведения в задачах и их реализации. Связь между представлением и вычислением сложна и требует более простого подхода.
Практические решения и ценность
Глубокие сети с высокой переоптимизацией часто обобщаются хорошо, несмотря на их способность к запоминанию, что указывает на неявное индуктивное смещение в пользу простоты их архитектур и динамики обучения на основе градиентов. Сети, смещенные в сторону более простых функций, облегчают обучение более простым функциям, что может повлиять на внутренние представления, даже для сложных функций. Представительные смещения благоприятствуют простым, общим признакам, под влиянием факторов, таких как частота признака и позиция вывода в трансформаторах. Исследование ускоренного обучения и различения представлений подчеркивает, как эти смещения влияют на поведение сети и обобщение.
В данной работе исследователи DeepMind исследуют различия между представлением и вычислением, создавая наборы данных, соответствующие вычислительным ролям признаков при одновременном изменении их свойств. Различные архитектуры глубокого обучения обучаются вычислять несколько абстрактных признаков по входам. Результаты показывают систематические смещения в представлении признаков на основе свойств, таких как сложность признака, порядок обучения и распределение признаков. Простые или рано изученные признаки представлены более сильно, чем сложные или поздно изученные. Эти смещения зависят от архитектур, оптимизаторов и режимов обучения, таких как трансформаторы, благоприятствующие признаки, декодируемые ранее в последовательности вывода.
Их подход включает обучение сетей классифицировать несколько признаков либо через отдельные выходные блоки (например, MLP), либо как последовательность (например, трансформатор). Наборы данных созданы для обеспечения статистической независимости между признаками, и модели достигают высокой точности (>95%) на тестовых наборах, подтверждая правильное вычисление признаков. Исследование изучает, как свойства, такие как сложность признака, распространенность и позиция в последовательности вывода, влияют на представление признаков. Создаются семейства обучающих наборов данных для систематического изменения этих свойств, с соответствующими валидационными и тестовыми наборами данных, обеспечивающими ожидаемое обобщение.
Обучение различных архитектур глубокого обучения для вычисления нескольких абстрактных признаков показывает систематические смещения в представлении признаков. Эти смещения зависят от внешних свойств, таких как сложность признака, порядок обучения и распределение признаков. Простые или рано изученные признаки представлены сильнее, чем сложные или поздно изученные, даже если все они изучены одинаково хорошо. Архитектуры, оптимизаторы и режимы обучения, такие как трансформаторы, также влияют на эти смещения. Эти результаты характеризуют индуктивные предпочтения градиентного представительного обучения и подчеркивают проблемы в различении внешних смещений от вычислительно важных аспектов для интерпретации и сравнения с представлениями мозга.
В данной работе исследователи обучили модели глубокого обучения вычислять несколько входных признаков, выявив существенные смещения в их представлениях. Эти смещения зависят от свойств признаков, таких как сложность, порядок обучения, распространенность в наборе данных и позиция в последовательности вывода. Представительные смещения могут быть связаны с неявными индуктивными предпочтениями в глубоком обучении. Практически это смещения представлений создают трудности для интерпретации изученных представлений и сравнения их между различными системами в области машинного обучения, когнитивной науки и нейронауки.
Проверьте статью. Вся заслуга за это исследование принадлежит исследователям этого проекта. Также не забудьте подписаться на наш Twitter. Присоединяйтесь к нашему каналу в Telegram, Discord и группе в LinkedIn.
Если вам нравится наша работа, вам понравится наша рассылка.
Не забудьте присоединиться к нашему 43 тыс. подпунктов ML SubReddit и ознакомьтесь с нашей платформой AI Events.
Источник: MarkTechPost
Используйте ИИ для расширения своего бизнеса
Если вы хотите, чтобы ваша компания развивалась с помощью искусственного интеллекта (ИИ) и оставалась в числе лидеров, грамотно используйте Inductive Biases in Deep Learning: Understanding Feature Representation.
Проанализируйте, как ИИ может изменить вашу работу. Определите, где возможно применение автоматизации: найдите моменты, когда ваши клиенты могут извлечь выгоду из AI.
Определитесь какие ключевые показатели эффективности (KPI): вы хотите улучшить с помощью ИИ.
Подберите подходящее решение, сейчас очень много вариантов ИИ. Внедряйте ИИ решения постепенно: начните с малого проекта, анализируйте результаты и KPI.
На полученных данных и опыте расширяйте автоматизацию.
Если вам нужны советы по внедрению ИИ, пишите нам на https://t.me/itinai. Следите за новостями о ИИ в нашем Телеграм-канале t.me/itinainews или в Twitter @itinairu45358
Попробуйте AI Sales Bot https://itinai.ru/aisales. Этот AI ассистент в продажах, помогает отвечать на вопросы клиентов, генерировать контент для отдела продаж, снижать нагрузку на первую линию.
Узнайте, как ИИ может изменить ваши процессы с решениями от AI Lab itinai.ru. Будущее уже здесь!
«`
