«`html
Превосходство в области генеративных моделей искусственного интеллекта через низкотемпературный отбор и разнообразные данные
Генеративные модели разработаны для воспроизведения узоров в данных, на которых они обучены, обычно отражая человеческие действия и результаты. Поскольку эти модели учатся минимизировать различия между своими прогнозами и данными, созданными людьми, они стремятся соответствовать качеству человеческой экспертизы в различных задачах, таких как ответы на вопросы или создание искусства. Возникает вопрос: могут ли эти модели превзойти умения экспертов, на которых они учатся, учитывая, что их цель — лишь имитировать человеческую производительность, а не инновировать за её пределами?
Исследователи из Гарвардского университета, Университета Калифорнии в Санта-Барбаре, Apple, Института Кемпнера, Принстонского университета и Google DeepMind исследовали «трансценденцию» в генеративных моделях, где модель превосходит возможности своих экспертных источников данных. Используя авторегрессионный трансформер, обученный на транскриптах шахматных партий, они продемонстрировали, что модель может превзойти максимальный рейтинг игроков в наборе данных с помощью низкотемпературного отбора. Этот процесс соответствует «мудрости толпы», где коллективное принятие решений разнообразных экспертов часто превосходит индивидуальную производительность. Исследование предоставляет теоретические основы и эмпирические доказательства того, что такие генеративные модели могут улучшать производительность.
Шахматы были важным элементом развития искусственного интеллекта с момента его возникновения, с ранними исследованиями Клода Шенона и Алана Тьюринга. Игра продолжает вдохновлять новые достижения, что привело к поражению чемпиона мира Гарри Каспарова компьютером Deep Blue от IBM в 1997 году и доминированию подхода AlphaZero, основанного на RL, над предыдущими движками, такими как Stockfish. Исследование связано с исследованиями разнообразия в области искусственного интеллекта, показывая, что модели, обученные на разнообразных наборах данных, превосходят индивидуальные экспертные модели через ансамблевые методы и низкотемпературный отбор.
Трансценденция в генеративных моделях происходит, когда модель превосходит экспертов, на которых она обучалась. Это математически определяется путем сравнения средней награды модели на тестовом распределении с наградами экспертов. Низкотемпературный отбор является ключевым фактором, позволяющим достигнуть трансценденции, концентрируя вероятностную массу на действиях с высокой наградой, эффективно имитируя большинственное голосование среди прогнозов экспертов. Этот эффект фильтрации шума может превзойти индивидуальную экспертную производительность, особенно в условиях, где есть несколько экспертов, преуспевающих в различных областях. Кроме того, даже шумный эксперт может достичь трансценденции через тщательный отбор, подчеркивая оптимальные результаты эксперта.
Для оценки теоретических результатов трансценденции в моделях игры в шахматы были обучены различные авторегрессионные трансформерные модели на наборе данных из одного миллиарда игр с сайта lichess.org. Модели, работающие без прямого доступа к состоянию доски, были протестированы против шахматного движка Stockfish при различных настройках отбора температуры. Результаты показали, что низкотемпературный отбор значительно улучшил игру модели, улучшив выбор ходов в критических состояниях игры. Исследование выявило, что модели, обученные на более разнообразных наборах данных, таких как те с более низкими рейтинговыми ограничениями, лучше преодолевали свои обучающие ограничения, подчеркивая важность разнообразия набора данных для достижения трансценденции.
В заключение, исследование представляет концепцию трансценденции, где генеративные модели, обученные на экспертных данных, превосходят лучших индивидуальных экспертов. Теоретический анализ показывает, что низкотемпературный отбор достигает трансценденции путем фильтрации экспертных предубеждений и консолидации разнообразных знаний, подтвержденных через обучение модели игры в шахматы. Исследование подчеркивает важность разнообразия набора данных для трансценденции и предлагает будущие исследования в других областях, таких как обработка естественного языка и компьютерное зрение для оценки обобщаемости. Также отмечаются этические соображения при внедрении генеративных моделей и их более широкое влияние, отмечая, что исследование не подразумевает, что модели могут создавать новые решения за пределами возможностей человеческих экспертов.
Ознакомьтесь с статьей. Вся заслуга за это исследование принадлежит его ученым. Также не забудьте подписаться на наш Twitter.
Присоединяйтесь к нашему каналу в Telegram и группе в LinkedIn.
Если вам понравилась наша работа, вам понравится наш новостной бюллетень.
Не забудьте присоединиться к нашему субреддиту с более чем 44 тыс. подписчиков.
Пост опубликован на портале MarkTechPost.
«`
