Мультицелевая оптимизация в машинном обучении
Мультицелевая оптимизация (MOO) играет ключевую роль в машинном обучении, позволяя исследователям балансировать несколько противоречивых целей в реальных приложениях. Это важно в робототехнике, классификации по справедливости и системах рекомендаций. В таких областях критически важно учитывать компромиссы между показателями производительности, такими как скорость по сравнению с энергоэффективностью в робототехнике или справедливость по сравнению с точностью в моделях классификации. Для решения этих сложных задач необходимы техники оптимизации, которые одновременно учитывают различные цели, обеспечивая учет каждого фактора в процессе принятия решений.
Проблемы мультицелевой оптимизации
Одной из основных проблем мультицелевой оптимизации является необходимость в масштабируемых методах для эффективной работы с большими моделями, содержащими миллионы параметров. Традиционные подходы, в частности, эволюционные алгоритмы, испытывают трудности при работе с масштабными задачами машинного обучения. Эти методы часто не используют информацию, основанную на градиентах, что критично для оптимизации сложных моделей. Без градиентной оптимизации увеличивается вычислительная нагрузка, что делает почти невозможным решение проблем, связанных с глубокими нейронными сетями или другими крупными моделями.
LibMOON: новая библиотека для мультицелевой оптимизации
Группа исследователей из City University of Hong Kong, SUSTech, HKBU и UIUC представили LibMOON — новую библиотеку, которая решает эту проблему, предоставляя градиентно-ориентированный фреймворк для мультицелевой оптимизации. Реализованная в PyTorch, LibMOON разработана для более эффективной оптимизации крупномасштабных моделей машинного обучения по сравнению с предыдущими методами. Библиотека поддерживает более двадцати передовых методов оптимизации и предлагает ускорение с использованием GPU, что делает ее высокоэффективной для крупномасштабных задач.
Применение LibMOON
Ключевые функциональные возможности LibMOON лежат в трех категориях решателей: мультицелевые оптимизационные решатели (MOO), решатели обучения множества Парето (PSL) и решатели мультицелевой байесовой оптимизации (MOBO). Каждая из этих категорий решателей модульна и позволяет легко интегрировать новые методы, что делает LibMOON высокоприспособляемым. Решатели MOO сосредотачиваются на поиске конечного множества Парето-оптимальных решений. В отличие от этого, решатели PSL стремятся представить все множество Парето с использованием одной нейронной модели. Решатель MOBO разработан для обработки дорогостоящих задач оптимизации, в которых оценка целевых функций затратна.
Выдающиеся результаты LibMOON
LibMOON показывает замечательную производительность при решении различных задач оптимизации. Например, при тестировании на синтетических задачах, таких как VLMOP2, градиентно-ориентированные решатели библиотеки достигли лучших показателей гиперобъема (HV) по сравнению с традиционными эволюционными подходами. Числовые результаты показывают, что методы, такие как Agg-COSMOS и Agg-SmoothTche, достигли высоких значений гиперобъема. Кроме того, методы PSL продемонстрировали свою эффективность при решении задач многозадачного обучения, эффективно изучая все множество Парето. Библиотека также поддерживает реальные приложения, такие как классификация по справедливости и задачи мультицелевого машинного обучения.
Заключение
LibMOON представляет собой надежное градиентно-ориентированное решение для мультицелевой оптимизации, решая ключевые ограничения существующих методов. Библиотека является модульной, поддерживает ускорение с использованием GPU и обладает обширной поддержкой передовых методов, что обеспечивает ее статус стандарта для мультицелевой оптимизации.
