«`html
DaRec: Новая универсальная система выравнивания для LLM и коллаборативных моделей
Системы рекомендаций приобрели значительное значение в различных областях применения, и алгоритмы на основе глубоких нейронных сетей проявили впечатляющие возможности. Однако их применение сталкивается с двумя основными проблемами: высокими вычислительными требованиями и игнорированием коллаборативных сигналов. Недавние исследования сосредоточились на методах семантической выравнивания для передачи знаний от LLM к коллаборативным моделям. Однако существует значительный семантический разрыв из-за разнообразия взаимодействий в коллаборативных моделях по сравнению с естественным языком, используемым в LLM. Попытки устранить этот разрыв через контрастное обучение показали ограничения, которые могут внести шум и ухудшить производительность рекомендаций.
Графовые нейронные сети (GNN) в рекомендательных системах
Графовые нейронные сети (GNN) получили признание в рекомендательных системах, особенно для коллаборативной фильтрации. Однако они сталкиваются с проблемами от шумных неявных отзывов. Для их устранения используются методы самообучения, такие как контрастное обучение, с подходами, такими как SGL, LightGCL и NCL, показывающими улучшенную устойчивость и производительность. LLM привлекли внимание в рекомендациях, и исследователи исследуют способы интеграции их мощных представлений. Исследования, такие как RLMRec, ControlRec и CTRL, используют контрастное обучение для выравнивания встраиваний коллаборативной фильтрации с семантическими представлениями LLM.
DaRec: уникальная система выравнивания для модели рекомендаций и LLM
Исследователи из Национального университета оборонной техники, Чанша, Baidu Inc, Пекин, и Anhui Province Key Laboratory of the University of Science and Technology of China представили уникальную систему выравнивания для модели рекомендаций и LLM (DaRec), уникальную систему, решающую ограничения интеграции LLM с рекомендательными системами. Она состоит из трех ключевых компонентов: разделение представлений на общие и специфические компоненты для снижения шума, использование функций потерь для поддержания информативности представлений и реализация стратегии структурного выравнивания на локальном и глобальном уровнях для эффективной передачи семантических знаний.
Преимущества DaRec
DaRec превзошла традиционные методы коллаборативной фильтрации и LLM-усовершенствованные подходы к рекомендациям на трех наборах данных (Amazon-book, Yelp, Steam) по нескольким метрикам (Recall@K, NDCG@K). Например, на наборе данных Yelp DaRec улучшила результаты в сравнении со вторым лучшим методом (AutoCF) на 3,85%, 1,57%, 3,15% и 2,07% соответственно.
Анализ гиперпараметров показал оптимальную производительность с числом кластеров K в диапазоне [4,8], параметром λ в диапазоне [0,1, 1,0] и размером выборки N̂ равным 4096. Экстремальные значения этих параметров приводили к снижению производительности.
Визуализация t-SNE показала, что DaRec успешно захватила скрытые интересные кластеры в предпочтениях пользователей.
В целом, DaRec продемонстрировала превосходную производительность по сравнению с существующими методами, проявив устойчивость при различных значениях гиперпараметров и успешно захватив структуры интересов пользователей.
Заключение
Это исследование представляет DaRec, уникальную систему выравнивания для интеграции LLM с коллаборативными моделями в рекомендательных системах. Основываясь на теоретическом анализе, показывающем, что точное выравнивание представлений может быть неоптимальным, DaRec разделяет представления на общие и специфические компоненты и реализует стратегию выравнивания структуры на глобальном и локальном уровнях. Авторы предоставляют теоретическое доказательство того, что их метод создает представления с более актуальной и менее неактуальной информацией для задач рекомендаций. Обширные эксперименты на эталонных наборах данных демонстрируют превосходную производительность DaRec по сравнению с существующими методами, представляя значительный прогресс в интеграции LLM с моделями коллаборативной фильтрации.
«`
