Knowledge graphs (KGs) — Знание графы
Знание графы — это структурированные представления фактов, состоящие из сущностей и связей между ними. Они являются ключевыми в искусственном интеллекте, обработке естественного языка и системах рекомендаций. Организуя данные таким образом, знание графы позволяют машинам понимать и рассуждать о мире более эффективно. Эта способность к рассуждению критически важна для прогнозирования отсутствующих фактов или выводов на основе существующих знаний. Знание графов применяются во многих приложениях, начиная от поисковых систем до виртуальных помощников, где способность к логическим выводам из взаимосвязанных данных имеет важное значение.
Вызовы и решения
Одной из основных проблем с знаниевыми графами является их частичная заполненность. Многие реальные знаниевые графы нуждаются в важных связях, что затрудняет системам вывод новых фактов или генерацию точных прогнозов. Информационные пробелы мешают общему процессу рассуждения, и традиционные методы часто нуждаются в помощи для решения этой проблемы.
Существующие подходы к решению этих проблем включают методы на основе вложений, которые преобразуют сущности и отношения знаниевого графа в низкоразмерное пространство. Такие методы, как TransE, DistMult и RotatE, успешно сохранили структуру знаниевых графов и позволили проводить рассуждения. Однако у моделей на основе вложений есть ограничения. Они часто не справляются с индуктивными сценариями, где требуется рассуждать о новых, невидимых сущностях или отношениях, поскольку не могут эффективно использовать локальные структуры в графе.
Исследователи из Лаборатории Чжунгуаньцун, Университета Бейханг и Технологического университета Наньян ввели новую модель KnowFormer, которая использует архитектуру трансформера для улучшения рассуждений о знаниевых графах. Эта модель сдвигает фокус с традиционных методов на основе путей и вложений к подходу, ориентированному на структуру. KnowFormer использует механизм самовнимания трансформера, который позволяет анализировать отношения между любой парой сущностей в знаниевом графе. Эта архитектура делает его высокоэффективным в решении ограничений моделей на основе путей, позволяя модели проводить рассуждения даже в случаях отсутствия или частичности путей.
Модель KnowFormer включает как функцию запроса, так и функцию значения для генерации информативных представлений сущностей. Функция запроса помогает модели идентифицировать соответствующие пары сущностей, анализируя структуру знаниевого графа, в то время как функция значения кодирует структурную информацию, необходимую для точного рассуждения. Этот механизм двойной функции позволяет KnowFormer эффективно обрабатывать сложность крупномасштабных знаниевых графов. Исследователи предложили метод приближения для улучшения масштабируемости модели. KnowFormer может обрабатывать знаниевые графы с миллионами фактов, сохраняя низкую временную сложность, что позволяет эффективно обрабатывать крупные наборы данных, такие как FB15k-237 и YAGO3-10.
В плане производительности KnowFormer продемонстрировал свою превосходство на ряде бенчмарков. Например, на наборе данных FB15k-237 модель достигла среднего взаимного ранга (MRR) 0.417, значительно превосходя другие модели, такие как TransE (MRR: 0.333) и DistMult (MRR: 0.330). Аналогично, на наборе данных WN18RR KnowFormer достиг MRR 0.752, превосходя базовые методы, такие как DRUM и SimKGC. Производительность модели была впечатляющей также на наборе данных YAGO3-10, где был зафиксирован показатель Hits@10 в 73.4%, превосходя результаты ведущих моделей в области. KnowFormer также показал исключительную производительность в задачах индуктивного рассуждения, где достиг MRR 0.827 на наборе данных NELL-995, значительно превзойдя результаты существующих методов.
В заключение, KnowFormer, отходя от чисто путевых методов и методов на основе вложений, исследователи разработали модель, использующую архитектуру трансформера для улучшения способностей к рассуждениям. Механизм внимания KnowFormer, в сочетании с его масштабируемым дизайном, делает его высокоэффективным в решении проблем отсутствующих путей и сжатия информации. С превосходной производительностью по многим наборам данных, включая MRR 0.417 на FB15k-237 и MRR 0.752 на WN18RR, KnowFormer утвердил себя как передовая модель в рассуждении о знаниевых графах. Его способность решать как трансдуктивные, так и индуктивные задачи рассуждения позиционирует его как надежный инструмент для будущих приложений искусственного интеллекта и машинного обучения.
