«`html
TempoKGAT: Улучшение анализа временных графиков с весами, убывающими со временем, и выборочной агрегацией соседей
GNNs прекрасно справляются с анализом структурированных данных, но сталкиваются с проблемами при работе с динамическими, временными графами. Традиционное прогнозирование, часто используемое в областях экономики и биологии, полагалось на статистические модели для временных рядов. Глубокое обучение, в частности GNNs, сместило фокус на неевклидовы данные, такие как социальные и биологические сети. Однако применение GNNs к динамическим графам, где отношения постоянно эволюционируют, все еще требует улучшения. Хотя графовые сети внимания (GATs) частично решают эти проблемы, требуются дальнейшие усовершенствования, особенно в использовании атрибутов ребер.
Исследователи Университета Сорбонна и TotalEnergies разработали графовую сеть внимания под названием TempoKGAT, которая интегрирует временно-затухающие веса и механизм выборочной агрегации соседей для выявления скрытых паттернов в пространственно-временных графических данных. Этот подход включает выбор топ-k соседей на основе весов ребер, улучшая представление эволюционирующих графических характеристик. TempoKGAT был протестирован на наборах данных из секторов трафика, энергетики и здравоохранения, последовательно превосходя существующие передовые методы по нескольким метрикам. Эти результаты демонстрируют способность TempoKGAT улучшать точность прогнозирования и предоставлять более глубокие инсайты в анализ временных графов.
Прогнозирование эволюционировало от традиционных статистических методов к продвинутому машинному обучению, все чаще используя графовые подходы для захвата пространственных зависимостей. Этот прогресс привел от CNN к GCN и графовым сетям внимания (GATs). В то время как модели, такие как Diffusion Convolutional Recurrent Neural Networks (DCRNN) и Temporal Graph Convolutional Networks (TGCN), включают временную динамику, они часто игнорируют преимущества взвешенных ребер. Существующие усовершенствования в моделировании ребер, особенно для статических и многореляционных графов, еще не полностью адаптированы к временным контекстам. TempoKGAT нацелен на устранение этой пробела путем улучшения использования весов ребер в прогнозировании временных графов, тем самым улучшая точность прогнозирования и анализ сложных временных данных.
Модель TempoKGAT улучшает анализ временных графов путем совершенствования характеристик узлов с помощью весов, убывающих со временем, и выборочной агрегации соседей. Начиная с характеристик узлов, применяется временное затухание для приоритизации недавних данных, обеспечивая точное представление динамических графов. Затем модель выбирает топ-k наиболее значимых соседей на основе весов ребер, фокусируясь на наиболее релевантные взаимодействия. Механизм внимания вычисляет коэффициенты внимания, нормализует и использует для агрегации характеристик соседей, взвешенных внимательными оценками и силой ребер. Этот подход динамически интегрирует временные и пространственные инсайты, улучшая точность прогнозирования и захватывая эволюционирующие графические паттерны.
TempoKGAT демонстрирует исключительную производительность на различных наборах данных путем эффективного интегрирования временной и пространственной динамики в графические данные. Модель значительно улучшила оригинальный GAT, продемонстрировав заметные улучшения в метриках, таких как MAE, MSE и RMSE, особенно на наборах данных PedalMe, ChickenPox и England Covid. Адаптивность TempoKGAT подчеркивается его оптимальным параметром размера соседней области (k), который повышает точность прогнозирования. Постоянный успех, особенно при k = 1, подчеркивает способность модели захватывать важные характеристики от ближайших соседей, делая ее надежным и универсальным инструментом для графового предиктивного анализа в различных сетевых сложностях.
В заключение, TempoKGAT — это графовая сеть внимания, разработанная для анализа временных графов, которая превосходит традиционные методы в прогнозировании результатов на наборах данных, таких как PedalMe, ChickenPox и England Covid, показывая значительные улучшения в метриках RMSE, MAE и MSE. Однако вычислительная сложность увеличивается с увеличением размера соседней области. Будущие исследования оптимизируют вычислительную эффективность, изучают многоголовое внимание и масштабируют модель для больших графов, открывая путь для более широких применений в графовом предиктивном анализе.
«`
If you like our work, you will love our newsletter. Don’t forget to join our 50k+ ML SubReddit.
