html5网站模板 免费,给网站做视频怎么赚钱,小红书kol推广,wordpress调用用户昵称Abstract
可以执行任何新任务而无需特定训练的基础模型已经在视觉和语言应用中引发了机器学习的革命。然而#xff0c;涉及图结构数据的应用仍然是基础模型面临的一个难题#xff0c;因为每个图都有独特的特征和标签空间。传统的图机器学习模型#xff0c;如图神经网络涉及图结构数据的应用仍然是基础模型面临的一个难题因为每个图都有独特的特征和标签空间。传统的图机器学习模型如图神经网络GNNs在训练时只能处理特定的图不能对特征和标签空间不同的新图进行推断。此外现有模型学习的是针对训练图的特定函数无法泛化到新图中。
在这项工作中我们通过一种新的基础架构——GraphAny解决了这两个挑战。
GraphAny 将对新图的推断建模为线性图神经网络LinearGNN的分析解决方案从而解决了第一个挑战。
为了应对第二个挑战我们为每个节点学习注意力分数以融合多个 LinearGNN 的预测结果。具体而言注意力模块被精心参数化为多个 LinearGNN 预测之间的熵归一化距离特征的函数以确保对新图的泛化。
实证研究表明GraphAny 在仅使用 120 个标记节点的威斯康星数据集上训练能够以 67.26% 的平均准确率有效地对 30 个新图进行归纳泛化超越了在监督模式下训练的 GCN 和 GAT 以及其他归纳基线。
Introduction
基础模型 [1, 39, 40] 在海量数据上预训练凭借仅需少量示例即可解决任何新任务的能力已经彻底改变了人工智能的格局 [8, 3]。到目前为止这种能力主要限于文本或图像等模态。这些模态的一个固有特性是存在一个跨所有任务的共享输入空间例如令牌的词汇表或像素块为学习一个基础模型覆盖广泛任务类别并泛化到新任务提供了自然基础。然而图数据不具备这种特性。以节点分类任务为例每个图可能具有其特征和标签空间的独特维度和语义例如连续或离散这阻碍了我们以与上述模态相同的方式开发图基础模型 [26]。
挑战1现有模型学习特定于训练中使用的特征和标签的维度、类型和结构的变换不能对与训练不同的特征和标签空间进行推断。这需要我们为任意特征和标签空间开发一种新的模型架构。2现有模型学习的是针对训练图的特定函数无法泛化到新图中这要求一个能够在训练后对任何图进行泛化的归纳函数。
GraphAny一种新颖的预训练基础模型架构能够在任何新图上解决节点分类问题。GraphAny 由两个组件组成一个 LinearGNN 在没有训练步骤的情况下对新特征和标签空间进行推断以及一个基于熵归一化距离特征的每个节点的注意力向量确保对新图的泛化。
具体而言 LinearGNN 将节点特征和标签之间的映射建模为非参数化的图卷积随后是线性层其参数在封闭形式中确定无需明确的训练步骤。虽然单个 LinearGNN 模型可能远未达到许多图的最佳效果但使用多个具有不同图卷积算子的 LinearGNN 模型并学习一个注意力向量来融合它们的预测结果。
注意力向量被参数化为 LinearGNN 预测之间距离特征的函数这保证了模型对特征和标签维度的排列不变。为了进一步提高模型的泛化能力我们提出了熵归一化将距离特征分布调整为固定熵从而减少不同标签维度对距离特征的影响。
直观地说注意力向量学习根据其预测分布选择每个节点的最有效的 LinearGNN 组合反映其局部结构的统计特性例如同质性度量 [25]并对新图进行泛化。 Contribution 提出了 LinearGNN这是一种高效的架构适用于在任何具有任意特征和标签空间的图上进行归纳节点分类。设计了一个归纳注意力模块用于使用距离特征和熵归一化融合 LinearGNN这对特征和标签排列不变对维度变化具有鲁棒性。结合LinearGNN 和归纳注意力模块GraphAny 在单一数据集上训练后可以对任何图进行泛化实现了第一个图基础模型用于节点分类。 GraphAny: A Foundation Model for Node Classification
GraphAny包括一个LinearGNN和一个注意力模块。LinearGNN提供了在具有任意特征和标签空间的新图上进行归纳推理的基本解决方案而注意力模块则学习基于归纳特征组合多个LinearGNN以实现对新图的泛化。
LinearGNNs for Inductive Inference on Any Graph Learning Inductive Attention over LinearGNNs
