建设银行etc的网站是哪个好,网站运营成功案例,襄阳做网站比较有实力的公司,什么叫网落营销目录标题图神经网络基础图基本模块定义图的邻接矩阵点特征的更新#xff08;重构#xff09;多层GNN图卷积GCN模型GCN基本思想网络层数#xff1a;基本计算图注意力机制graph attention networkT-GCN序列图神经网络图相似度图神经网络基础
图基本模块定义
三个特征#x…
目录标题图神经网络基础图基本模块定义图的邻接矩阵点特征的更新重构多层GNN图卷积GCN模型GCN基本思想网络层数基本计算图注意力机制graph attention networkT-GCN序列图神经网络图相似度图神经网络基础
图基本模块定义
三个特征
点–特征向量表示边–表示关系分有向/无向图—图向量全局
无论事整的多么复杂我们利用图神经网络的目的就是整合特征重构特征 目的做好点特征边特征最后做好整体的图特征。借助图结构把这些特征做好点、边、全局的embedding 输出结果对点/边/图 做分类、回归
图的邻接矩阵
邻接矩阵告诉计算机每个点的邻居都有谁 有连接关系的标1无关系的标0. 双向边的邻接矩阵对称的 GNNAX传入模型中邻接矩阵点的特征
文本数据也可以表示图的形式邻接矩阵表示的连接关系 蓝色表示1白色表示0比较稀疏的矩阵。 注在矩阵中若数值为0的元素数目远远多于非0元素的数目并且非0元素分布没有规律时则称该矩阵为稀疏矩阵
邻接矩阵在代码中传入的一般不是N * N的而是2 * N [source,target]从。。到。。
点特征的更新重构
点的更新不仅考虑自身信息也考虑邻居的信息 结合邻居与自身信息 sigam激活函数w权重可学习的权重参数 聚合操作可以当作全连接层更新的方法有很多可以自己设置求和求均值最大最小
多层GNN
GNN也可以有多层
GNN的本质就是更新各部分特征其中输入是特征输出也是特征邻接矩阵也不会变的 原始输入–第一次结果–第二次结果 图结构与邻接矩阵不变在变的是点特征
感受野随着卷积的进行每个点能感受到的区域越来越大
图卷积GCN模型
图中常见任务
节点分类对每个节点进行预测不同点是否有连接预测整个图分类部分图分类等不同子图是否相似异常检测等GCN归根到底还是要完成特征提取操作只不过输入对象不需要是固定格式
通常交给GCN两个东西就行1.各节点输入特征2.网络结构图 交给图神经网络用损失函数去迭代去更新
GCN并不是纯的有监督学习这个也是GCN优势不需要全部标签用少量标签也能训练。 计算损失时只用有标签的交通预测中偏远地区没有人工标签数据 要让某一个点的损失小那么它的邻居也要损失小所以适合做半监督问题。
GCN基本思想
针对橙色节点计算它的特征平均其邻居特征(包括自身)后传入神经网络 如何重构/更新黄色点先聚合综合平均— 经过神经网络即加上可训练参数—得到两维向量
网络层数
这个跟卷积类似GCN也可以做多层每一层输入的还是节点特征 然后将当前特征与网络结构图继续传入下层就可以不断算下去了 原邻接矩阵–每个点更新–激活函数RELU— 第二次更新–激活函数RELU—经过图卷积的洗最后得到每个点对应的向量。
但一般不用做太多层通过6个人可以认识任何一个人上图栗子中做两次就能看到其余所有点。
基本计算
图中基本组成 G就是咱们的图 A是邻接矩阵 D是各个节点的度 F是每个节点的特征
特征计算方法其实就是邻接矩阵与特征矩阵进行乘法操作表示聚合邻居信息 问题1光想着别人没考虑自己呢。 问题2只考虑了加法没考虑平均 其实就是对度矩阵乘以度矩阵D的逆矩阵这样就相当于平均的感觉了
这里1/2相当于是对第一行做归一化操作列也应该做归一化 这样相当于归一化了两次数导致更小了应该开一个根号 为什么这样做 下面的小红和小绿A和B两个人的度都要考虑进来 因为小绿的度大会把其关系的权重变的很小造成对小红的影响没有那么大。
最终公式 例如完成一个十分类任务的F就为10表示输出层 第一层邻接矩阵重新组合特征X做一组预设乘上权重参数套上激活函数relu 第二层一样的
其中邻居矩阵是更新过的
GCN的层数 理论上来说肯定越大越好 但是实际的图中可能不需要那么多 在社交网络中只需6个人你可以认识全世界 所以一般的GCN层数不会特别多 经过实验在多个图数据集中都发现两三层的比较合适多了反而变差
图注意力机制graph attention network
哪个节点影响大哪个节点影响小需要权重来区分 栗子5个点每个点是四维数据。 通过权重来区分影响大小23点对1的影响是否应该一样 邻接矩阵[5×5] :N×N 特征矩阵[5×4] :5个点每个点是四维数据。 可训练权重参数w[4×8] 聚合更新[5,8]
这是前面的内容这一节主要是引入一个权重项 公式 hihj点i与点j的特征 w:可训练的权重参数先进行维度映射 拿到两个特征后做内积—来体现权重值 a:指attention softmax归一化2对1的权重和3对1的权重之和要为1 exp(eij)指对eij做ex 的幂次映射让结果差异大一些
残留问题a的计算
1×5维特征向量称上一个5×8的向量变成8维向量。并拼接 加入一个可训练可学习的权重参数矩阵 再称一个16×1的矩阵得到一个值作为我们的权重. 因为权重要为正值加上relu激活函数 最后归一化一下 attention其实就是对邻接矩阵进行了加权多加了一次处理 1对2的权重e12其实改的就是邻接矩阵中a12处的数值。
T-GCN序列图神经网络
有些图随时间变化而变化 1随着时间变化点的特征在变 2随着时间变化点的特征在变图结构也在变 套进RNN中 应用疫情蔓延图交通流量随时间变化
图相似度
论文链接
输入两个/多个图结构 输入到图神经网络 输出进行匹配相似度输出得分
