一种GCN图特征注入的电力知识图谱表示学习方法与流程

一种gcn图特征注入的电力知识图谱表示学习方法
技术领域
1.本发明涉及知识图谱领域，尤其涉及知识图谱表示学习，以及在电力信息化系统中的知识图谱补全应用场景，具体为一种gcn图特征注入的电力知识图谱表示学习方法。


背景技术：

2.作为一个典型的知识密集型系统，电力系统包含了能源转换、输送、变电和配电等多个方面的系统性知识。电力系统知识图谱以结构化的方式存储了领域内的这些系统性知识，并刻画出其概念、实体、以及其间的关系。实际应用中，由于电力系统知识体系复杂、数据来源多元化、知识规模大，很难构建出完整的知识图谱，因此，需要通过知识图谱表示学习以进一步补全知识图谱，而且，传统的知识图谱表示学习使用编码器-解码器框架，在传统的框架下图卷积网络一般很臃肿，传入图卷积网络的节点表征维度大，所消耗的计算资源偏大，导致gcn带来的性能提升在昂贵资源背景下，显得增益不高。
3.为此，本发明提出了一种gcn图特征注入的电力知识图谱表示学习方法，使用图卷积网络(gcn)图特征注入的方式，在减少资源消耗的同时，更加快速有效捕获知识图谱的结构特征，学习到更合理的知识图谱表示，从而辅助知识图谱链接预测，补全电力系统知识图谱中缺失的关系和实体，解决电力系统知识图谱不完整问题。


技术实现要素：

4.本发明提出了一种gcn图特征注入的电力知识图谱表示学习方法，能够快速有效地捕获电力系统知识图谱结构特征，并使用知识图谱嵌入模型当作解码器，计算gcn生成三元组特征的合理性分数，使得原图谱中正确三元组的分数尽可能高，以学习到有效的知识图谱表示。
5.为实现上述目的，本发明采取的技术方案是：
6.一种gcn图特征注入的电力知识图谱表示学习方法，包括由编码器和解码器构建的编码器-解码器框架，其特征在于：包括如下步骤：
7.s1：gcn图特征注入
8.通过原始的电力系统知识图谱提供可训练图表征向量，可训练图表征向量不经过图卷积网络，其中，编码器即为图卷积网络，定义另一组固定低维向量，用于捕获图结构特征，固定低维向量不参与训练，固定低维向量经过图卷积网络后将获得新的表征向量，此时，新的表征向量拥有图结构特征，然后将这组捕获图结构特征的信息注入到可训练图表征向量，最后得到最终映射的图表征向量；
9.s2：知识图谱嵌入解码
10.知识图谱嵌入模型为kge模型，使用kge模型当作解码器，在知识图谱嵌入时，在kge模型中定义一个评分函数，用于评估三元组的评分，然后使用该评分函数来计算gcn学习到的图表征向量中三元组的评分，计算得到的有效三元组的评分要高于无效三元组，，最后进行参数优化；
11.s3：模型评估
12.首先将原知识图谱三元组输入到模型中，分别获得各三元组实体和关系的表征，通过知识图谱嵌入的评分函数计算该正确三元组的合理性分数，再使用所有其他实体替换该正确三元组中的实体，计算替换后的三元组的分数，通过选取平均排名、平均倒数排名和命中率来作为评价指标，在排名时，不考虑有效的三元组，因此，排名标准为正确三元组的平均排名越小、命中率和平均倒数排名越高，则表示模型效果越好。
13.作为本发明的优选技术方案：在步骤s1中：将这组捕获图结构特征的信息注入到可训练图表征向量的过程称为图特征注入器，并用符号表示，所述图特征注入器选择的是加权和，公式如下:
[0014][0015]
其中，ev是ev∈ε的可训练的原始图表征向量，e
fixed
是固定低维向量，gcn(
·
)是图卷积网络，a是加权平衡因子alpha，用来调整图特征注入的比例。
[0016]
作为本发明的优选技术方案：在步骤s1中：所述图卷积网络为relation-gcn，简称为rgcn，所述rgcn包含两部分，分别为消息传递和聚合，所述消息传递是计算目标节点的邻居节点，所述聚合是将这些节点的信息融合，并和自己本身的信息汇合。
[0017]
作为本发明的优选技术方案：所述rgcn在进行消息传递时，对每个类型的边应用了不同的权重矩阵，rgcn的节点v更新计算公式如下，
[0018][0019]
作为本发明的优选技术方案：所述rgcn的层数大于等于1，因此，图特征注入器的公式为：
[0020][0021]
作为本发明的优选技术方案：在步骤s2中：所述kge模型包括transe模型和distmult模型，
[0022]
所述transe模型是典型的翻译模型，它把关系当作头实体和尾实体之间的翻译，所有的实体和关系被表示为d维向量，并认为对正确的三元组(ei，rk，ej)，存在ei+rk≈ej，其中e∈ε为实体集，为关系集，e和r分别为实体和关系的向量表示，transe模型定义距离d表示向量之间的距离，取l1或者l2距离范式，其评分函数为：
[0023][0024]
其中，γ是可设置的超参，p＝1时，表示l1范式，p＝2时，表示l2范式；
[0025]
distmult模型是双线性模型的一种，该模型通过计算实体和关系在向量空间中潜在语义的可信度来进行评分，distmult模型将关系rk表示为对角矩阵其评分函数为：
[0026][0027]
选择二元交叉熵作为损失函数，损失函数为：
[0028][0029]
其中，s表示当前batch所有三元组；y(ei，r，ej)表示该三元组的标签，如果有效则为1，否则为0；f(ei，r，ej)为评分函数，在这个损失函数下，将所有训练集中无效的三元组作为负采样三元组。
[0030]
作为本发明的优选技术方案：在步骤s3中：使用所有其他实体替换该正确三元组中的实体时：将三元组的头实体或者尾实体替换，计算替换后三元组的分数。
[0031]
作为本发明的优选技术方案：在步骤s3中：在知识图谱中，存在一种特殊情况，即给定一个实体和关系，会有多个实体与之对应，因此，会存在对某个三元组进行预测的时候，除了该三元组所对应的正确标签tail之外，其他有效的候选实体会存在比tail实体排名高的情况，因此，在对候选实体排名的时候，把除了唯一标签的其他有效的标签分数置为-1000000，保证此时除了唯一标签之外的其他候选实体分数都低，不会对结果造成影响，即在排名时，不考虑有效的三元组。
[0032]
作为本发明的优选技术方案：有效的实体是指头实体与关系实体与该三元组一样，但尾实体不同，并且存在于数据集中，因此是有效的。
[0033]
作为本发明的优选技术方案：在步骤s3中：所述平均排名为所有正确三元组分数排名的平均值，所述平均倒数排名是将整个知识图谱每个正确三元组的分数排名的序号倒数取平均得到的值，所述命中率是整个知识图谱正确三元组的分数排名top-n的三元组所占的比例。
[0034]
与现有技术相比，本发明的有益效果为：
[0035]
本发明通过对传统编码器-解码器框架进行修改，提出了一种gcn图特征注入的电力知识图谱表示学习方法，在提升性能的情况下，减少了资源消耗，放大了gcn的性能增益。
[0036]
本发明学习到的知识图谱表示可有效地用于节点分类、链接预测、异常检测等下游任务，补全电力系统知识图谱中缺失的关系和实体。
附图说明
[0037]
图1是本发明总体架构图；
[0038]
图2是本发明中rgcn消息传递计算图。
具体实施方式
[0039]
下面结合附图与具体实施方式对本发明作进一步详细描述：
[0040]
如图1所示：本发明提出了一种gcn图特征注入的电力知识图谱表示学习方法，包括由编码器和解码器构建的编码器-解码器框架，包括如下步骤：
[0041]
s1：gcn图特征注入
[0042]
通过原始的电力系统知识图谱提供可训练图表征向量，可训练图表征向量不经过图卷积网络，其中，编码器即为图卷积网络，定义另一组固定低维向量，用于捕获图结构特征，固定低维向量不参与训练，固定低维向量经过图卷积网络后将获得新的表征向量，此
时，新的表征向量拥有图结构特征，然后将这组捕获图结构特征的信息注入到可训练图表征向量，最后得到最终映射的图表征向量；
[0043]
s2：知识图谱嵌入解码
[0044]
知识图谱嵌入模型为kge模型，使用kge模型当作解码器，在知识图谱嵌入时，在kge模型中定义一个评分函数，用于评估三元组的评分，然后使用该评分函数来计算gcn学习到的图表征向量中三元组的评分，计算得到的有效三元组的评分要高于无效三元组，最后进行参数优化；
[0045]
s3：模型评估
[0046]
首先将原知识图谱三元组输入到模型中，分别获得各三元组实体和关系的表征，通过知识图谱嵌入的评分函数计算该正确三元组的合理性分数，再使用所有其他实体替换该正确三元组中的实体，计算替换后的三元组的分数，通过选取平均排名、平均倒数排名和命中率来作为评价指标，在排名时，不考虑有效的三元组，因此，排名标准为正确三元组的平均排名越小、命中率和平均倒数排名越高，则表示模型效果越好。
[0047]
本发明使用gcn图特征注入的方式，快速有效地捕获电力系统知识图谱结构特征，并使用知识图谱嵌入的kge模型当作解码器，计算gcn生成三元组特征的合理性分数，使得原图谱中正确三元组的分数尽可能高，以学习到有效的知识图谱表示。
[0048]
gcn图特征注入：
[0049]
本发明使用图卷积网络来捕获电力系统知识图谱的图结构特征，将节点映射到低维嵌入空间，生成对应节点的嵌入。
[0050]
gcn图特征注入使得可训练图表征向量不经过图卷积网络，定义另一组固定低维向量，这组固定低维向量不参与训练，经过图卷积网络后将获得捕获了图结构特征的新的表征向量，然后将这组捕获图结构特征的信息注入到可训练图表征向量，得到最终映射的图表征向量。
[0051]
通过这种注入式的图结构特征捕获，参与更新的参数依然是可训练图表征向量和图卷积网络，但是，得益于传入图结构的固定向量表示的低维特性，图卷积网络的参数规模要远远低于传统框架的图卷积网络，比如，知识图谱的表征向量维度一般为150、100、50，一般不会低于50，低于50可能影响模型的表示能力，而我们定义图固定向量维度为2(这个维度的固定向量可以捕获图结构特征，且理论上来说，这组向量表示最主要的作用是能够区分出各个节点)，那么两种图卷积网络的参数相差至少25倍以上，在本发明的实验中，选取图原始向量表征维度为100，固定向量表示维度为2，因次，本发明实验中的gcn参数大致相差为50倍。
[0052]
知识图谱嵌入解码：
[0053]
本发明使用知识图谱嵌入模型作为解码器，即使用kge模型当作解码器，解码gcn学习到的图表征向量。在知识图谱嵌入中定义了一个评分函数，用来评估三元组的合理性，使得有效的三元组的评分高于无效的三元组的评分。然后使用该评分函数来计算gcn学习到的图表征向量中三元组的评分，通过优化参数，使得解码后的知识图谱与原始知识图谱的相似度尽可能高，以此学习到有效的知识图谱表示。
[0054]
模型评估：
[0055]
该模块用来评估本发明提出的知识图谱知识表示学习的效果。首先将原知识图谱
三元组输入到模型，分别获得各三元组实体和关系的表征，通过知识图谱嵌入的评分函数计算该正确三元组的合理性分数。再使用所有其他实体替换该正确三元组中的实体，计算替换后的三元组分数。该模块通过评估知识图谱中正确三元组的分数排名来验证本发明提出的知识图谱表示学习的效果。
[0056]
在知识图谱中，存在一种特殊情况，即给定一个实体和关系，会有多个实体与之对应。那么会存在对某个三元组(head，rel，tail)进行预测的时候，除了该三元组所对应的正确标签tail之外，其他有效的候选实体可能会比tail实体排名高(有效的实体是指头实体与关系实体与该三元组一样，但尾实体不同，并且存在于数据集中，所以是有效的)，这会对该三元组的评估造成影响。在对候选实体排名的时候，把除了唯一标签的其他有效的标签分数置为-1000000，从而保证此时除了唯一标签之外的其他候选实体分数都低，不会对结果造成影响。即在排名的时候，不考虑有效的三元组，我们把这种设定称为filtered，本发明中所有实验都在这种设定中进行。
[0057]
本发明选取了平均排名(mean rank,mr)、平均倒数排名(mean reciprocal rank,mrr)和命中率(hits at n,hit@n)作为评价指标。其中平均排名(mr)指所有正确三元组分数排名的平均值，平均倒数排名(mrr)是将整个图谱每个正确三元组的分数排名的序号倒数取平均得到的值，命中率(hit@n)是整个图谱正确三元组的分数排名top-n的三元组所占的比例。因此较低的mr和较高的mrr/hit@n表明较好的性能。
[0058]
在步骤s1中：将这组捕获图结构特征的信息注入到可训练图表征向量的过程称为图特征注入器，并用符号表示，所述图特征注入器选择的是加权和，公式如下:
[0059][0060]
其中，ev是ev∈ε的可训练的原始图表征向量，e
fixed
是固定低维向量，gcn(
·
)是图卷积网络，a是加权平衡因子alpha，用来调整图特征注入的比例。
[0061]
在步骤s1中：所述图卷积网络为relation-gcn，简称为rgcn，所述rgcn包含两部分，分别为消息传递和聚合，所述消息传递是计算目标节点的邻居节点，所述聚合是将这些节点的信息融合，并和自己本身的信息汇合。
[0062]
如图2所示：所述rgcn在进行消息传递时，对每个类型的边应用了不同的权重矩阵，rgcn的节点v更新计算公式如下，
[0063][0064]
所述rgcn的层数大于等于1，因此，图特征注入器的公式为：
[0065][0066]
在步骤s2中：所述kge模型包括transe模型和distmult模型，
[0067]
所述transe模型是典型的翻译模型，它把关系当作头实体和尾实体之间的翻译，所有的实体和关系被表示为d维向量，并认为对正确的三元组(ei，rk，ej)，存在ei+rk≈ej，其中e∈ε为实体集，为关系集，e和r分别为实体和关系的向量表示，transe模型定义距离d表示向量之间的距离，取l1或者l2距离范式，并期望正确的三元组间距离越小越好，而错误的三元组间距离应尽可能大，其评分函数为：
[0068][0069]
其中，γ是可设置的超参，p＝1时，表示l1范式，p＝2时，表示l2范式；
[0070]
distmult模型是双线性模型的一种，该模型通过计算实体和关系在向量空间中潜在语义的可信度来进行评分，distmult模型将关系rk表示为对角矩阵其评分函数为：
[0071][0072]
选择二元交叉熵作为损失函数，损失函数为：
[0073][0074]
其中，s表示当前batch所有三元组；y(ei，r，ej)表示该三元组的标签，如果有效则为1，否则为0；f(ei，r，ej)为评分函数，在这个损失函数下，将所有训练集中无效的三元组作为负采样三元组。
[0075]
在步骤s3中：使用所有其他实体替换该正确三元组中的实体时：将三元组的头实体或者尾实体替换，计算替换后三元组的分数。
[0076]
在步骤s3中：在知识图谱中，存在一种特殊情况，即给定一个实体和关系，会有多个实体与之对应，因此，会存在对某个三元组进行预测的时候，除了该三元组所对应的正确标签tail之外，其他有效的候选实体会存在比tail实体排名高的情况，因此，在对候选实体排名的时候，把除了唯一标签的其他有效的标签分数置为-1000000，保证此时除了唯一标签之外的其他候选实体分数都低，不会对结果造成影响，即在排名时，不考虑有效的三元组。
[0077]
有效的实体是指头实体与关系实体与该三元组一样，但尾实体不同，并且存在于数据集中，因此是有效的。
[0078]
在步骤s3中：所述平均排名为所有正确三元组分数排名的平均值，所述平均倒数排名是将整个知识图谱每个正确三元组的分数排名的序号倒数取平均得到的值，所述命中率是整个知识图谱正确三元组的分数排名top-n的三元组所占的比例。
[0079]
本发明通过对传统编码器-解码器框架进行修改，提出了一种gcn图特征注入的电力知识图谱表示学习方法，在提升性能的情况下，减少了资源消耗，放大了gcn的性能增益。
[0080]
本发明学习到的知识图谱表示可有效地用于节点分类、链接预测、异常检测等下游任务，补全电力系统知识图谱中缺失的关系和实体。
[0081]
在gcn图特征注入的知识图谱表示学习训练过程中，通过使用adam优化器进行优化，学习率设置为0.01。
[0082]
图特征注入器(gfi)的加权平衡因子alpha设置为0.6。
[0083]
原始框架下的rgcn，在规则化关系权重矩阵时，都使用了块对角矩阵(block diagonal matrices)的方法，然而由于固定图表示向量一般维度很小，所以图特征注入的rgcn都采用了词典学习(basis/dictionary learning)。
[0084]
此外，本发明把可训练嵌入维度都设置为100，经过实验表明，该条件的改变在没有影响本发明实验结果的情况下，减轻了计算负担。
[0085]
为验证本发明提出的知识图谱表示学习效果，本发明根据由多个电力系统数据库中的结构化数据以及部分故障预案和运维文档中的半结构化数据构建的知识图谱进行模型评估，抽取出该电力系统知识图谱中的三元组作为验证数据集。
[0086]
本发明选取了典型的kge模型，分别为transe模型和distmult模型作为实验的baseline。
[0087][0088]
表一为kge经典模型中transe模型,distmult模型分别在三种情况下的实验结果。
[0089]
表一给出了base、base+rgcn、base+rgcn+gfi在该数据集上的实验结果。从表中可以得出结论：gfi增强了gcn的作用。显而易见，在三种模型设置中，即1)base；2)base+rgcn；3)base+rgcn+gfi，使用gfi的模型几乎包揽了所有实验情况的最优性能。其中在使用transe模型的实验设置下，对比于不使用gcn的情况，提升了18％的mmr，对比于传统的只使用rgcn的情况，提高了13％的mmr。
[0090]
综上所述，gfi作为将图特征轻量化的注入kge框架，能够有效的增强gcn的作用，并毫无疑问的提升kge的性能。
[0091]
以上所述，仅是本发明的较佳实施例而已，并非是对本发明作任何其他形式的限制，而依据本发明的技术实质所作的任何修改或等同变化，仍属于本发明所要求保护的范围。

技术特征：
1.一种gcn图特征注入的电力知识图谱表示学习方法，包括由编码器和解码器构建的编码器-解码器框架，其特征在于：包括如下步骤：s1：gcn图特征注入通过原始的电力系统知识图谱提供可训练图表征向量，可训练图表征向量不经过图卷积网络，其中，编码器即为图卷积网络，定义另一组固定低维向量，用于捕获图结构特征，固定低维向量不参与训练，固定低维向量经过图卷积网络后将获得新的表征向量，此时，新的表征向量拥有图结构特征，然后将这组捕获图结构特征的信息注入到可训练图表征向量，最后得到最终映射的图表征向量；s2：知识图谱嵌入解码知识图谱嵌入模型为kge模型，使用kge模型当作解码器，在知识图谱嵌入时，在kge模型中定义一个评分函数，用于评估三元组的评分，然后使用该评分函数来计算gcn学习到的图表征向量中三元组的评分，计算得到的有效三元组的评分要高于无效三元组，最后进行参数优化；s3：模型评估首先将原知识图谱三元组输入到模型中，分别获得各三元组实体和关系的表征，通过知识图谱嵌入的评分函数计算该正确三元组的合理性分数，再使用所有其他实体替换该正确三元组中的实体，计算替换后的三元组的分数，通过选取平均排名、平均倒数排名和命中率来作为评价指标，在排名时，不考虑有效的三元组，因此，排名标准为正确三元组的平均排名越小、命中率和平均倒数排名越高，则表示模型效果越好。2.根据权利要求1所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：在步骤s1中：将这组捕获图结构特征的信息注入到可训练图表征向量的过程称为图特征注入器，并用符号表示，所述图特征注入器选择的是加权和，公式如下：其中，e
v
是e
v
∈ε的可训练的原始图表征向量，e
fixed
是固定低维向量，gcn(
·
)是图卷积网络，a是加权平衡因子alpha，用来调整图特征注入的比例。3.根据权利要求1所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：在步骤s1中：所述图卷积网络为relation-gcn，简称为rgcn，所述rgcn包含两部分，分别为消息传递和聚合，所述消息传递是计算目标节点的邻居节点，所述聚合是将这些节点的信息融合，并和自己本身的信息汇合。4.根据权利要求3所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：所述rgcn在进行消息传递时，对每个类型的边应用了不同的权重矩阵，rgcn的节点v更新计算公式如下，5.根据权利要求4所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：所述rgcn的层数大于等于1，因此，图特征注入器的公式为：6.根据权利要求1所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在
于：在步骤s2中：所述kge模型包括transe模型和distmult模型，所述transe模型是典型的翻译模型，它把关系当作头实体和尾实体之间的翻译，所有的实体和关系被表示为d维向量，并认为对正确的三元组(e
i
，r
k
，e
j
)，存在e
i
+r
k
≈e
j
，其中e∈ε为实体集，为关系集，e和r分别为实体和关系的向量表示，transe模型定义距离d表示向量之间的距离，取l1或者l2距离范式，其评分函数为：其中，γ是可设置的超参，p＝1时，表示l1范式，p＝2时，表示l2范式；distmult模型是双线性模型的一种，该模型通过计算实体和关系在向量空间中潜在语义的可信度来进行评分，distmult模型将关系r
k
表示为对角矩阵其评分函数为：选择二元交叉熵作为损失函数，损失函数为：其中，s表示当前batch所有三元组；y(e
i
，r，e
j
)表示该三元组的标签，如果有效则为1，否则为0；f(e
i
，r，e
j
)为评分函数，在这个损失函数下，将所有训练集中无效的三元组作为负采样三元组。7.根据权利要求1所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：在步骤s3中：使用所有其他实体替换该正确三元组中的实体时：将三元组的头实体或者尾实体替换，计算替换后三元组的分数。8.根据权利要求1所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：在步骤s3中：在知识图谱中，存在一种特殊情况，即给定一个实体和关系，会有多个实体与之对应，因此，会存在对某个三元组进行预测的时候，除了该三元组所对应的正确标签tail之外，其他有效的候选实体会存在比tail实体排名高的情况，因此，在对候选实体排名的时候，把除了唯一标签的其他有效的标签分数置为-1000000，保证此时除了唯一标签之外的其他候选实体分数都低，不会对结果造成影响，即在排名时，不考虑有效的三元组。9.根据权利要求7或8所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：有效的实体是指头实体与关系实体与该三元组一样，但尾实体不同，并且存在于数据集中，因此是有效的。10.根据权利要求1所述的一种gcn图特征注入的电力知识图谱表示学习方法，其特征在于：在步骤s3中：所述平均排名为所有正确三元组分数排名的平均值，所述平均倒数排名是将整个知识图谱每个正确三元组的分数排名的序号倒数取平均得到的值，所述命中率是整个知识图谱正确三元组的分数排名top-n的三元组所占的比例。

技术总结
本发明提出了一种GCN图特征注入的电力知识图谱表示学习方法，包括构建的编码器-解码器框架，其包括三个步骤：GCN图特征注入、知识图谱嵌入解码以及模型评估，GCN图特征注入为使用图卷积网络来捕获电力系统知识图谱的图结构特征将节点映射到低维嵌入空间，生成对应节点的嵌入，使用知识图谱嵌入解码作为解码器，解码GCN学习到的图表征向量，使用模块评估用来评估本发明提出的知识图谱知识表示学习的效果，本申请使用GCN图特征注入的方式，快速有效地捕获电力系统知识图谱结构特征，并使用知识图谱嵌入模型当作解码器，计算GCN生成三元组特征的合理性分数，使得原图谱中正确三元组的分数尽可能高，以学习到有效的知识图谱表示。示。示。


技术研发人员：陈忆瑜 乐全明 陈高辉 张伟峰 陈炜 樊立波 罗少杰 李昂 唐铁英 郑伟彦 冯雪 李颖玥 黄江宁 来益博 周艳 章一新 陈潘霞 周昕悦
受保护的技术使用者：国网浙江省电力有限公司杭州供电公司
技术研发日：2023.06.21
技术公布日：2023/9/16