基于知识蒸馏的知识图谱补全方法、系统、设备及介质

1.本发明涉及知识图谱技术领域，特别是涉及一种基于知识蒸馏的知识图谱补全方法、系统、设备及介质。


背景技术：

2.知识推理是知识图谱补全的重要手段。随着神经网络模型的发展，其在知识推理中的应用也得到广泛重视。基于神经网络模型的知识推理方法具备更强的推理能力和泛化能力，对知识库中实体、关系等信息利用率更高，推理效果更好。
3.神经网络模型之所以会取得成功，一方面是因为神经网络模型具有更深层数和更多参数，这使得神经网络模型具有更强大的非线性拟合能力；另一方面是因为硬件设备不断更新，为神经网络模型快速训练提供了可能。如果考虑到实际应用，将上述神经网络模型移植到嵌入式设备或者移动设备上，它将会受到多方面约束：1）模型参数量巨大；2）模型计算量大；3）电能消耗大。因此，如何在保证模型效果的前提下对模型进行压缩已经成为了一个热点问题，这使得神经网络模型压缩快速发展起来。
4.当前存在的神经网络模型压缩方法有很多，知识蒸馏是其中一种。知识蒸馏的主要思想是通过softmax学习类分布输出，将知识从一个大的教师模型转化到一个小的学生模型。但是目前知识蒸馏主要适用在图像分类任务上，针对知识图谱中较复杂的知识推理问题，目前还没有研究。另外，知识蒸馏多表现为将大规模神经网络模型转化为小规模的神经网络模型，缺乏可解释性。


技术实现要素：

5.本发明的目的是提供一种基于知识蒸馏的知识图谱补全方法、系统、设备及介质，在实现规模缩小的基础上，具备了可解释性，达到了知识图谱补全的目的。
6.为实现上述目的，本发明提供了如下方案：
7.第一方面，本发明提供了一种基于知识蒸馏的知识图谱补全方法，包括：
8.获取待补全知识图谱；
9.根据知识图谱补全模型和所述待补全知识图谱，确定所述待补全知识图谱的待补充信息；
10.基于所述待补充信息，补充所述待补全知识图谱，得到补全知识图谱；
11.其中，所述知识图谱补全模型的训练过程为：
12.面对目标需求，从待补全知识图谱所属领域的专业数据中，确定训练数据和标签数据；
13.基于所述训练数据构建关系邻接矩阵；
14.根据所述关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型；
15.根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型
的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型。
16.第二方面，本发明提供了一种基于知识蒸馏的知识图谱补全系统，包括：
17.待补全知识图谱获取模块，用于获取待补全知识图谱；
18.待补充信息确定模块，用于根据知识图谱补全模型和所述待补全知识图谱，确定所述待补全知识图谱的待补充信息；
19.补全知识图谱确定模块，用于基于所述待补充信息，补充所述待补全知识图谱，得到补全知识图谱；
20.其中，所述知识图谱补全模型的训练过程为：
21.面对目标需求，从待补全知识图谱所属领域的专业数据中，确定训练数据和标签数据；
22.基于所述训练数据构建关系邻接矩阵；
23.根据所述关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型；
24.根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型。
25.第三方面，本发明提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据第一方面所述的基于知识蒸馏的知识图谱补全方法。
26.第四方面，本发明提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的基于知识蒸馏的知识图谱补全方法。
27.根据本发明提供的具体实施例，本发明公开了以下技术效果：
28.面向知识图谱中较复杂的知识推理任务，教师网络模型为基于关系图卷积网络的教师网络模型，学生网络模型为基于软决策树的学生网络模型，在实现规模缩小的基础上，具备了可解释性，达到知识图谱补全的目的。
附图说明
29.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
30.图1为本发明实施例提供的基于知识蒸馏的知识图谱补全方法的流程示意图；
31.图2为本发明实施例提供的知识图谱补全模型的训练过程图；
32.图3为本发明实施例提供的基于知识蒸馏技术训练教师网络模型和学生网络模型的整体结构图；
33.图4为本发明实施例提供的基于训练好的学生网络模型完成推理预测的整体结构图；
34.图5为本发明实施例提供的某单位设备管理业务的知识图谱图；
35.图6为本发明实施例提供的学生网络模型中决策树可解释性推理示例图；
36.图7为本发明实施例提供的基于知识蒸馏的知识图谱补全系统的结构示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
39.术语解释
40.知识蒸馏（knowledge distillation）：是一种常用的模型压缩方法，不同于模型压缩中的剪枝和量化，知识蒸馏是通过构建一个轻量化的小模型，利用性能更好的大模型的监督信息，来训练这个小模型，以期达到更好的性能和精度。这个大模型称之为teacher（教师模型），小模型称之为student（学生模型）。
41.软决策树（sdt）：作为模糊决策树的一类，通过结合树的生长和修剪来确定软决策树的结构，并对树进行修正来提高它的泛化能力。软决策树的决策准则是一个范围区间，而非一个特定的数值。相比较于标准决策树，软决策树的分类结果更准确。
42.关系图卷积网络（r-gcn）：旨在泛化图卷积网络（gcn），来处理知识库中实体之间的不同关系，可应用于链路预测和实体分类两项任务。
43.实施例一
44.面向知识图谱的推理领域，基于神经网络模型的知识推理方法具备更强的推理能力和泛化能力，但效果最好的模型往往规模很大，对延迟以及计算资源都有着严格的限制。因此，实际使用时大模型不便于部署，加之神经网络模型具备黑盒特性，无论应用于图像处理领域还是知识图谱领域，都缺乏可解释性，也影响真实使用。
45.鉴于此，本发明实施例提供了一种基于知识蒸馏的知识图谱补全方法，如图1所示，包括：
46.步骤100：获取待补全知识图谱。
47.待补全知识图谱可以是各种应用领域中的知识图谱，例如，医学领域、机电领域、冶金领域、化工领域、建筑领域等专业领域。可以理解，基于知识图谱所对应的实际需求，其所属的专业领域可以是更细致的分类中的领域。以医学领域为例，知识图谱所属的专业领域具体可以是药学领域、临床医学领域、基础医学领域、公共卫生与预防医学类领域、中西医结合类领域等专业领域。
48.在本发明实施例中，该待补全知识图谱是根据设备管理业务构建的知识图谱。
49.步骤200：根据知识图谱补全模型和所述待补全知识图谱，确定所述待补全知识图谱的待补充信息。
50.步骤300：基于所述待补充信息，补充所述待补全知识图谱，得到补全知识图谱。所述补全知识图谱用于识别设备管理业务的运行状态。
51.其中，所述知识图谱补全模型的训练过程如图2所示，具体为：
52.（1）面对目标需求，从待补全知识图谱所属领域的专业数据中，确定训练数据和标签数据。
53.一个示例：面向推理任务，即目标需求，获取知识图谱g = (v，e)的训练数据；其中，g表示有向图，v表示结点集合，e表示边集合，r表示头结点与尾结点间的关系；r、vi、vj分别表示有向图中某条边及其连接的头结点和尾结点，i和j表示结点在结点集合中对应的下标；，n表示结点个数，也表示不同实体类型的数量；，m表示边个数，也表示不同关系类型的数量；，。
54.（2）基于所述训练数据构建关系邻接矩阵a，记；其中，(1)。
55.其中，a是三维的关系邻接矩阵，表示关系邻接矩阵中某个元素；表示边对应的某类关系，k表示该关系在关系邻接矩阵中对应的下标。
56.（3）根据所述关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型。
57.一个示例：基于关系图卷积网络的教师网络模型包括输入层、隐藏层和输出层。
58.输入层使用关系邻接矩阵作为输入特征，模型输入层需训练的参数矩阵为，其中，d表示结点编码后的向量维度。
59.隐藏层为关系图卷积网络；隐藏层利用多层图卷积网络来模拟信息在网络结构中的传递，每层传递框架定义如下：
[0060] (2)。
[0061]
其中，表示结点i在第l+1隐藏层的表示，表示结点i在第l隐藏层的表示，表示结点i的所有邻居结点在第l隐藏层的表示，表示r类型关系对应的参数矩阵，将同类型边的邻居结点进行线性变换，即边类型的个数也就是参数矩阵的个数，也是参数矩阵，指自己的特征权重矩阵。为与结点i有r类型连边的邻居结点，是针对特定问题的归一化常数，可以学习得到也可以预先设定，（例如），w是系数矩阵，将同类型边的邻居结点进行线性变换，是logistics sigmoid激活函数，记：(3)。
[0062]
输出层用于基于更新后的softmax函数预测多分类结果的概率；更新后的softmax函数是基于知识蒸馏技术，通过增加一个超参数t来软化教师网络模型中softmax函数后得到的函数；更新后的softmax函数具体公式如下：
[0063] (4)。
[0064]
其中，是i类别的分类结果概率，表示输出层的输入向量，k表示总分类个数，z j
表示j类别的输入向量，i表示其中一个类别。
[0065]
基于关系图卷积网络的教师网络模型的损失函数定义如下：
[0066] (5)。
[0067]
其中，l为基于关系图卷积网络的教师网络模型的损失，y是具有真实标签数据的训练数据集合，是第i个已标注的输入数据在第k个位置的预测输出，是第i个已标注的输入数据在第k个位置的真实标签数据。
[0068]
（4）根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型。
[0069]
一个示例：1）构建基于软决策树的学生网络模型，具体为：
[0070]
构造二元软决策树，其中，每一个叶子结点j（此叶子结点j表示其中一个类别）学习概率分布为。每一个内部结点i（内部结点i表示该结点在内部结点集合中对应的下标）有一个学习到的过滤器和一个偏置，则每一个内部结点处，选择最右边的分支的概率为：
[0071] (6)。
[0072]
其中，x是基于软决策树的学生网络模型的输入数据，即关系邻接矩阵，是sigmoid函数。
[0073]
基于软决策树的学生网络模型包括输入层、二元软决策树和输出层；基于软决策树的学生网络模型的输入层和输出层，与基于关系图卷积网络的教师网络模型的输入层和输出层相同，在此不再过多赘述。
[0074]
2）根据知识蒸馏技术和基于关系图卷积网络的教师网络模型的逻辑输出，确定基于软决策树的学生网络模型的损失函数，其损失函数具体如下：
[0075] (7)。
[0076]
其中，表示基于软决策树的学生网络模型的损失，u和z分别为教师网络模型和学生网络模型的输出层的概率值，t是一个设置好的超参数，用于软化softmax激活函数的值，与分别表示教师网络模型和学生网络模型经过公式(4)，即更新后的softmax函数，软化后的类概率，称之为软目标；下标i表示第i类的概率值。
[0077]
3）根据所述关系邻接矩阵、所述标签数据以及基于软决策树的学生网络模型的损失函数，训练基于软决策树的学生网络模型，得到知识图谱补全模型。
[0078]
综上述，基于知识蒸馏技术训练教师网络模型和学生网络模型的整体结构如图3所示。
[0079]
（5）使用训练好的学生网络模型，基于测试数据集进行可解释推理，具体为：在使用训练好的学生网络模型进行预测时，令公式(4)中的t=1并取其结果作为输出值，此时公式(4)更新如下：
[0080] (8)。
[0081]
综上述，基于训练好的学生网络模型完成推理预测的整体结构如图4所示。
[0082]
下面通过具体示例来说明本发明实施例所述的方法。
[0083]
1.基于某单位的设备管理业务构建并获取知识图谱，如图5所示。其中，构建的训练数据集如表1所示，测试数据集如表2所示。
[0084]
表1 面向推理任务的某单位设备管理知识图谱训练数据集
[0085]
头结点边关系尾结点设备1配有零件1设备1运行地点1地点1存放设备1人员1负责地点1人员1负责设备1人员1负责零件1设备2运行地点2设备2配有零件2人员1负责设备2人员1负责地点2设备3运行地点3地点3存放设备3人员1负责地点3
………………
[0086]
表2 面向推理任务的某单位设备管理知识图谱测试数据集
[0087]
头结点边关系尾结点地点1存放零件1人员1负责零件2人员1负责设备3
………………
[0088]
2.基于训练数据集，构建表示知识图谱结构的邻接关系，如表3所示，并将其转换为关系邻接矩阵a。
[0089]
表3 某单位设备管理知识图谱邻接关系
[0090]
结点1/设备1结点2/人员1结点3/地点1结点4/零件1
……
结点1//设备1关系1/运行关系2/配有
……
结点2/人员1关系3/负责关系3/负责关系1/负责
……
结点3/地点1关系4/存放
……
结点4/零件1
………………………………
[0091]
3.基于训练数据集完成基于关系图卷积网络的教师网络模型的训练，具体为：1）输入关系邻接矩阵a，设定表示结点编码的向量维度的参数d；2）根据公式（2）-（5）构建基于关系图卷积网络的教师网络模型，并基于训练数据集完成模型训练。
[0092]
4.训练基于软决策树的学生网络模型，具体为：1）基于已训练好的教师网络模型，获取其输出层的概率分布q，根据公式（6）构造二元软决策树；2）根据公式（7）完成学生网络模型的训练。
[0093]
5.基于公式（8）使用已训练好的学生网络模型对测试集进行预测与评估。模型的可解释性通过学生网络模型的决策树完成，如图6所示。
[0094]
实施例二
[0095]
为了执行上述实施例一对应的方法，以实现相应的功能和技术效果，下面提供一种基于知识蒸馏的知识图谱补全系统。
[0096]
如图7所示，本发明实施例提供的一种基于知识蒸馏的知识图谱补全系统，包括：
[0097]
待补全知识图谱获取模块701，用于获取待补全知识图谱。所述待补全知识图谱是根据设备管理业务构建的知识图谱。
[0098]
待补充信息确定模块702，用于根据知识图谱补全模型和所述待补全知识图谱，确定所述待补全知识图谱的待补充信息。
[0099]
补全知识图谱确定模块703，用于基于所述待补充信息，补充所述待补全知识图谱，得到补全知识图谱。所述补全知识图谱用于识别设备管理业务的运行状态。
[0100]
其中，所述知识图谱补全模型的训练过程为：
[0101]
（1）面对目标需求，从待补全知识图谱所属领域的专业数据中，确定训练数据和标签数据；（2）基于所述训练数据构建关系邻接矩阵；（3）根据所述关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型；（4）根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型。
[0102]
实施例三
[0103]
本发明实施例提供一种电子设备包括存储器及处理器，该存储器用于存储计算机程序，该处理器运行计算机程序以使电子设备执行实施例一的基于知识蒸馏的知识图谱补全方法。
[0104]
可选地，上述电子设备可以是服务器。
[0105]
另外，本发明实施例还提供一种计算机可读存储介质，其存储有计算机程序，该计算机程序被处理器执行时实现实施例一的基于知识蒸馏的知识图谱补全方法。
[0106]
与现有技术相比，本发明具有以下优点：
[0107]
1、面向知识图谱中较复杂的知识推理任务，使用基于关系图卷积网络的教师网络模型，推理效果更好。在保证模型效果的前提下基于知识蒸馏技术对基于关系图卷积网络的教师网络模型进行压缩。
[0108]
2、面向知识图谱中较复杂的知识推理任务，教师网络模型为基于关系图卷积网络的教师网络模型，学生网络模型为基于软决策树的学生网络模型，在实现规模缩小的基础上，具备了可解释性，达到知识图谱补全的目的。
[0109]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0110]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于知识蒸馏的知识图谱补全方法，其特征在于，包括：获取待补全知识图谱；所述待补全知识图谱是根据设备管理业务构建的知识图谱；根据知识图谱补全模型和所述待补全知识图谱，确定所述待补全知识图谱的待补充信息；基于所述待补充信息，补充所述待补全知识图谱，得到补全知识图谱；所述补全知识图谱用于识别设备管理业务的运行状态；其中，所述知识图谱补全模型的训练过程为：面对目标需求，从待补全知识图谱所属领域的专业数据中，确定训练数据和标签数据；基于所述训练数据构建关系邻接矩阵；根据所述关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型；根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型。2.根据权利要求1所述的一种基于知识蒸馏的知识图谱补全方法，其特征在于，基于关系图卷积网络的教师网络模型包括输入层、隐藏层和输出层；所述输出层用于基于更新后的softmax函数预测多分类结果的概率；更新后的softmax函数是基于知识蒸馏技术，通过增加一个超参数t来软化教师网络模型中softmax函数后得到的函数。3.根据权利要求2所述的一种基于知识蒸馏的知识图谱补全方法，其特征在于，更新后的softmax函数的公式为：；其中，是i类别的分类结果概率，表示输出层的输入向量，k表示总分类个数，z j
表示j类别的输入向量，i表示其中一个类别，t表示一个设置好的超参数。4.根据权利要求1所述的一种基于知识蒸馏的知识图谱补全方法，其特征在于，根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型，具体包括：构建基于软决策树的学生网络模型；根据知识蒸馏技术和基于关系图卷积网络的教师网络模型的逻辑输出，确定基于软决策树的学生网络模型的损失函数；根据所述关系邻接矩阵、所述标签数据以及基于软决策树的学生网络模型的损失函数，训练基于软决策树的学生网络模型，得到知识图谱补全模型。5.根据权利要求4所述的一种基于知识蒸馏的知识图谱补全方法，其特征在于，所述基于软决策树的学生网络模型的损失函数为：；其中，表示基于软决策树的学生网络模型的损失，u和z分别表示教师网络模型和学生网络模型的输出层的概率值，t表示一个设置好的超参数，
与分别表示教师网络模型和学生网络模型软化后的类概率；下标i表示第i类的概率值。6.一种基于知识蒸馏的知识图谱补全系统，其特征在于，包括：待补全知识图谱获取模块，用于获取待补全知识图谱；所述待补全知识图谱是根据设备管理业务构建的知识图谱；待补充信息确定模块，用于根据知识图谱补全模型和所述待补全知识图谱，确定所述待补全知识图谱的待补充信息；补全知识图谱确定模块，用于基于所述待补充信息，补充所述待补全知识图谱，得到补全知识图谱；所述补全知识图谱用于识别设备管理业务的运行状态；其中，所述知识图谱补全模型的训练过程为：面对目标需求，从待补全知识图谱所属领域的专业数据中，确定训练数据和标签数据；基于所述训练数据构建关系邻接矩阵；根据所述关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型；根据所述关系邻接矩阵、所述标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型，得到知识图谱补全模型。7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1至5中任一项所述的基于知识蒸馏的知识图谱补全方法。8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的基于知识蒸馏的知识图谱补全方法。

技术总结
本发明公开了一种基于知识蒸馏的知识图谱补全方法、系统、设备及介质，涉及知识图谱技术领域，该方法包括根据知识图谱补全模型和待补全知识图谱确定待补充信息，并基于待补充信息得到补全知识图谱；其中，知识图谱补全模型的训练过程为：根据关系邻接矩阵和所述标签数据，采用知识蒸馏技术训练基于关系图卷积网络的教师网络模型；根据关系邻接矩阵、标签数据以及基于关系图卷积网络的教师网络模型的逻辑输出，采用知识蒸馏技术训练基于软决策树的学生网络模型得到知识图谱补全模型。本发明在实现规模缩小的基础上，具备了可解释性，达到了知识图谱补全的目的。了知识图谱补全的目的。了知识图谱补全的目的。


技术研发人员：刘鑫 姚俊萍 李晓军 郭毅
受保护的技术使用者：中国人民解放军火箭军工程大学
技术研发日：2023.05.19
技术公布日：2023/8/23