一种基于多任务学习的知识图谱链接预测方法、计算机设备及存储介质与流程

1.本发明涉及知识图谱补全技术领域。


背景技术：

2.知识图谱结构上是大型的、图结构的数据库，通常利用关系数据库维护一张巨大的三元组表来管理数据，它以三元组(h,r,t)的形式存储数据，其中h表示头实体、t表示尾实体、r表示关系。知识图谱作为人工智能领域中的一个重要研究方向，已在金融、医疗、搜索等多个领域得到广泛应用。随着人们对知识图谱的深入研究，研究人员发现知识图谱中普遍存在信息缺失的问题。如：在freebase数据集中，超过70％的个人信息没有出生地信息、超过99％的个人缺少种族信息等。如果采用人工的方式向知识图谱中添加新信息，成本很高，难以满足实际需求。链接预测方法是一种知识图谱补全技术，可以根据知识图谱中已经存在的三元组的信息预测知识图谱的缺失信息。
3.现有的链接预测模型根据其构建方式可以大致分为线性模型、语义匹配模型和卷积神经网络模型。其中：
4.线性模型，将关系看作从头实体到尾实体的平移，通过计算关系平移后的头实体嵌入向量和尾实体嵌入向量的距离来评估三元组的真实性，距离越大，三元组的真实性越低。线性模型的优点是结构简单；缺点是表达能力有限，难以处理复杂情况。
5.语义匹配模型，通过计算实体和关系在向量空间中潜在语义的评分来评价三元组的真实性。语义匹配模型的优点是结构清晰；缺点是随着实体嵌入向量和关系嵌入向量维度的增大，模型的参数量也会随之不断增加。卷积神经网络模型，通过卷积、池化等操作捕获头实体和关系之间的复杂交互，进而生成蕴含头实体信息和关系信息的嵌入向量，最后将嵌入向量输入softmax函数得到实体集合中每个实体的预测得分，取得分最高的实体作为模型的输出。卷积神经网络模型的优点是预测尾实体的准确度高；缺点是interacte等模型对实体嵌入向量和关系嵌入向量进行重塑，破坏了嵌入向量的语义信息，导致三元组中的平移特性被破坏。


技术实现要素：

6.本发明解决interacte模型存在的平移特性被破坏的问题。本发明提供以下技术方案：一种基于多任务学习的知识图谱链接预测方法，包括：
7.步骤1：对知识图谱数据集进行预处理生成逆关系三元组，将所述得到的逆关系三元组的知识图谱数据集作为输入，所述得到的逆关系三元组的知识图谱数据集划分为训练集、验证集和测试集；
8.步骤2：构建基于多任务学习的知识图谱链接预测模型，所述模型包含图卷积编码器、多任务框架、interacte解码器和线性模型解码器模块；
9.步骤3：对步骤2中所述多任务学习的知识图谱链接预测模型在步骤1的训练集上
进行迭代训练；
10.步骤4：将所述验证集中待预测逆关系三元组的头实体和关系输入到步骤3中优化的的基于多任务学习的知识图谱链接预测模型中，得到interacte模型作为解码器的全部尾实体的预测得分，使用mrr指标评估模型的性能，保存所有迭代中mrr指标最高的模型参数；
11.步骤5：加载步骤4的模型参数，将测试集中待预测三元组的头实体和关系输入加载模型参数的模型中，得到interacte模型作为解码器的全部尾实体的预测得分，将预测得分最高的尾实体作为输出。
12.进一步的，提供一种优选实施方式，所述步骤1具体包括以下步骤：
13.步骤1.1：从知识图谱数据集中依次提取三元组；
14.步骤1.2：对步骤1.1得到的三元组进行预处理生成逆关系三元组，并将逆关系三元组添加到知识图谱数据集中；
15.步骤1.3：将知识图谱数据集划分为训练集、验证集和测试集。
16.进一步的，提供一种优选实施方式，将所述知识图谱数据集按照8:1:1的比例划分为训练集、验证集与测试集。
17.进一步的，提供一种优选实施方式，所述步骤2具体还包括以下步骤：
18.步骤2.1：对于给定三元组中的头实体嵌入向量和关系嵌入向量，使用的实体-关系嵌入组合，得到蕴含关系信息的实体嵌入向量；
19.步骤2.2：将步骤2.1中生成的实体嵌入向量通过图卷积神经网络聚合信息，得到新的实体嵌入向量；
20.步骤2.3：将步骤2.2中得到的实体嵌入向量和关系嵌入向量输入多任务学习框架中，得到两组向量，每组各自包含特定的实体嵌入向量和关系嵌入向量，将两组嵌入向量分别输入interacte模型和线性模型中；
21.步骤2.4：采用interacte模型和线性模型作为解码器分别得到实体集合中每个实体的预测得分。
22.进一步的，提供一种优选实施方式，所述步骤2.1中实体-关系嵌入组合具体为：
23.eo＝w
reo
+eo24.其中，eo∈rd为头实体嵌入向量，er∈rd为关系嵌入向量，wr是与关系相关的参数矩阵，wr∈rd。
25.进一步的，提供一种优选实施方式，所述步骤2.2中得到新的实体嵌入向量具体为：
[0026][0027]
其中，n(v)是节点v的出边的近邻集合。节点u为节点v的相邻节点，二者通过关系r相互连接。其中，eu为节点u的初始嵌入向量，wr是与关系相关的参数矩阵，wr∈rd。
[0028]
进一步的，提供一种优选实施方式，所述步骤2.4中取得预测得分的具体方法为：
[0029]
p(h,r,t)＝|w
rh
h+r-w
rt
t|
[0030]
其中，h，t，r∈rd，w
rh
与w
rt
为嵌入矩阵。
[0031][0032]
其中，es表示头实体的嵌入、eo表示尾实体的嵌入、er表示关系的嵌入，vec(
·
)表示将张量变换为向量，*表示深度卷积。ω表示卷积滤波器。w是一个权重矩阵。f和g分别表示relu函数和sigmoid函数。eo为依次用实体集合中每个实体的进行替换得到对应的预测得分。
[0033]
进一步的，提供一种优选实施方式，所述步骤3具体包括以下步骤：
[0034]
步骤3.1：将步骤1中训练集的数据输入到步骤2中所述模型中，分别得到实体集合中每个实体的预测得分；
[0035]
步骤3.2：分别计算预测评分值与真实值之间的差值来获得损失值，对损失值求和作为模型的损失值；
[0036]
步骤3.3：通过反向传播的方式进行参数优化，训练得到基于多任务学习的知识图谱链接预测模型。
[0037]
方案三、一种计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行以上任意一项所述的方法实现。
[0038]
方案四、一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现以上任一项所述的方法的步骤实现。
[0039]
本发明的有益之处在于：
[0040]
为了更好的利用三元组中的关系信息，本发明首先采用了一种实体关系交互方法将关系信息融入到实体嵌入向量中。
[0041]
除此之外，针对interacte模型破坏了三元组中平移特性的问题，本发明对于给定三元组在将图卷积神经网络作为编码器的基础上，将经过图卷积神经网络聚合信息的实体嵌入向量和关系嵌入向量输入多任务学习框架中，生成两组向量，之后将两组嵌入向量分别输入interacte模型和本文提出的线性模型中，同时使用interacte模型和线性模型作为解码器，通过共享模型的底层参数的方式，将平移特性有效的融合到卷积神经网络模型中，使得interacte模型能够捕获平移特性，进而提升模型性能。
[0042]
本发明所述的基于多任务学习的知识图谱链接预测方法适用于知识图谱补全领域，实现根据知识图谱中已经存在的头实体和关系信息预测缺失的尾实体的功能；通过扩大模型的参数空间，解决interacte等模型在卷积阶段对实体嵌入向量和关系嵌入向量进行重塑，破坏了嵌入向量的结构，导致三元组中实体和关系之间的平移特性被破坏的问题。
附图说明
[0043]
图1为本发明所述的基于多任务学习的知识图谱链接预测方法的流程图。
[0044]
图2为本发明所述的基于多任务学习的知识图谱链接预测模型的总体架构图。
[0045]
图3为实施方式一所述的一种基于多任务学习的知识图谱链接预测方法中interacte模型结构图。
具体实施方式
[0046]
为使本技术实施方式的目的、技术方案和优点更加清楚，下面将结合本技术实施
方式中的附图，对本技术实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本技术一部分实施方式，而不是全部实施方式。
[0047]
实施方式一、参见图2说明本实施方式。本实施方式提供了一种基于多任务学习的知识图谱链接预测方法，包括以下步骤：
[0048]
步骤1：对知识图谱数据集进行预处理生成逆关系三元组，将所述得到的逆关系三元组的知识图谱数据集作为输入，所述得到的逆关系三元组的知识图谱数据集划分为训练集、验证集和测试集；
[0049]
步骤2：构建基于多任务学习的知识图谱链接预测模型，所述模型包含图卷积编码器、多任务框架、interacte解码器和线性模型解码器模块；
[0050]
步骤3：对步骤2中所述多任务学习的知识图谱链接预测模型在步骤1的训练集上进行迭代训练；
[0051]
步骤4：将所述验证集中待预测逆关系三元组的头实体和关系输入到步骤3中优化的的基于多任务学习的知识图谱链接预测模型中，得到interacte模型作为解码器的全部尾实体的预测得分，使用mrr指标评估模型的性能，保存所有迭代中mrr指标最高的模型参数；
[0052]
步骤5：加载步骤4的模型参数，将测试集中待预测三元组的头实体和关系输入加载模型参数的模型中，得到interacte模型作为解码器的全部尾实体的预测得分，将预测得分最高的尾实体作为输出。
[0053]
实施方式二、本实施方式是对实施方式一提供的一种基于多任务学习的知识图谱链接预测方法，所述步骤1具体包括以下步骤：
[0054]
步骤1.1：从知识图谱数据集中依次提取三元组；
[0055]
步骤1.2：对步骤1.1得到的三元组进行预处理生成逆关系三元组，并将逆关系三元组添加到知识图谱数据集中；
[0056]
步骤1.3：将知识图谱数据集划分为训练集、验证集和测试集。
[0057]
以下为具体实施例：
[0058]
步骤1.1：从知识图谱数据集中依次提取三元组，例如：美国，首都，华盛顿。构造三元组为(美国，首都，华盛顿)；
[0059]
步骤1.2：对步骤1.1得到的三元组进行预处理生成逆关系三元组，并将逆关系三元组添加到知识图谱数据集中，在此实例中应生成数据：华盛顿，首都_inverse，美国，向知识图谱数据集添加新的三元组为(华盛顿，首都_inverse，美国)；
[0060]
步骤1.3：将知识图谱数据集划分为训练集、验证集和测试集。
[0061]
实施方式三、本实施方式是对实施方式二提供的一种基于多任务学习的知识图谱链接预测方法，将所述知识图谱数据集按照8:1:1的比例划分为训练集、验证集与测试集。
[0062]
实施方式四、本实施方式是对实施方式一提供的一种基于多任务学习的知识图谱链接预测方法，所述步骤2具体还包括以下步骤：
[0063]
步骤2.1：对于给定三元组中的头实体嵌入向量和关系嵌入向量，使用的实体-关系嵌入组合，得到蕴含关系信息的实体嵌入向量；
[0064]
步骤2.2：将步骤2.1中生成的实体嵌入向量通过图卷积神经网络聚合信息，得到新的实体嵌入向量；
[0065]
步骤2.3：将步骤2.2中得到的实体嵌入向量和关系嵌入向量输入多任务学习框架中，得到两组向量，每组各自包含特定的实体嵌入向量和关系嵌入向量，将两组嵌入向量分别输入interacte模型和线性模型中；
[0066]
步骤2.4：采用interacte模型和线性模型作为解码器分别得到实体集合中每个实体的预测得分。
[0067]
本实施方式进一步限定了步骤2的步骤，在步骤2.1中，为了保证头实体嵌入不被丢失，实体-关系嵌入组合为实体嵌入向量在乘上关系相关的参数矩阵之后再加上实体嵌入向量，该组合方式如下列公式所示:
[0068]eo
＝
reo
+eo[0069]
其中，eo∈rd为头实体嵌入向量，er∈rd为关系嵌入向量，wr是与关系相关的参数矩阵，wr∈rd。
[0070]
步骤2.2：将步骤2.1中生成的实体嵌入向量通过图卷积神经网络聚合信息，得到新的实体嵌入向量；
[0071]
在步骤2.2中，为了得到包含邻居节点信息的实体嵌入向量，以实体v为例，图卷积神经网络更新方程可表示为：
[0072][0073]
其中n(v)是节点v的出边的近邻集合。节点u为节点v的相邻节点，二者通过关系r相互连接。其中，eu为节点u的初始嵌入向量，wr是与关系相关的参数矩阵，wr∈rd。
[0074]
由于三元组是单向有序的，不同节点间的关系指向不同，如给定三元组(美国，首都，华盛顿)表明美国的首都是华盛顿，反之，华盛顿的首都是美国显然不成立。因此，需要对于每个实体的关系按照出度和入度进行划分类型，对于不同的关系类型分配不同的权重矩阵w
dir(r)
，以精确描述它们对目标节点的影响，w
dir(r)
∈rd。
[0075]
在步骤2.3中，将步骤2.2中得到的实体嵌入向量和关系嵌入向量输入多任务学习框架中。本文提出一个适用于知识图谱链接预测领域的多任务学习框架，对于输入的实体嵌入向量和关系嵌入向量首先传入到多个专家模块中，其中每个专家模块都由简单的前馈神经网络组成。将专家模块分为共享专家和特定任务专家。共享专家学习所有任务的共享参数，可以学习所有任务中的共性信息；而特定任务专家只学习特定任务的参数，仅参与特定任务的训练。每个任务的输出层综合了共享和特定任务专家模块的知识。专家模块的公式如下所示：
[0076]
yi＝i(x)
[0077]
其中i表示第i个专家，x为专家模块的输入，yi为第i个专家模块的输出。
[0078]
在本模型中，通过为每个任务分配一个门控网络，由门控网络控制不同专家传递信息的多少，最后将不同专家的输出加权求和，输入全连接层中得到输出结果。门控机制是一种用于控制神经网络中信息流动的技术，一般由sigmoid激活函数以及hadamard积(对应元素相乘)操作组成。sigmoid函数通常用于计算一个“门”(即控制信息流量的参数)的开启程度，输出值在[0，1]之间，较接近于1表示完全开启，较接近于0表示关闭。hadamard积也称为逐元素乘积或逐点乘积，是一种数学运算。它是指将两个同维度的矩阵或向量中的对应
元素相乘，得到一个新的矩阵或向量。门通过与输入数据做hadamard积控制信息传递的多少。
[0079]
门控网络的门的具体公式如下所示：
[0080]
g(x)＝(wx+b)
[0081]
此处σ表示sigmoid激活函数，w为门的权重矩阵，b表示偏置，x表示控制门控机制的影响因子。
[0082]
如果设置门控机制的影响因子为x，通过门控机制过滤的元素为y，则一个典型的门控机制如公式2-2所示：
[0083]
y1＝
·
σ(wx+b)
[0084]
y1表示经过门控机制之后过滤得到的结果。通过sigmoid函数设置为0到1之间，描述应该让多少y信息通过。
[0085]
在本发明中，给定的输入是实体嵌入向量eo和关系嵌入向量er，如果专家模块的输入为实体，则第i个专家模块的输出为:
[0086]eoi
＝i(eo)
[0087]eo
∈rd为头实体嵌入向量，e
oi
为第i个专家模块输出的实体嵌入向量。
[0088]
如果专家模块的输入为关系，则第i个专家模块的输出为:
[0089]eri
＝i(er)
[0090]er
∈rd为关系嵌入向量，e
ri
为第i个专家模块输出的关系嵌入向量。
[0091]
在本发明中，由于采用门控网络控制不同专家传递信息的多少，而不仅仅是控制单一的前馈神经网络，门控网络控制与门控网络相关联的特定专家和共享专家的输出。所以本发明采用softmax函数计算一个不同专家对于任务的影响程度。对于输入的实体嵌入向量和关系嵌入向量，本发明同时将interacte解码器和线性模型作为解码器，因而需要为每个任务生成一组独立的实体嵌入向量和关系嵌入向量。
[0092]
实体嵌入向量的门为：
[0093]
ge(x)＝oftmax(wex)
[0094]
we为参数矩阵，we∈rn×d。
[0095]
关系嵌入向量的门为：
[0096]gr
(x)＝oftmax(wrx)
[0097]
wr为参数矩阵，wr∈rn×d。
[0098]
interacte模型的实体嵌入向量为：
[0099][0100]gi
(eo)i为interacte门控网络中第i个专家的影响，e
oi
为第i个专家模块输出的实体嵌入向量，f
i1
(
·
)表示interacte模型对应的实体的全连接层。将每个专家模块的输出求和再经过一层全连接层得到interacte模型的实体嵌入向量。
[0101]
线性模型的实体嵌入向量为：
[0102]
[0103]gt
(eo)i为线性门控网络中第i个专家的影响，e
ri
为第i个专家模块输出的实体嵌入向量，f
t1
(
·
)表示表示线性模型对应的实体全连接层。将每个专家模块的输出求和再经过一层全连接层得到线性模型的实体嵌入向量。
[0104]
interacte模型的关系嵌入向量为：
[0105][0106]gi
(eo)i为interacte门控网络中第i个专家的影响，e
oi
为第i个专家模块输出的实体嵌入向量，f
i2
(
·
)表示interacte模型对应的关系全连接层。将每个专家模块的输出求和再经过一层全连接层得到interacte模型的关系嵌入向量。
[0107]
线性模型的关系嵌入向量为：
[0108][0109]gt
(eo)i为线性门控网络中第i个专家的影响，e
ri
为第i个专家模块输出的实体嵌入向量，f
t2
(
·
)表示线性模型对应的关系全连接层。将每个专家模块的输出求和再经过一层全连接层得到线性模型的关系嵌入向量。
[0110]
步骤2.4：采用interacte模型和线性模型作为解码器分别得到实体集合中每个实体的预测得分。
[0111]
将两组嵌入向量分别输入interacte模型和本文提出的线性模型中，同时使用interacte模型和线性模型作为解码器，通过共享模型的底层参数的方式，将平移特性有效的融合到卷积神经网络模型中，使得interacte模型能够捕获平移特性，进而提升模型性能。
[0112]
如图3所示，interacte采用特征排列将实体嵌入向量es和关系嵌入er重排列，并生成t个随机排列序列。
[0113]
p
t
＝[[(e
s1
,e
r1
)
…
(e
st
,e
rt
)]
[0114]
使用循环卷积运算对每个排列序列进行卷积操作，将实体嵌入和关系嵌入的交互表示成一个张量序列。最后，对张量序列进行特征重整并将其展平，得到最终的嵌入向量表示。其公式如下所示:
[0115][0116]
其中vec(
·
)表示将张量变换为向量，*表示深度卷积。ω表示卷积滤波器。w是一个权重矩阵。f和g分别表示relu函数和sigmoid函数。p(es,er,eo)为为依次用实体集合中每个实体的进行替换得到对应的预测得分。
[0117]
为了增强实体和关系之间的交互关系，本文提出了一种基于1-n打分方式的线性模型。
[0118]
p(h,r,t)＝|w
rh
h+r-w
rt
t|
[0119]
在该模型中，创建了与关系相关的参数嵌入矩阵w
rh
与w
rt
，本文先采用w
rh
乘以头实体的嵌入，之后对于每一个候选实体嵌入，分别乘以w
rt
。该模型中的参数矩阵w
rh
与w
rt
初始化随机设置。p(h,r,t)为尾实体依次用实体集合中每个实体t进行替换得到对应的预测得
分。
[0120]
实施方式五、本实施方式是对实施方式四提供的一种基于多任务学习的知识图谱链接预测方法的进一步限定，所述步骤2.1中实体-关系嵌入组合具体为：
[0121]eo
＝w
reo
+eo[0122]
其中，eo∈rd为头实体嵌入向量，er∈rd为关系嵌入向量，wr是与关系相关的参数矩阵，wr∈rd。
[0123]
实施方式六、本实施方式是对实施方式四提供的一种基于多任务学习的知识图谱链接预测方法的进一步限定，所述步骤2.2中得到新的实体嵌入向量具体为：
[0124][0125]
其中，n(v)是节点v的出边的近邻集合。节点u为节点v的相邻节点，二者通过关系r相互连接。其中，eu为节点u的初始嵌入向量，wr是与关系相关的参数矩阵，wr∈rd。
[0126]
实施方式五和实施方式六进一步限定了步骤2.1和步骤2.2，由于三元组是单向有序的，不同节点间的关系指向不同，如给定三元组(美国，首都，华盛顿)表明美国的首都是华盛顿，反之，华盛顿的首都是美国显然不成立。因此，需要对于每个实体的关系按照出度和入度进行划分类型，对于不同的关系类型分配不同的权重矩阵w
dir()
，以精确描述它们对目标节点的影响，w
dir()
∈rd。
[0127]
实施方式七、本实施方式是对实施方式四提供的一种基于多任务学习的知识图谱链接预测方法的进一步限定，所述取得预测得分的具体方法为：
[0128]
p(h,r,t)＝|w
rh
h+r-w
rt
t|
[0129]
其中，h，t，r∈rd，w
rh
与w
rt
为嵌入矩阵；
[0130][0131]
其中，es表示头实体的嵌入、eo表示尾实体的嵌入、er表示关系的嵌入，vec(
·
)表示将张量变换为向量，*表示深度卷积；ω表示卷积滤波器；w是一个权重矩阵；f和g分别表示relu函数和sigmoid函数，p(es,er,eo)为尾实体依次用实体集合中每个实体eo进行替换得到对应的预测得分。
[0132]
实施方式八、本实施方式是对实施方式一提供的一种基于多任务学习的知识图谱链接预测方法的进一步限定，所述步骤3包括以下步骤：
[0133]
步骤3.1：将步骤1中训练集的数据输入到步骤2中所述模型中，分别得到实体集合中每个实体的预测得分；
[0134]
步骤3.2：分别计算预测评分值与真实值之间的差值来获得损失值，对损失值求和作为模型的损失值；
[0135]
步骤3.3：通过反向传播的方式进行参数优化，训练得到基于多任务学习的知识图谱链接预测模型。
[0136]
本实施方式进一步限定了步骤3：对步骤2中基于多任务学习的知识图谱链接预测模型在训练集上进行迭代训练，每次迭代具体包含以下步骤：
[0137]
步骤3.1：将步骤1中训练集的数据输入到步骤2的模型中，分别得到实体集合中每个实体的预测得分；
[0138]
步骤3.2：分别计算预测评分值与真实值之间的差值来获得损失值，之后对损失值求和作为模型的损失值。
[0139]
其中，步骤3.2中interacte所用的二元交叉熵损失函数的计算过程如下：
[0140][0141]
其中ti是第i个候选实体eo的标签，如果三元组(es,er,eo)出现在数据集中，则为真实三元组，标签为1.否则标签为0，pi是(es,er,eo)相对应的预测得分。
[0142]
其中，步骤3.2中的线性模型的计算过程如下:
[0143][0144]
其中(h’,r,t’)∈s’称为负样本三元组，是在现有三元组的基础上随机替换头或尾实体得到的。线性模型采用间隔损失函数来计算损失值，计算关系平移后的头实体嵌入向量和尾实体嵌入向量的距离来评估三元组的真实性，间隔损失函数目的是使得真实三元组的得分尽可能高，负样本三元组的得分尽可能低。d(
·
)表示计算距离公式，γ为设定间隔参数，本文初始设置为40。模型的总损失如下：
[0145][0146]
其中σ1与σ2初始设置为随机参数，自适应地学习损失loss1和loss2的相对权重。
[0147]
步骤3.3：通过反向传播的方式进行参数优化，训练得到基于多任务学习的知识图谱链接预测模型。
[0148]
步骤4：将验证集中待预测三元组的头实体和关系输入到步骤3中经过更新优化之后的基于多任务学习的知识图谱链接预测模型中，得到interacte模型作为解码器的全部尾实体的预测得分，使用mrr等指标评估模型的性能，保存所有迭代中mrr指标最高的模型参数。
[0149]
步骤5：加载步骤4的模型参数，将测试集中待预测三元组的头实体和关系输入加载了模型参数的模型中，得到interacte模型作为解码器的全部尾实体的预测得分，将预测得分最高的尾实体作为输出。
[0150]
实施方式九、本实施方式提出了一种计算机设备包括存储器和处理器，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行实施方式一至八任意一项所述的方法。
[0151]
实施方式十、本实施方式提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施方式一至八任一项所述的方法的步骤。
[0152]
附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际
上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图或流程图中的每个方框、以及框图或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
[0153]
本领域技术人员可以理解，本公开的各个实施例和/或权利要求中记载的特征可以进行多种组合或结合，即使这样的组合或结合没有明确记载于本公开中。特别地，在不脱离本公开精神和教导的情况下，本公开的各个实施例和可以进行多种组合。所有这些组合均落入本公开的范围。
[0154]
以上所述仅为本发明的优选实施方式而已，并不用于限制本发明，尽管参照前述实施方式对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施方式所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于多任务学习的知识图谱链接预测方法，其特征在于，包括：步骤1：对知识图谱数据集进行预处理生成逆关系三元组，将所述得到的逆关系三元组的知识图谱数据集作为输入，所述得到的逆关系三元组的知识图谱数据集划分为训练集、验证集和测试集；步骤2：构建基于多任务学习的知识图谱链接预测模型，所述模型包含图卷积编码器、多任务框架、interacte解码器和线性模型解码器模块；步骤3：对步骤2中所述多任务学习的知识图谱链接预测模型在步骤1的训练集上进行迭代训练；步骤4：将所述验证集中待预测逆关系三元组的头实体和关系输入到步骤3中优化的的基于多任务学习的知识图谱链接预测模型中，得到interacte模型作为解码器的全部尾实体的预测得分，使用mrr指标评估模型的性能，保存所有迭代中mrr指标最高的模型参数；步骤5：加载步骤4的模型参数，将测试集中待预测三元组的头实体和关系输入加载模型参数的模型中，得到interacte模型作为解码器的全部尾实体的预测得分，将预测得分最高的尾实体作为输出。2.根据权利要求1所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，所述步骤1具体包括以下步骤：步骤1.1：从知识图谱数据集中依次提取三元组；步骤1.2：对步骤1.1得到的三元组进行预处理生成逆关系三元组，并将逆关系三元组添加到知识图谱数据集中；步骤1.3：将知识图谱数据集划分为训练集、验证集和测试集。3.根据权利要求2所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，将所述知识图谱数据集按照8:1:1的比例划分为训练集、验证集与测试集。4.根据权利要求1所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，所述步骤2具体还包括以下步骤：步骤2.1：对于给定三元组中的头实体嵌入向量和关系嵌入向量，使用的实体-关系嵌入组合，得到蕴含关系信息的实体嵌入向量；步骤2.2：将步骤2.1中生成的实体嵌入向量通过图卷积神经网络聚合信息，得到新的实体嵌入向量；步骤2.3：将步骤2.2中得到的实体嵌入向量和关系嵌入向量输入多任务学习框架中，得到两组向量，每组各自包含特定的实体嵌入向量和关系嵌入向量，将两组嵌入向量分别输入interacte模型和线性模型中；步骤2.4：采用interacte模型和线性模型作为解码器分别得到实体集合中每个实体的预测得分。5.根据权利要4所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，所述步骤2.1中实体-关系嵌入组合具体为：e
a
＝w
r
e
o
+e
a
其中，e
o
∈r
d
为头实体嵌入向量，e
r
∈r
d
为关系嵌入向量，w
r
是与关系相关的参数矩阵，w
r
∈r
d
。6.根据权利要求4所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，
所述步骤2.2中得到新的实体嵌入向量具体为：其中，n(v)是节点v的出边的近邻集合，节点u为节点v的相邻节点，二者通过关系r相互连接；其中，e
u
为节点u的初始嵌入向量，w
r
是与关系相关的参数矩阵，w
r
∈r
d
。7.根据权利要求4所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，所述步骤2.4中取得预测得分的具体方法为：p(h，r，t)＝|w
rh
h+r-w
rt
t|其中，其中，h，t，r∈r
d
，w
rh
与w
rt
为嵌入矩阵；其中，e
s
表示头实体的嵌入、e
o
表示尾实体的嵌入、e
r
表示关系的嵌入，vec(
·
)表示将张量变换为向量，*表示深度卷积，ω表示卷积滤波器，w是一个权重矩阵，f和g分别表示relu函数和sigmoid函数，p(e
s
,e
r
,e
o
)为尾实体依次用实体集合中每个实体e
o
进行替换得到对应的预测得分。8.根据权利要求1所述的一种基于多任务学习的知识图谱链接预测方法，其特征在于，所述步骤3具体包括以下步骤：步骤3.1：将步骤1中训练集的数据输入到步骤2中所述模型中，分别得到实体集合中每个实体的预测得分；步骤3.2：分别计算预测评分值与真实值之间的差值来获得损失值，对损失值求和作为模型的损失值；步骤3.3：通过反向传播的方式进行参数优化，训练得到基于多任务学习的知识图谱链接预测模型。9.一种计算机设备包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，当所述处理器运行所述存储器存储的计算机程序时，所述处理器执行权利要求1-8任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的方法的步骤。

技术总结
一种基于多任务学习的知识图谱链接预测方法、计算机设备及存储介质，涉及知识图谱补全领域。解决现有InteractE模型存在的平移特性被破坏的问题。本发明提供以下方案，对知识图谱数据集进行预处理生成逆关系三元组，将得到的逆关系三元组的知识图谱数据集作为输入；构建基于多任务学习的知识图谱链接预测模型；在所述预测模型的训练集上进行迭代训练；将验证集中待预测逆关系三元组的头实体和关系输入到所述模型中，得到InteractE模型作为解码器的全部尾实体的预测得分，将测试集中待预测三元组的头实体和关系输入加载模型参数的模型中，预测得分最高的尾实体作为输出。适用于知识图谱中已经存在的头实体和关系信息预测缺失的尾实体的方法中。缺失的尾实体的方法中。缺失的尾实体的方法中。


技术研发人员：王也 杨建华 韩启龙 宋洪涛 刘鹏
受保护的技术使用者：哈尔滨龙明科技有限公司
技术研发日：2023.05.29
技术公布日：2023/10/6