动态知识图谱预测方法、装置、电子设备及存储介质

1.本发明涉及自然语言处理技术领域，尤其涉及一种动态知识图谱预测方法、装置、电子设备及存储介质。


背景技术：

2.传统的知识图谱(knowledge graphs，kgs)以结构化的方式将现实世界的各种实体和关系表示成了多关系数据，并被应用于各种下游任务，如信息检索、对话系统、阅读理解、医疗健康等。然而，现实世界中的事件通常是变化的，很多实体和关系的语义通常随时间发生演化，因此，动态知识图谱被提出并被广泛应用。
3.动态知识图谱主要通过抽取算法和工具从不同时间的文本语料中抽取出重要的实体和关系构建而成的。由于构建算法或工具的限制，只能抽取到实体间的表象关系，很多重要的隐含关系没有被发掘出来，这将导致实体间关联关系的缺失，在一定程度上限制了动态知识图谱的准确性，进而影响动态知识图谱的准确应用。
4.基于此，现亟需提供一种动态知识图谱预测方法，已解决现有技术中构建的动态知识图谱不准确的问题。


技术实现要素：

5.本发明提供一种动态知识图谱预测方法、装置、电子设备及存储介质，用以解决现有技术中存在的缺陷。
6.本发明提供一种动态知识图谱预测方法，包括：
7.获取历史事件语料；
8.将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；
9.其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；
10.所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；
11.所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；
12.所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；
13.所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
14.根据本发明提供的一种动态知识图谱预测方法，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：
15.基于每一历史时刻的各实体的特征表达，计算每一历史时刻不存在所述关系信息的每两个实体之间的第一关联关系和任意两个历史时刻不存在所述关系信息的每两个实体之间的第二关联关系。
16.根据本发明提供的一种动态知识图谱预测方法，基于所述第一关联关系和所述第二关联关系，构建实体关联关系图，包括：
17.对所述第一关联关系进行稀疏化操作，得到第一稀疏化操作结果；
18.对所述第二关联关系进行稀疏化操作，得到第二稀疏化操作结果；
19.基于所述第一稀疏化操作结果和所述第二稀疏化操作结果，构建所述实体关联关系图。
20.根据本发明提供的一种动态知识图谱预测方法，所述关系编码模块为基于注意力机制的关系型图神经网络；
21.对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征，包括：
22.计算所述实体关联关系图中相邻实体之间的注意力系数；
23.基于所述注意力系数，聚合所述实体关联关系图中各实体之间的关系表征，得到所述实体关联关系图中各实体的邻居表征。
24.根据本发明提供的一种动态知识图谱预测方法，所述时序表征包括全局时序表征和局部时序表征；
25.基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，包括：
26.对每一历史时刻的各实体的特征表达进行编码，得到所述当前时刻各实体的局部时序表征；
27.对所述实体关联关系图中各实体的邻居表征进行编码，得到所述当前时刻各实体的全局时序表征。
28.根据本发明提供的一种动态知识图谱预测方法，基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱，包括：
29.基于门控模块，将所述当前时刻各实体的局部时序表征和所述当前时刻各实体的全局时序表征进行融合，得到所述当前时刻各实体的融合结果；
30.基于所述融合结果，构建所述当前时刻的知识图谱。
31.根据本发明提供的一种动态知识图谱预测方法，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：
32.基于每一历史时刻的各实体的特征表达，使用余弦相似度度量函数计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系。
33.本发明还提供一种动态知识图谱预测装置，包括：
34.语料获取模块，用于获取历史事件语料；
35.图谱预测模块，用于将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；
36.其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；
37.所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；
38.所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；
39.所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；
40.所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
41.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的动态知识图谱预测方法。
42.本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的动态知识图谱预测方法。
43.本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的动态知识图谱预测方法。
44.本发明提供的动态知识图谱预测方法、装置、电子设备及存储介质，该方法首先获取历史事件语料；然后将历史事件语料输入至图谱构建模型，得到当前时刻的知识图谱。该图谱构建模型通过隐含关系提取模块及关系编码模块实现对历史事件语料中隐含关系的提取及编码，进而通过实体时序表征模块得到当前时刻的知识图谱，使得到的知识图谱不仅包含有历史事件语料中各实体已经存在的关系信息，还包含在历史事件语料中隐含的各实体的关联关系，知识图谱的准确性更高，使知识图谱后续应用效果更佳。而且，通过历史事件语料的不断更新，可以使得到的知识图谱得到及时更新，实现动态知识图谱的准确动态预测。
附图说明
45.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明提供的动态知识图谱预测方法的流程示意图；
47.图2是本发明提供的动态知识图谱预测方法中图谱构建模型的结构示意图；
48.图3是本发明提供的动态知识图谱预测装置的结构示意图；
49.图4是本发明提供的电子设备的结构示意图。
具体实施方式
50.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.本发明的说明书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
52.现有技术中，由于构建算法或工具的限制，无法提取到实体间的隐含关系，在一定程度上限制了动态知识图谱的准确性，进而影响动态知识图谱的准确应用。为此，本发明实施例中提供了一种动态知识图谱预测方法。
53.图1为本发明实施例中提供的一种动态知识图谱预测方法的流程示意图，如图1所示，该方法包括：
54.s1，获取历史事件语料；
55.s2，将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；
56.其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；
57.所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；
58.所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；
59.所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；
60.所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
61.具体地，本发明实施例中提供的动态知识图谱预测方法，其执行主体可以是电子设备、电子设备中的部件、集成电路、或芯片。该电子设备可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备和智能可穿戴设备等，非移动电子设备可以为服务器、网络附属存储器和个人计算机等，此处不作具体限定。
62.首先，执行步骤s1，获取历史事件语料，该历史事件语料可以是对话语料、知识问答相关的语料，可以属于通用知识领域，及历史事件语料可以从新闻事件、维基百科等语料库中获取得到的事件语料。
63.在获取到历史事件语料之后，可以对历史事件语料进行数据清洗，清洗方式可以
是去除异常值点，该异常值点可以包括异常事件数据和异常实体等。
64.然后，执行步骤s2，将历史事件语料输入至图谱构建模型，利用图谱构建模型构建出当前时刻的知识图谱。该知识图谱的构建过程为动态的，即随着时间的经过，对于下一时刻来说，当前时刻的事件语料成为历史事件语料，进而利用此时的历史事件语料，可以构建出下一时刻的知识图谱。
65.如图2所示，该图谱构建模型可以包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块依次连接，且结构编码器与实体时序表征模块连接。
66.将历史事件语料输入至结构编码器，结构编码器可以提取历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，并利用各实体和各实体之间的关系信息，确定每一历史时刻的知识图谱，进而对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达。其中，各实体可以包括时间、地理位置、物体名、人员名、组织/机构名、字符值、金额值等。各实体之间的关系信息为历史事件语料中直接表达出的表象关系。
67.此处，结构编码器的计算公式可以为：
[0068][0069]
其中，结构编码器可以包括多层，l为结构编码器的层数序号，为ti时刻实体s在结构编码器的第l+1层的输出，s泛指某一实体，为ti时刻实体s在结构编码器的第l层的输出，f为结构编码器的第l+1层的处理函数，为ti时刻的实体es的邻居实体的集合，es为某一具体实体，eo为ti时刻除es外的其他具体实体，o泛指除实体s外的某一其他实体，为ti时刻实体o在结构编码器的第l层的输出，xr为实体s与实体o之间的关系信息r的向量表征，w1、w2分别可学习的参数矩阵。
[0070]
ti时刻各实体在结构编码器的最后一层的输出即为ti时刻的各实体的特征表达。
[0071]
每一历史时刻的各实体的特征表达输入至隐含关系提取模块，隐含关系提取模块则可以自动发掘不同实体之间隐含的重要关联关系，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系。
[0072]
此处，第一关联关系和第二关联关系，均表征各实体之间的隐含关系。可以理解的是，第一关联关系为每个时间片内各实体之间的隐含关系，第二关联关系是跨时间片的各实体之间的隐含关系。
[0073]
第一关联关系和第二关联关系，均可以通过使用余弦相似度度量函数计算各实体之间的相似度衡量强弱，第一关联关系可以通过第一相似度矩阵进行表征，第二关联关系可以通过第二相似度矩阵进行表征。余弦相似度度量函数可以表示为：
[0074][0075]
其中，d(x,y)表示变量矩阵x、y的相似度矩阵，t表示矩阵转置，w3、w4∈rd×d为可学习的权重参数，d为常数。
[0076]
此后，利用相似度大于0的第一关联关系和第二关联关系，构建实体关联关系图。该实体关联关系图中，只考虑各实体的隐含关系，并不考虑历史事件语料中各实体已经存在的关系信息。
[0077]
将实体关联关系图输入至关系编码模块，通过关系编码模块对实体关联关系图进行编码，得到实体关联关系图中各实体的邻居表征。为了充分利用新学到的隐含关系，关系编码模块可以为基于注意力机制的关系型图神经网络。进而，在对实体关联关系图进行编码时，可以先通过如下公式计算实体关联关系图中相邻实体之间的注意力系数：
[0078][0079]
其中，α
ij
为实体i和实体j之间的注意力系数，l＝0时为结构编码器输出的实体i的特征表达，和分别为隐含关系提取模块第l层的输出，为实体i和实体j之间的关系表征，为实体i和实体k之间的关系表征，表示实体i在实体关联关系图中的邻居实体集合，a∈r
3d
和是关系编码模块的每层中可学习的参数矩阵，f(
·
)是leakyrelu激活函数，||是向量拼接操作。
[0080]
然后，利用注意力系数，聚合实体关联关系图中各实体之间的关系表征，得到实体关联关系图中各实体的邻居表征。即有：
[0081][0082]
其中，为实体i的邻居表征，即关系编码模块的第l层输出，g(
·
)是relu激活函数，w6和w7是关系编码模块中每层的参数矩阵。
[0083]
将结构编码器输出的每一历史时刻的各实体的特征表达和关系编码模块输出的实体关联关系图中各实体的邻居表征，均输入至实体时序表征模块，可以通过实体时序表征模块提取出当前时刻各实体的时序表征。实体时序表征模块可以为门控循环递归网络。
[0084]
当前时刻每个实体的时序表征均可以包括全局时序表征和局部时序表征，全局时序表征可以反应每个实体的全局时序信息，局部时序表征可以反映每个实体在最近一段时间的语义变化。
[0085]
因此，在提取当前时刻各实体的时序表征时，可以对每一历史时刻的各实体的特征表达进行编码，得到当前时刻各实体的局部时序表征。该过程可以通过如下公式表示：
[0086][0087]
其中，为t+1时刻实体s的局部时序表征，为t时刻实体s的局部时序表征，h
s,t
是t时刻实体s的特征表达。
[0088]
对实体关联关系图中各实体的邻居表征进行编码，得到当前时刻各实体的全局时序表征。
[0089]
该过程可以通过如下公式表示：
[0090][0091]
其中，为t+1时刻实体s的全局时序表征，为t时刻实体s的全局时序表征，z
s,t
是t时刻实体关联关系图中实体s的邻居表征。
[0092]
此后，利用当前时刻各实体的时序表征，构建当前时刻的知识图谱。该过程可以利用门控循环递归网络中的门控模块，将当前时刻各实体的局部时序表征和当前时刻各实体的全局时序表征进行融合，得到当前时刻各实体的融合结果，并利用融合结果，构建得到当前时刻的知识图谱。当前时刻各实体的融合结果可以通过如下公式进行表示：
[0093][0094]
其中，e
s,t+1
为t+1时刻实体s的融合结果，ge∈rd为可学习的门控向量。
[0095]
本发明实施例中提供的动态知识图谱预测方法，首先获取历史事件语料；然后将历史事件语料输入至图谱构建模型，得到当前时刻的知识图谱。该图谱构建模型通过隐含关系提取模块及关系编码模块实现对历史事件语料中隐含关系的提取及编码，进而通过实体时序表征模块得到当前时刻的知识图谱，使得到的知识图谱不仅包含有历史事件语料中各实体已经存在的关系信息，还包含在历史事件语料中隐含的各实体的关联关系，知识图谱的准确性更高，使知识图谱后续应用效果更佳。而且，通过历史事件语料的不断更新，可以使得到的知识图谱得到及时更新，实现动态知识图谱的准确动态预测。
[0096]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测方法，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：
[0097]
基于每一历史时刻的各实体的特征表达，计算每一历史时刻不存在所述关系信息的每两个实体之间的第一关联关系和任意两个历史时刻不存在所述关系信息的每两个实体之间的第二关联关系。
[0098]
具体地，在计算第一关联关系和第二关联关系时，为提高计算效果，只计算历史时刻的知识图谱中没有关联的实体间的关联关系。
[0099]
因此，可以利用每一历史时刻的各实体的特征表达，计算每一历史时刻不存在关系信息的每两个实体之间的第一关联关系，即有：
[0100][0101]
其中，表示t
p
时刻的知识图谱中任意两个实体ei,ej之间的第一
相似度矩阵，为t
p
时刻的知识图谱中的实体个数，为t
p
时刻的知识图谱中任意两个实体ei,ej之间的相似度，为t
p
时刻实体ei的特征表达，为t
p
时刻实体ej的特征表达。
[0102]
可以利用每一历史时刻的各实体的特征表达，计算出现在任意两个时刻t
p
和tq不存在关系信息的两个实体ei,ej之间的第二关联关系，即有：
[0103][0104]
其中，表示t
p
时刻的知识图谱中任意一个实体和tq时刻的知识图谱中任意一个实体之间的第二相似度矩阵，表示t
p
时刻的知识图谱中第i个实体ei和tq时刻的知识图谱中第j个实体ej之间的相似度，为t
p
时刻实体ei的特征表达，为tq时刻实体ej的特征表达。
[0105]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测方法，基于所述第一关联关系和所述第二关联关系，构建实体关联关系图，包括：
[0106]
对所述第一关联关系进行稀疏化操作，得到第一稀疏化操作结果；
[0107]
对所述第二关联关系进行稀疏化操作，得到第二稀疏化操作结果；
[0108]
基于所述第一稀疏化操作结果和所述第二稀疏化操作结果，构建所述实体关联关系图。
[0109]
具体地，为了保留重要的关联关系并且减少噪声的干扰，分别对第一关联关系和第二关联关系进行稀疏化操作，得到第一稀疏化操作结果和第二稀疏化操作结果。
[0110]
即有：
[0111][0112][0113]
其中，表示的第一稀疏化操作结果，表示的第一稀疏化操作结果，表示第一相似度矩阵的第i行。表示第二相似度矩阵的第二稀疏化操作结果，表示的第二稀疏化操作结果，表示第二相似度矩阵的第i行。为中取值大的前k1个，为中取值大的前k2个，k1和k2均为常数。此处，每个记录了t
p
时刻的知识图谱中重要的隐含关联关系，每个记录了出现在不同时刻实体间的重要隐含关联关系。
[0114]
此后，利用第一稀疏化操作结果和第二稀疏化操作结果，构建实体关联关系图
当在中实体和之间构建t
p
时刻的隐含关系。当时，在中实体和中构建跨时刻的隐含关系。需要说明的是，只在中考虑新构建的隐含关系，不考虑历史事件语料中已经存在的关系信息。
[0115]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测方法，图谱构建模型基于如下步骤训练得到：
[0116]
将事件语料样本按照时间进行排序，分别将80％，10％和10％的数据作为训练集、验证集和测试集。
[0117]
将训练集输入至初始构建模型，使初始构建模型自动学习图谱构建功能，得到构建结果。
[0118]
利用构建结果，计算损失函数值，并根据损失函数值，更新初始构建模型的结构参数，直至初始构建模型收敛，此时得到的结构参数相对于事件语料样本达到最优化。
[0119]
根据收敛的初始构建模型在验证集上图谱构建的精度选择验证集上表现最优的初始构建模型作为最终训练得到的图谱构建模型。
[0120]
将训练得到的图谱构建模型在测试集上进行测试，并评估图谱构建模型的图谱构建的精度和准确率。本发明实施例中，分别采用数据集icews14、icews05-15和icews18作为测试集，对图谱构建模型测试，采用mrr、hits@1和hits@10指标衡量图谱构建模型的性能。测试结果如表1所示。图谱构建模型在上述三个指标上均取得了良好的效果。
[0121]
表1不同数据库的模型性能测试结果
[0122][0123]
如图3所示，在上述实施例的基础上，本发明实施例中提供了一种动态知识图谱预测装置，包括：
[0124]
语料获取模块31，用于获取历史事件语料；
[0125]
图谱预测模块32，用于将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；
[0126]
其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；
[0127]
所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；
[0128]
所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；
[0129]
所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；
[0130]
所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体
关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
[0131]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测装置，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：
[0132]
基于每一历史时刻的各实体的特征表达，计算每一历史时刻不存在所述关系信息的每两个实体之间的第一关联关系和任意两个历史时刻不存在所述关系信息的每两个实体之间的第二关联关系。
[0133]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测装置，基于所述第一关联关系和所述第二关联关系，构建实体关联关系图，包括：
[0134]
对所述第一关联关系进行稀疏化操作，得到第一稀疏化操作结果；
[0135]
对所述第二关联关系进行稀疏化操作，得到第二稀疏化操作结果；
[0136]
基于所述第一稀疏化操作结果和所述第二稀疏化操作结果，构建所述实体关联关系图。
[0137]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测装置，所述关系编码模块为基于注意力机制的关系型图神经网络；
[0138]
对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征，包括：
[0139]
计算所述实体关联关系图中相邻实体之间的注意力系数；
[0140]
基于所述注意力系数，聚合所述实体关联关系图中各实体之间的关系表征，得到所述实体关联关系图中各实体的邻居表征。
[0141]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测装置，所述时序表征包括全局时序表征和局部时序表征；
[0142]
基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，包括：
[0143]
对每一历史时刻的各实体的特征表达进行编码，得到所述当前时刻各实体的局部时序表征；
[0144]
对所述实体关联关系图中各实体的邻居表征进行编码，得到所述当前时刻各实体的全局时序表征。
[0145]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测装置，基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱，包括：
[0146]
基于门控模块，将所述当前时刻各实体的局部时序表征和所述当前时刻各实体的全局时序表征进行融合，得到所述当前时刻各实体的融合结果；
[0147]
基于所述融合结果，构建所述当前时刻的知识图谱。
[0148]
在上述实施例的基础上，本发明实施例中提供的动态知识图谱预测装置，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：
[0149]
基于每一历史时刻的各实体的特征表达，使用余弦相似度度量函数计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系。
[0150]
具体地，本发明实施例中提供的动态知识图谱预测装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
[0151]
图4示例了一种电子设备的实体结构示意图，如图4所示，该电子设备可以包括：处理器(processor)410、通信接口(communications interface)420、存储器(memory)430和通信总线440，其中，处理器410，通信接口420，存储器430通过通信总线440完成相互间的通信。处理器410可以调用存储器430中的逻辑指令，以执行上述各实施例中提供的动态知识图谱预测方法，该方法包括：获取历史事件语料；将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
[0152]
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0153]
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的动态知识图谱预测方法，该方法包括：获取历史事件语料；将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联
关系，构建实体关联关系图；所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
[0154]
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的动态知识图谱预测方法，该方法包括：获取历史事件语料；将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。
[0155]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0156]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
[0157]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种动态知识图谱预测方法，其特征在于，包括：获取历史事件语料；将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。2.根据权利要求1所述的动态知识图谱预测方法，其特征在于，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：基于每一历史时刻的各实体的特征表达，计算每一历史时刻不存在所述关系信息的每两个实体之间的第一关联关系和任意两个历史时刻不存在所述关系信息的每两个实体之间的第二关联关系。3.根据权利要求1所述的动态知识图谱预测方法，其特征在于，基于所述第一关联关系和所述第二关联关系，构建实体关联关系图，包括：对所述第一关联关系进行稀疏化操作，得到第一稀疏化操作结果；对所述第二关联关系进行稀疏化操作，得到第二稀疏化操作结果；基于所述第一稀疏化操作结果和所述第二稀疏化操作结果，构建所述实体关联关系图。4.根据权利要求1所述的动态知识图谱预测方法，其特征在于，所述关系编码模块为基于注意力机制的关系型图神经网络；对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征，包括：计算所述实体关联关系图中相邻实体之间的注意力系数；基于所述注意力系数，聚合所述实体关联关系图中各实体之间的关系表征，得到所述实体关联关系图中各实体的邻居表征。5.根据权利要求1-4中任一项所述的动态知识图谱预测方法，其特征在于，所述时序表征包括全局时序表征和局部时序表征；基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，
提取所述当前时刻各实体的时序表征，包括：对每一历史时刻的各实体的特征表达进行编码，得到所述当前时刻各实体的局部时序表征；对所述实体关联关系图中各实体的邻居表征进行编码，得到所述当前时刻各实体的全局时序表征。6.根据权利要求5所述的动态知识图谱预测方法，其特征在于，基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱，包括：基于门控模块，将所述当前时刻各实体的局部时序表征和所述当前时刻各实体的全局时序表征进行融合，得到所述当前时刻各实体的融合结果；基于所述融合结果，构建所述当前时刻的知识图谱。7.根据权利要求1-4中任一项所述的动态知识图谱预测方法，其特征在于，基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，包括：基于每一历史时刻的各实体的特征表达，使用余弦相似度度量函数计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系。8.一种动态知识图谱预测装置，其特征在于，包括：语料获取模块，用于获取历史事件语料；图谱预测模块，用于将所述历史事件语料输入至图谱构建模型，得到所述图谱构建模型输出的当前时刻的知识图谱；其中，所述图谱构建模型包括结构编码器、隐含关系提取模块、关系编码模块和实体时序表征模块，所述图谱构建模型基于事件语料样本训练得到；所述结构编码器用于提取所述历史事件语料中每一历史时刻的各实体和各实体之间的关系信息，基于所述各实体和所述关系信息，确定每一历史时刻的知识图谱，并对每一历史时刻的知识图谱进行结构编码，得到每一历史时刻的各实体的特征表达；所述隐含关系提取模块用于基于每一历史时刻的各实体的特征表达，计算每一历史时刻的各实体之间的第一关联关系和任意两个历史时刻的各实体之间的第二关联关系，并基于所述第一关联关系和所述第二关联关系，构建实体关联关系图；所述关系编码模块用于对所述实体关联关系图进行编码，得到所述实体关联关系图中各实体的邻居表征；所述实体时序表征模块用于基于每一历史时刻的各实体的特征表达和所述实体关联关系图中各实体的邻居表征，提取所述当前时刻各实体的时序表征，并基于所述当前时刻各实体的时序表征，构建所述当前时刻的知识图谱。9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-7中任一项所述的动态知识图谱预测方法。10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的动态知识图谱预测方法。

技术总结
本发明涉及自然语言处理技术领域，提供一种动态知识图谱预测方法、装置、电子设备及存储介质，该方法获取历史事件语料；将历史事件语料输入至图谱构建模型，得到当前时刻的知识图谱。该图谱构建模型通过隐含关系提取模块及关系编码模块实现对历史事件语料中隐含关系的提取及编码，通过实体时序表征模块得到当前时刻的知识图谱，使得到的知识图谱不仅包含有历史事件语料中各实体已经存在的关系信息，还包含在历史事件语料中隐含的各实体的关联关系，知识图谱的准确性更高，使知识图谱后续应用效果更佳。而且，通过历史事件语料的不断更新，可以实现知识图谱的准确动态预测。本发明已受到了国家重点研发计划项目(2019YQ1601)的资助。的资助。的资助。


技术研发人员：吴书 刘强 王亮 张孟奇 陈丹丹 徐辉杰
受保护的技术使用者：中国科学院自动化研究所
技术研发日：2023.05.30
技术公布日：2023/9/23