基于任务相关网络的小样本汽车产业链知识图谱补全方法

1.本发明涉及汽车供应链知识图谱补全领域，特别是指一种基于任务相关网络的小样本汽车供应链知识图谱补全方法。


背景技术：

2.随着汽车产业的高速发展，众多汽车企业有着海量的数据积累和数据产生单位，绿色制造、智能制造是当前汽车产业的发力方向。有效利用企业数据积淀优势，将结构化和非结构化数据快速、精准转化为可用于设计研发、生产制造的结构化知识，进而将知识应用到具体生产场景中，为企业创造更高价值是该企业目前存在的迫切需求。其中，通过整合内外部的供应商数据与公共知识，构建以企业、人员为主体，以汽车行业供应链上下游、竞争合作、生产采购为关系的企业关系链图，对于汽车行业供应链中的监控实体及其关联企业进行实时风险异常监控，第一时间掌握汽车行业供应链上下游情况，可以及时响应，规避风险，减少损失。例如通过构建汽车行业供应链工业知识图谱，可以建立行业供应链核心企业大数据风控管理平台，实现企业查询、企业关联关系排查、风险排查、风险预警推送。因此汽车行业供应链知识图谱对于行业而言变得很重要。
3.汽车行业供应链知识图谱补全是指通过人工或者ai方法来补全汽车行业供应链知识图谱中缺失的隐含关系，使其更加完整。虽然已存在许多庞大的汽车行业供应链知识图谱，其拥有大量的三元组，但是具有相同类型关系的三元组的数量分布往往呈现出长尾的特性，很多关系涉及的三元组数量非常少，以至于传统方法难以获得很好的补全效果。因此进行小样本汽车行业供应链知识图谱补全是一个十分有价值的问题。


技术实现要素：

4.为了克服现有汽车行业供应链知识图谱补全的方法在小样本的场景下补全正确率低、效率不高的问题，本发明提出了一种基于任务相关网络的小样本汽车供应链知识图谱补全方法。
5.本发明解决其技术问题所采用的技术具体步骤是：
6.基于任务相关网络的小样本汽车供应链知识图谱补全方法，包括如下步骤：
7.步骤1)针对需要补全的汽车产业链知识图谱，从中提取出需要补全小样本关系，来构建小样本任务。每一种小样本关系均包含满足其关系的头尾实体对，将所有的头尾实体对分成两个部分，组成参考集和查询集；所有包含非小样本关系的三元组作为背景知识图谱；其中，包含小样本关系的头尾实体对远少于包含非小样本关系的头尾实体对，使用预训练方法获得三元组实体和关系的初始嵌入向量；
8.步骤2)对于每一种小样本关系的参考集和查询集中的所有实体，从背景知识图谱中分别提取出其一跳邻居集合，挖掘每个实体一跳邻居的任务相关性，获得任务实体嵌入向量；
9.步骤3)对于每一小样本关系的参考集和查询集中的所有实体对，用一个自注意力
机制建模头尾实体嵌入向量的交互作用，获取头尾实体的注意力特征向量，并通过卷积将两个向量拼接起来，获取头尾实体对的嵌入向量；
10.步骤4)对于每一小样本关系查询集中的所有实体对，基于翻译机制，根据任务关系的上下文，即头尾实体对，对任务关系进行编码，获得上下文关系表征；
11.步骤5)对于每一小样本关系，将每一个查询实体对对应的关系嵌入向量和实体对嵌入向量输入给自定义的损失函数计算损失值，通过梯度下降的方式来训练初始模型；
12.步骤6)对于一个新的小样本关系，遍历知识图谱中所有的残缺三元组，将知识图谱中的所有头实体或尾实体作为候选实体，使用训练好的模型进行打分，选取分数高的实体来补全残缺部分。
13.进一步，步骤1具体包括：一个包含n个汽车整车制造商、汽车零部件制造商、汽车相关产业制造商和汽车服务贸易商的汽车行业供应链可以由一个汽车行业供应链知识图谱g表示，g由m个三元组(h,r,t)组成，h∈ε，r∈r，t∈ε，ε＝{e1,
…
,en}表示汽车整车制造供应商、汽车零部件制造商、汽车相关产业制造商分销商和汽车服务贸易商组成的企业实体集合，r＝{r1,
…
,r
t
}表示实体之间的关系集合，h,r,t分别表示汽车行业供应链知识图谱中的头实体，关系和尾实体，一个小样本任务对应的小样本关系为rs；使用transe算法获取汽车行业供应链知识图谱g的初始实体嵌入向量集合e＝{l1,
…
,ln}；对于汽车行业供应链知识图谱g中的小样本任务关系rs，通过随机的从包含该关系rs的所有正向企业实体对中抽取k个企业实体对来获得参考集sr＝{(hk,tk)|(hk,rs,tk)∈g}，剩余的所有正向企业实体对作为正向查询实体对集合qr＝{(hm,tm)|(hm,rs,tm)∈g\(hk,rs,tk)}；同时，通过随机地从实体集合中抽取实体来构建负向实体对集合参考集sr和查询集qr，中的所有企业实体称作任务企业实体；
14.进一步，步骤2具体包括：任意选取一个任务企业实体x1，将其任务企业实体嵌入向量和它在汽车行业供应链知识图谱中的一跳邻居企业实体嵌入向量放在一起作为一个序列x＝(x1,x2,
…
,x
max
)，其中x1表示任务企业实体，输入给l层的transformer编码器来计算自注意力嵌入向量序列
[0015][0016]
其中，即为x序列，是经过l层transformer blocks处理后的隐藏状态；在输出序列中，任务企业实体对应位置的向量即是包含一跳邻居任务相关性信息的实体嵌入向量c
nbr
，遍历所有任务企业实体，计算所有任务企业实体的包含一跳邻居任务相关性信息的企业实体嵌入向量；任意选取一个任务企业实体初始嵌入向量l1，计算增强任务企业实体嵌入向量
[0017]
l
′1＝σ(w1l1+w2c
nbr
)(2)
[0018]
其中，σ(.)表示relu激活函数；w1，w2∈rd×d是可训练参数；遍历所有任务企业实体，计算所有的增强任务企业实体嵌入向量；
[0019]
进一步，步骤3具体包括：任意选取一对任务企业实体x1和x2，把它们对应的增强任务企业实体嵌入向量看作一个序列(l
′1,l
′2)，计算二者包含位置信息的企业实体嵌入向量
[0020]
[0021]
其中代表企业实体位置编码；遍历所有任务企业实体对，计算所有任务企业实体的包含位置信息的实体嵌入向量；任意选取一对任务企业实体x1和x2，把对应的和输入给l层transformer blocks来计算增强企业实体对向量序列
[0022][0023]
遍历所有任务企业实体对，计算所有的增强任务企业实体对向量序列；任意选取一对增强任务企业实体对向量序列计算该企业实体对嵌入向量
[0024][0025]
其中，表示合并操作，把和拼接起来；遍历所有任务企业实体对，计算所有的任务企业实体对嵌入向量；向量p由q
′r和sr′k组成，其中查询企业实体对的嵌入向量为q
′r，参考集企业实体对嵌入向量为sr′k；
[0026]
进一步，步骤4具体包括：计算每个查询企业实体对qr和参考集企业实体对s
rk
间的语义相似度
[0027]
δ(qr,s
rk
)＝q
′r·s′
rk
ꢀꢀꢀ
(6)
[0028]
即对q
′r和s
′
rk
做一个点积操作，其中qr∈qr，s
rk
∈sr；任意选取一对查询实体对qr计算任务相关的关系嵌入向量
[0029][0030]
其中
[0031][0032]
表示注意力得分，遍历查询实体对集合，对每条查询实体对计算任务相关的关系嵌入向量；
[0033]
进一步，步骤5具体包括：任意选取一对查询企业实体对qr，计算其和参考集企业实体对sr的语义相似度：
[0034][0035]
遍历所有查询企业实体对，计算所有查询企业实体对与参考集企业实体对的语义相似度；计算损失值：
[0036][0037]
其中[x]
+
＝max(0,x)是一个标准hinge损失函数，γ是期望的正向查询与负向的得分差距；利用随机梯度下降方法更新模型参数；重复步骤2到步骤5，当l小于指定的最小损失值后，结束计算；
[0038]
进一步，步骤6具体包括：针对具有关系rs的缺失汽车行业供应链知识图谱中的三元组(h,rs,？)，其中？表示缺失的尾实体，遍历知识图谱中的企业实体集合，计算分数,其中tj表示企业实体集合中的任意企业实体，然后将分数排序，取分数最高实体来补全缺失三元组；遍历汽车行业供应链知识图谱中所有的残缺三元组，重复执行步骤6，得到补全完整的汽车行业供应链知识图谱。
[0039]
本发明的技术构思为:在汽车行业供应链知识图谱中，针对小样本任务关系，挖掘知识图谱中企业实体邻居之间的任务相关信息，实现小样本任务关系的自适应编码，完成补全任务。
[0040]
如上所述，本发明实施的具体实现步骤使本发明更加清晰。在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。
[0041]
本发明的优点是:能够自适应地捕获汽车行业供应链知识图谱中企业实体邻居之间小样本任务相关信息，补全准确度高，效果好。
附图说明
[0042]
图1是本发明的基于任务相关网络的小样本汽车行业供应链识图谱补全示意图。实心圆之间的实线表示汽车行业供应链知识图谱中的关系，实心圆表示任务企业实体，空心圆表示任务企业实体的一跳邻居，实心圆与空心圆之间的实线表示任务企业实体与一跳邻居间的关系，虚线表示任务关系，虚线所连接的实心圆表示补全的企业实体。
[0043]
图2是本发明方法的流程图。
具体实施方式
[0044]
下面参照附图1对本发明做进一步说明。
[0045]
参照图1和图2，基于任务相关网络的小样本汽车行业供应链知识图谱补全方法，包括如下步骤：
[0046]
步骤1：一个包含n个汽车整车制造商、汽车零部件制造商、汽车相关产业制造商和汽车服务贸易商的汽车行业供应链可以由一个汽车行业供应链知识图谱g表示，g由m个三元组(h,r,t)组成，h∈ε，r∈r，t∈ε，ε＝{e1,
…
,en}表示汽车整车制造供应商、汽车零部件制造商、汽车相关产业制造商分销商和汽车服务贸易商组成的企业实体集合，r＝{r1,
…
,r
t
}表示实体之间的关系集合，h,r,t分别表示汽车行业供应链知识图谱中的头实体，关系和尾实体，一个小样本任务对应的小样本关系为rs；使用transe算法获取汽车行业供应链知识图谱g的初始实体嵌入向量集合e＝{l1,
…
,ln}；对于汽车行业供应链知识图谱g中的小样本任务关系rs，通过随机的从包含该关系rs的所有正向企业实体对中抽取k个企业实体对来获得参考集sr＝{(hk,tk)|(hk,rs,tk)∈g}，剩余的所有正向企业实体对作为正向查询实体对集合qr＝{(hm,tm)|(hm,rs,tm)∈g\(hk,rs,tk)}；同时，通过随机地从实体集合中抽取实体来构建负向实体对集合参考集sr和查询集qr，中的所有企业实体称作任务企业实体；
[0047]
步骤2：任意选取一个任务企业实体x1，将其任务企业实体嵌入向量和它在汽车行业供应链知识图谱中的一跳邻居企业实体嵌入向量放在一起作为一个序列x＝(x1,x2,
…
,x
max
)，其中x1表示任务企业实体，如图1中实心圆表示任务企业实体，空心圆表示其一跳邻居实体。输入给l层的transformer编码器来计算自注意力嵌入向量序列
[0048][0049]
其中，即为x序列，是经过l层transformer blocks处理后的
隐藏状态；在输出序列中，任务企业实体对应位置的向量即是包含一跳邻居任务相关性信息的实体嵌入向量c
nbr
，遍历所有任务企业实体，计算所有任务企业实体的包含一跳邻居任务相关性信息的企业实体嵌入向量；任意选取一个任务企业实体初始嵌入向量l1，计算增强任务企业实体嵌入向量
[0050]
l
′1＝σ(w1l1+w2c
nbr
)(2)
[0051]
其中，σ(.)表示relu激活函数；w1，w2∈rd×d是可训练参数；遍历所有任务企业实体，计算所有的增强任务企业实体嵌入向量；
[0052]
步骤3：任意选取一对任务企业实体x1和x2，把它们对应的增强任务企业实体嵌入向量看作一个序列(l
′1,l
′2)，计算二者包含位置信息的企业实体嵌入向量
[0053][0054]
其中代表企业实体位置编码；遍历所有任务企业实体对，计算所有任务企业实体的包含位置信息的实体嵌入向量；任意选取一对任务企业实体x1和x2，把对应的和输入给l层transformer blocks来计算增强企业实体对向量序列
[0055][0056]
遍历所有任务企业实体对，计算所有的增强任务企业实体对向量序列；任意选取一对增强任务企业实体对向量序列计算该企业实体对嵌入向量
[0057][0058]
其中，表示合并操作，把和拼接起来；遍历所有任务企业实体对，计算所有的任务企业实体对嵌入向量；向量p由q
′r和sr′k组成，其中查询企业实体对的嵌入向量为q
′r，参考集企业实体对嵌入向量为sr′k；
[0059]
步骤4：计算每个查询企业实体对qr和参考集企业实体对s
rk
间的语义相似度
[0060]
δ(qr,s
rk
)＝q
′r·
sr′k(6)即对q
′r和sr′k做一个点积操作，其中qr∈qr，s
rk
∈sr；任意选取一对查询实体对qr计算任务相关的关系嵌入向量
[0061][0062]
其中
[0063][0064]
表示注意力得分，遍历查询实体对集合，对每条查询实体对计算任务相关的关系嵌入向量；
[0065]
步骤5:任意选取一对查询企业实体对qr，计算其和参考集企业实体对sr的语义相似度：
[0066][0067]
遍历所有查询企业实体对，计算所有查询企业实体对与参考集企业实体对的语义相似度；计算损失值：
[0068][0069]
其中[x]
+
＝max(0,x)是一个标准hinge损失函数，γ是期望的正向查询与负向的得分差距；利用随机梯度下降方法更新模型参数；重复步骤2到步骤5，当l小于指定的最小损失值后，结束计算；
[0070]
步骤6：针对具有关系rs的缺失汽车行业供应链知识图谱中的三元组(h,rs,？)，其中？表示缺失的尾实体，遍历知识图谱中的企业实体集合，计算分数,其中tj表示企业实体集合中的任意企业实体，然后将分数排序，取分数最高实体来补全缺失三元组；如图1所示，由实心圆点表示的头实体hi与虚线表示的任务关系rs计算出尾实体t
j2
，得到补全的三元组(hi,rs,t
j2
)；遍历汽车行业供应链知识图谱中所有的残缺三元组，重复执行步骤6，得到补全完整的汽车行业供应链知识图谱。

技术特征：
1.一种基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征包括如下步骤：步骤1)针对需要补全的汽车产业链知识图谱，从中提取出需要补全小样本关系，来构建小样本任务。每一种小样本关系均包含满足其关系的头尾实体对，将所有的头尾实体对分成两个部分，组成参考集和查询集；所有包含非小样本关系的三元组作为背景知识图谱；其中，包含小样本关系的头尾实体对远少于包含非小样本关系的头尾实体对，使用预训练方法获得三元组实体和关系的初始嵌入向量；步骤2)对于每一种小样本关系的参考集和查询集中的所有实体，从背景知识图谱中分别提取出其一跳邻居集合，挖掘每个实体一跳邻居的任务相关性，获得任务实体嵌入向量；步骤3)对于每一小样本关系的参考集和查询集中的所有实体对，用一个自注意力机制建模头尾实体嵌入向量的交互作用，获取头尾实体的注意力特征向量，并通过卷积将两个向量拼接起来，获取头尾实体对的嵌入向量；步骤4)对于每一小样本关系查询集中的所有实体对，基于翻译机制，根据任务关系的上下文，即头尾实体对，对任务关系进行编码，获得上下文关系表征；步骤5)对于每一小样本关系，将每一个查询实体对对应的关系嵌入向量和实体对嵌入向量输入给自定义的损失函数计算损失值，通过梯度下降的方式来训练初始模型；步骤6)对于一个新的小样本关系，遍历知识图谱中所有的残缺三元组，将知识图谱中的所有头实体或尾实体作为候选实体，使用训练好的模型进行打分，选取分数高的实体来补全残缺部分。2.根据权利要求1所述的基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征在于，步骤1)中，一个包含n个汽车整车制造商、汽车零部件制造商、汽车相关产业制造商和汽车服务贸易商的汽车行业供应链由一个汽车行业供应链知识图谱g表示，g由m个三元组(h，r，t)组成，h∈ε，r∈r，t∈ε，ε＝{e1，...，e
n
}表示汽车整车制造供应商、汽车零部件制造商、汽车相关产业制造商分销商和汽车服务贸易商组成的企业实体集合，r＝{r1，...，r
t
}表示实体之间的关系集合，h，r，t分别表示汽车行业供应链知识图谱中的头实体，关系和尾实体，一个小样本任务对应的小样本关系为r
s
，使用transe算法获取汽车行业供应链知识图谱g的初始实体嵌入向量集合e＝{l1，...，l
n
}，对于汽车行业供应链知识图谱g中的小样本任务关系r
s
，通过随机的从包含该关系r
s
的所有正向企业实体对中抽取k个企业实体对来获得参考集s
r
＝{(h
k
，t
k
)|(h
k
，r
s
，t
k
)∈g}，剩余的所有正向企业实体对作为正向查询实体对集合q
r
＝{(h
m
，t
m
)|(h
m
，r
s
，t
m
)∈g\(h
k
，r
s
，t
k
)}；同时，通过随机地从实体集合中抽取实体来构建负向实体对集合参考集s
r
和查询集qr，中的所有企业实体称作任务企业实体。3.根据权利要求1所述的基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征在于，步骤2)中，任意选取一个任务企业实体x1，将其任务企业实体嵌入向量和它在汽车行业供应链知识图谱中的一跳邻居企业实体嵌入向量放在一起作为一个序列x＝(x1，x2，...，x
max
)，其中x1表示任务企业实体，输入给l层的transformer编码器来计算自注意力嵌入向量序列
其中，即为x序列，是经过l层transformer blocks处理后的隐藏状态；在输出序列中，任务企业实体对应位置的向量即是包含一跳邻居任务相关性信息的实体嵌入向量c
nbr
，遍历所有任务企业实体，计算所有任务企业实体的包含一跳邻居任务相关性信息的企业实体嵌入向量，任意选取一个任务企业实体初始嵌入向量l1，计算增强任务企业实体嵌入向量l
′1＝σ(w1l1+w2c
nbr
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)其中，σ(.)表示relu激活函数；w1，w2∈r
d
×
d
是可训练参数；遍历所有任务企业实体，计算所有的增强任务企业实体嵌入向量。4.根据权利要求1所述的基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征在于，步骤3)中，任意选取一对任务企业实体x1和x2，把它们对应的增强任务企业实体嵌入向量看作一个序列(l
′1，l
′2)，计算二者包含位置信息的企业实体嵌入向量其中代表企业实体位置编码；遍历所有任务企业实体对，计算所有任务企业实体的包含位置信息的实体嵌入向量，任意选取一对任务企业实体x1和x2，把对应的和输入给l层transformer blocks来计算增强企业实体对向量序列遍历所有任务企业实体对，计算所有的增强任务企业实体对向量序列，任意选取一对增强任务企业实体对向量序列计算该企业实体对嵌入向量其中，表示合并操作，把和拼接起来。5.根据权利要求1所述的基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征在于，步骤4)中，遍历所有任务企业实体对，计算所有的任务企业实体对嵌入向量；向量p由q
′
r
和s
′
rk
组成，其中查询企业实体对的嵌入向量为q
′
r
，参考集企业实体对嵌入向量为s
′
rk
，计算每个查询企业实体对q
r
和参考集企业实体对s
rk
间的语义相似度δ(q
r
，s
rk
)＝q
′
r
·
s
′
rk
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)即对q
′
r
和s
′
rk
做一个点积操作，其中q
r
∈q
r
，s
rk
∈s
r
，任意选取一对查询实体对q
r
计算任务相关的关系嵌入向量其中表示注意力得分，遍历查询实体对集合，对每条查询实体对计算任务相关的关系嵌入向量，任意选取一对查询企业实体对q
r
，计算其和参考集企业实体对s
r
的语义相似度遍历所有查询企业实体对，计算所有查询企业实体对与参考集企业实体对的语义相似度。
6.根据权利要求1所述的基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征在于，步骤5)中，计算损失值：其中[x]
+
＝max(0，x)是一个标准hinge损失函数，γ是期望的正向查询与负向的得分差距，利用随机梯度下降方法更新模型参数；重复步骤4到步骤11，当l小于指定的最小损失值后，结束计算。7.根据权利要求1所述的基于任务相关网络的小样本汽车产业链知识图谱补全方法，其特征在于，步骤6)中，针对具有关系r
s
的缺失汽车行业供应链知识图谱中的三元组(h，r
s
，？)，其中？表示缺失的尾实体，遍历知识图谱中的企业实体集合，计算分数，其中t
j
表示企业实体集合中的任意企业实体，然后将分数排序，取分数最高实体来补全缺失三元组，遍历汽车行业供应链知识图谱中所有的残缺三元组，重复执行上述补全操作，得到补全完整的汽车行业供应链知识图谱。

技术总结
基于任务相关网络的小样本汽车产业链知识图谱补全方法，首先从汽车产业链知识图谱中捕获一跳邻居的任务相关信息，对任务实体进行向量嵌入，然后获取头尾实体之间的自注意力信息，最后通过一个任务相关网络对参考集建模，获取细颗粒度语义的、任务相关的关系向量嵌入，通过计算头实体、关系和尾实体在残缺三元组中距离评分，得到汽车产业链知识图谱补全结果。本发明考虑了汽车产业链知识图谱的结构信息和任务相关信息，在小样本的背景下，准确性较高，补全效果好。补全效果好。补全效果好。


技术研发人员：杨旭华 张炼 徐雷 徐新黎 叶蕾
受保护的技术使用者：浙江工业大学
技术研发日：2023.05.26
技术公布日：2023/9/6