一种小样本关系抽取方法、装置及存储介质

1.本发明涉及自然语言处理中的信息抽取领域，尤其是涉及一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法、装置及存储介质。


背景技术：

2.面对互联网中海量的文本数据，如何从中高效地获取所需内容使得信息提取成为一个至关重要的技术。关系抽取作为信息提取的主要分支，为自然语言处理任务提供着关键支撑。然而传统的关系抽取依赖高质量人工标注，这需要付出巨大的时间与金钱代价，且涉密领域中的大规模数据是无法获得的。即便获取了一定数量的人工标注数据，由于人工标注数据的局限性，特定领域信息缺失以及数据泛化性差的问题依然存在，因此将模型进行任务迁移的效果也差强人意。对于网络涌现的新生事物，传统的关系抽取模型由于缺少先验知识会变得手足无措。


技术实现要素：

3.本发明的目的是为了提供一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法、装置及存储介质，从文本表示、先验知识、特征提取等多方面对传统方法进行改进，提高关系抽取准确率。
4.本发明的目的可以通过以下技术方案来实现：
5.一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，包括以下步骤：
6.步骤1)获取原始文本数据，并对文本数据中的实体进行标注，得到原始实例的词向量，所述原始实例的词向量包括原始实体向量和其他形式的文本向量；
7.步骤2)基于实体解释增强模块获取实体解释向量并与原始实例的词向量进行融合；
8.步骤2-1)从外部数据库获取实体概念信息得到实体解释向量；
9.步骤2-2)基于句子解释注意力模块计算实体解释向量与原始实体向量的相似度，并基于预设的阈值筛选相关解释，保留与原始实体相关的解释；
10.步骤2-3)采用基于自注意力机制的融合模块将保留的实体解释向量与原始实例的词向量进行单词粒度的融合，得到融合后完整的初始向量并输入边标记图神经网络；
11.步骤3)基于边标记图神经网络对各个实例的簇间相似度以及簇内无关度进行建模，从初始向量的文本表示中提取初始特征向量；
12.步骤4)以初始特征向量作为改进的原型网络triattpro的输入，利用triattpro中的三重注意力模块以交互方式共享信息获得更为突出的特征表示，并构建各个关系的原型，利用triattpro中的融合分类模块计算查询实例与各个类原型之间的匹配程度，实现分类目的；
13.步骤5)重复步骤1)-步骤4)进行小样本关系抽取的迭代训练，调整实体解释增强
模块中筛选相关实体解释的阈值以及改进的原型网络triattpro中的超参数，直至满足预设的训练停止条件，完成训练，实现小样本关系抽取。
14.进一步地，所述实体解释向量来自预训练的概念向量，使用skip-gram模型从微软的conceptgraph的实体概念中获得。
15.进一步地，所述基于句子解释注意力模块计算实体解释向量与原始实体向量的相似度具体为：
16.将实体解释向量e
explain
和原始实体向量e
explaine
分别乘以一个映射矩阵p得到空间维度匹配的向量表示，转换后的实体解释向量记作转换后的原始实体向量记作对实体解释向量和原始实体向量记作通过点积计算得到二者的相似度similarity，其中，映射矩阵p通过全连接网络得到。
17.进一步地，所述基于预设的阈值筛选相关解释通过开关switch实现，开关通过相似度similarity进行控制，若认为是相关解释则赋予1.0的权重标记为“打开”，否则赋予0.0的权重标记为“关闭”，相似度similarity通过softmax进行归一化，当归一化后的similarity大于预设的阈值θ时，switch开关打开，否则switch关闭。
18.进一步地，所述融合模块执行以下操作：
19.将原始实例中所有单词词向量与经过句子解释注意力模块选择的实体解释向量进行拼接，将拼接后的向量输入基于自注意力机制的融合模块，基于融合模块中的自注意力模块计算实体解释向量与实例中单词词向量之间的相似度，将句中各单词词向量与自注意力模块计算所得的相似度相乘，加总求和得到最终融合的词向量；
20.融合模块的表达式为：
[0021][0022]
其中，代表原始实例的句子中第i个单词的词向量ei经过单词粒度融合后的结果向量，qi,kj,ej是自注意力模块计算得到的参数，句子中的每一个单词的词向量ej与自注意力模块计算所得的得到的相似度similarity(qi,kj)进行相乘。
[0023]
进一步地，所述边标记图神经网络基于初始向量表示得到初始结点特征v，通过属于相同关系类别的相邻实例得到初始边特征e，对结点特征与边特征进行交互更新，当收敛时，将最新更新的结点特征vf＝f
egnn
(v|θ
egnn
)作为改进的原型网络triattpro的模型输入；
[0024]
边标记图神经网络包括l个连接层，结点特征和边特征在各层次之间交互更新，从第l1层更新获得结点特征和边特征后，第l层的结点特征通过邻域聚合进行更新，对其他结点按照其边特征的比例进行聚合并进行相应的特征转换：
[0025][0026]
[0027]
其中，第l层的边特征被视为对应相邻结点贡献的权重，是对应特征转换网络，是使用的参数集；
[0028]
边特征根据更新后的结点特征进行更新，每对结点之间的相似度被重新计算，将原先的边特征与更新的相似度进行结合生成新的边特征：
[0029][0030][0031][0032]
当结点特征与边特征经过全部l层交互更新后，边标记预测通过最终的边特征获得，记作边标记预测视为结点vi和结点vj属于同一类别的概率，则通过支持集标签以及边标记预测结果对每个结点vi进行分类计算如下：
[0033][0034][0035]
其中，代表克罗内克函数，当时条件成立时取值为1，其他情况则取0。
[0036]
进一步地，所述三重注意力模块帮助原型网络triattpro从支持集和查询实例中提取重要特征，其中，
[0037]
第一层注意力强调支持集整体的重要性，目标是建立一个收集全局信息的注意力层，同类别下所有k个支持实例si被聚合为一个整体，记为g，计算查询实例q和聚合支持g的乘积得到匹配程度参数α，将匹配程度参数α用于注意力函数，使用softmax获取查询实例与支持集的匹配信息得到支持集特征g
′
和查询实例特征q
′
：
[0038][0039][0040][0041][0042]
为防止丢失原始的特征信息，将g
′
和q
′
与原始的g和q特征进行拼接，使用线性层w(
·
)和leakyrelu激活函数获得聚合支持集特征g
″
和查询实例特征q
″
，将聚合支持集特征g″
分割回k个对应大小的支持实例特征s
″
，并使用bilstm以及最大池化平均池化捕获进一步的特征向量，得到第一层注意力最终的支持实例和查询实例，记作s
first
和q
first
：
[0043]g″
＝leakyrelu(w[g
′
；g])
[0044]q″
＝leakyrelu(w[q
′
；q])
[0045][0046]qfirst
＝[mean(bilstm(q
″
))；max(bilstm(q
″
))]
[0047]
第二层注意力强调实例级别重要性，注意力根据查询实例和支持实例之间的匹配函数得到：
[0048][0049][0050]
其中，β表示实例之间的相关性，w(
·
)表示线性函数，leakyrelu代表激活函数，s
second
是第二层注意力后的结果向量；
[0051]
第三层注意力强调与查询实例相关的支持实例，激活函数使用tanh，得到整合后的支持集向量s
third
：
[0052][0053][0054]
其中，γ代表第三层的相关程度，w(
·
)表示线性函数，第二层注意力得到的支持实例被整合成支持集向量s
third
，代表通过所有三层注意力的类原型。
[0055]
进一步地，所述融合分类模块使用两个不同函数计算实例之间的匹配程度，其中一个函数用多层感知机计算查询实例q和类原型s之间的匹配程度：
[0056]cmlp
＝v
t
(relu(w[s；q]))
[0057]
另一个函数使用加权的欧氏距离函数强调特征空间中突出的维度：
[0058]ceuclidean
＝wi·
(s-q)2[0059]
其中，权重wi通过计算句子向量对于每个类原型的分布获得；
[0060]
计算查询实例与各个类原型之间匹配程度的最终函数c
matching
是多层感知机与加权的欧氏距离函数的总和，即
[0061]cmatching
＝c
mlp
+c
euclidean
[0062]
一种基于边标记图神经网络与实体解释增强的小样本关系抽取装置，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现上述所述的方法。
[0063]
一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。
[0064]
与现有技术相比，本发明具有以下有益效果：
[0065]
(1)本发明提出了一个针对小样本场景下面对数据不足依然能够进行正确关系抽取的方法，通过引入实体解释增强模块从外部数据库中获得实体概念，为关系抽取提供了
更多的线索，打破了数据不足的壁垒。
[0066]
(2)本发明采用句子解释注意力模块计算实体解释向量与原始向量之间的相似度，筛选出匹配当前语义的概念，从而防止某些概念可能带来的干扰。
[0067]
(3)本发明的融合模块进行了转化匹配，解决了解释向量与原始向量的语义空间不同的问题。
[0068]
(4)本发明利用边标记图神经网络优秀的特征提取性能，相比原型网络的卷积神经网络模型获得了更好的特征效果，进一步提升了分类的准确度。
[0069]
(5)本发明能够让模型面对小样本的情况时仍然具有正确分类的能力，极大提高了模型在现实中的工程应用价值，降低了数据获取的成本与人工标注的开销。
附图说明
[0070]
图1为本发明的方法流程图；
[0071]
图2为本发明一种实施例中的筛选相关实体解释的控制开关示意图；
[0072]
图3为本发明一种实施例中的融合模块示意图；
[0073]
图4为本发明一种实施例中的边标记图神经网络结构示意图；
[0074]
图5为本发明一种实施例中的改进的原型网络triattpro的整体结构示意图。
具体实施方式
[0075]
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
[0076]
本实施例提供一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，如图1所示，包括以下步骤：
[0077]
步骤1)获取原始文本数据，并基于人工或其他方式进行实体标注，得到原始向量。
[0078]
步骤2)通过实体解释增强模块为实体带来额外知识，实体解释增强模块如图1的虚线框所示。
[0079]
步骤2-1)获取实体解释，实体解释来源于wikipedia或concept graph等外部数据库得到的实体概念，通过语言模型转化为解释向量。实体解释将为模型分类提供更多信息特征。
[0080]
作为一种优选的实施方式，实体解释增强模块中的实体概念来自外部数据库，在本实施例中采用了微软的concept graph作为实体概念的来源，利用短文本的实体概念相较长文本描述获得的特征更明显。将实体概念通过语言模型bert或者glove转化为词向量，从而得到解释向量。
[0081]
步骤2-2)为防止实体概念中与原文无关的解释给模型带来噪音，基于句子解释注意力模块计算解释向量与原始向量的相似度为依据进行概念筛选，设定相似度阈值作为保留实体解释向量的依据。
[0082]
预训练概念向量获得的实体解释向量e
explain
与原始实例的句子向量e
sentence
不属于同一语义空间，无法直接执行相似度的计算。本实施例引入了语义转换处理将实体解释向量与原始句子向量转化至匹配的语义空间，语义转换公式通过将实体解释向量e
explain
和
实例向量e
explaine
分别乘以一个映射矩阵p得到空间维度匹配的向量表示，映射矩阵p通过全连接网络得到。转换后的实体解释向量记作转换后的原始实例向量记作为将注意力集中于与原文实体相关的实体解释，模型将外部数据库的各个解释与原始文本进行语义相关性的计算，具体的相似度similarity由实体解释向量和实例句向量通过点积计算获得。
[0083]
本实施例设计开关switch通过相似度similarity对实体解释向量进行筛选。如图2所示，相似度计算利用自注意力机制，通过softmax进行归一化，得到0-1的概率。设定相似度阈值θ，若相似度大于阈值，将该解释向量赋予1.0的权重标记为“打开”，保留该向量否则赋予0.0的权重标记为“关闭”，舍弃该向量。经过switch开关处理后，所有相关的实体解释向量被保留。
[0084]
步骤2-3)利用基于自注意力机制的融合模块将实体解释向量与原始实体向量转化至匹配的语义空间，进行单词粒度的融合，从而获得融合后完整的初始向量并输入边标记图神经网络。
[0085]
将原始实例中所有单词词向量与经过句子解释注意力模块选择的实体解释向量进行拼接，将拼接后的向量输入基于自注意力机制的融合模块，基于融合模块中的自注意力模块计算实体解释向量与实例中单词词向量之间的相似度，将句中各单词词向量与自注意力模块计算所得的相似度相乘，加总求和得到最终融合的词向量。
[0086]
融合模块的表达式为：
[0087][0088]
其中，代表原始实例的句子中第i个单词的词向量ei经过单词粒度融合后的结果向量，qi,kj,ej是自注意力模块计算得到的参数，句子中的每一个单词的词向量ej与自注意力模块计算所得的得到的相似度similarity(qi,kj)进行相乘。
[0089]
步骤3)通过实体解释增强模块获得融合的初始向量后，利用边标记图神经网络对实体进行特征提取，对实例的簇间相似度与簇内无关度建模，得到的特征向量将输入改进的原型网络triattpro进行后续训练。
[0090]
利用实体解释增强模块构建的实体向量，边标记图神经网络将得到结点特征v，通过同种关系的相邻实例得到边特征e，结点特征与边特征将进行交互更新。更新后的结点特征vf＝f
egnn
(v|θ
egnn
)作为输入给改进的原型网络triattpro模型进行后续训练。
[0091]
如图4所示，边标记图神经网络使用l个连接层，每一层中边特征与结点特征将交互更新。第l-1层更新后得到了结点特征和边特征之后的结点特征将以领域聚合的方式更新。第l层结点特征会对其它结点以边特征的比例进行聚合转换。第l层边特征将作为相邻结点的贡献权重，表示特征转换网络，表示参数：
[0092][0093][0094]
边特征依据结点特征进行更新，通过计算结点之间的相似度，之前的边特征依据相似度生成新特征：
[0095][0096][0097][0098]
经过l层更新后利用边特征获得类别预测，记作边标记计算结点vi和结点vj属于相同类别的概率。结点vi通过支持集标签与边标记预测结果进行分类，结点vi分类结果的公式如下：
[0099][0100][0101]
其中，代表克罗内克函数，当时条件成立时取值为1，其他情况则取0。
[0102]
步骤4)改进的原型网络triattpro的三重注意力模块将以支持集整体与支持实例个体的不同维度对查询实例进行特征交互，以强调对分类有帮助的特征，进一步更新特征向量；利用改进的原型网络triattpro的融合分类模块使用带权重的欧氏距离与多层感知机联合的方式对查询实例进行分类。
[0103]
改进的原型网络triattpro结果如图5所示，其中的三重注意力模块帮助原型网络triattpro从支持集和查询实例中提取重要特征，融合分类模块使用两个不同函数计算实例之间的匹配程度。
[0104]
三重注意力模块中，第一层注意力强调支持集整体的重要性，目标是建立一个收集全局信息的注意力层。同类别下所有k个支持实例si被聚合为一个整体，记为g，计算查询实例q和聚合支持g的乘积得到匹配程度参数α，将匹配程度参数α用于注意力函数，使用softmax获取查询实例与支持集的匹配信息得到支持集特征g
′
和查询实例特征q
′
：
[0105][0106]
[0107][0108][0109]
为防止丢失原始的特征信息，将g
′
和q
′
与原始的g和q特征进行拼接，使用线性层w(
·
)和leakyrelu激活函数获得聚合支持集特征g
″
和查询实例特征q
″
，将聚合支持集特征g
″
分割回k个对应大小的支持实例特征s
″
，并使用bilstm以及最大池化平均池化捕获进一步的特征向量，得到第一层注意力最终的支持实例和查询实例，记作s
first
和q
first
：
[0110]g″
＝leakyrelu(w[g
′
；g])
[0111]q″
＝leakyrelu(w[q
′
；q])
[0112][0113]qfirst
＝[mean(bilstm(q
″
))；max(bilstm(q
″
))]
[0114]
第二层注意力强调实例级别重要性，注意力根据查询实例和支持实例之间的匹配函数得到：
[0115][0116][0117]
其中，β表示实例之间的相关性，w(
·
)表示线性函数，leakyrelu代表激活函数，s
second
是第二层注意力后的结果向量。
[0118]
第三层注意力强调与查询实例相关的支持实例，激活函数使用tanh，得到整合后的支持集向量s
third
：
[0119][0120][0121]
其中，γ代表第三层的相关程度，w(
·
)表示线性函数，第二层注意力得到的支持实例被整合成支持集向量s
third
，代表通过所有三层注意力的类原型。
[0122]
融合分类模块使用两个不同函数计算实例之间的匹配程度，其中一个函数用多层感知机计算查询实例q和类原型s之间的匹配程度：
[0123]cmlp
＝v
t
(relu(w[s；q]))
[0124]
另一个函数使用加权的欧氏距离函数强调特征空间中突出的维度：
[0125]ceuclidean
＝wi·
(s-q)2[0126]
其中，权重wi通过计算句子向量对于每个类原型的分布获得；
[0127]
计算查询实例与各个类原型之间匹配程度的最终函数c
matching
是多层感知机与加权的欧氏距离函数的总和，即
[0128]cmatching
＝c
mlp
+c
euclidean
[0129]
步骤5)训练：依次重复执行步骤1)-步骤4)，计算训练损失，对实体解释模块中筛选实体解释的相似度阈值以及改进的原型网络triattpro的参数进行调整，进行迭代训练，直至满足预设的训练停止条件。
[0130]
表1对比基准模型的实验结果(％)
[0131][0132]
表1展示了本发明与各基准方法的实验对比结果，实验数据采用了公开数据集fewrel，实验设置了四种不同的场景设置，包括5种关系每种关系提供1个实例的5-way 1-shot场景、5种关系每种关系提供5个实例的5-way 5-shot场景、10种关系每种关系提供1个实例的10-way 1-shot场景、10种关系每种关系提供5个实例的10-way 5-shot场景。结果表明本发明所获性能大幅领先于gnn、meta network、snail、原型网络这类经典的小样本方案，同时大幅超越了hatt和mlman这类基于原型网络的改进方法。相比使用bert进行词向量表示的bert-pair以及利用外部数据库的td-proto模型方法，本发明同样得到了更优秀的效果。
[0133]
本发明为解决传统关系抽取模型在小样本场景下无法准确分类的问题，首先使用实体解释增强模块，通过从外部数据库引入实体概念解释，再通过相似度计算对实体解释进行筛选，最后将解释向量与原始向量融合，为模型带来了额外的特征信息，打破小样本场景的数据壁垒。再者使用了边标记图神经网络代替了传统原型网络中所使用的卷积神经网络，进一步提高了小样本场景下的分类精度。
[0134]
工作原理：传统的关系抽取模型面对小样本场景下难以进行准确分类，现实场景中大规模的标注语料是难以获得的。本实施例设计了一个利用外部数据库实体概念解释以及边标记图神经网络的关系抽取方法，对传统关系抽取进行了改良与优化。首先实体解释增强模型通过外部数据库得到实体概念，打破了样本不足的限制，为分类提供更多参考信息。又由于许多实体可能有多义词现象，实体解释中可能存在与原文意思歧义的问题，为此实施例设计了句子解释注意力模块，通过计算解释向量与原始向量相似度作为依据，解决了无关实体解释为分类带来的困扰问题。传统基于原型网络进行小样本关系抽取的方法利用了卷积神经网络作为初始的特征提取方法，本实施例通过边标记图神经网络的使用，相比卷积神经网络获得更好的特征表示，并在关系抽取任务中得到了更高的准确率。
[0135]
上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计
算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0136]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依据本发明的构思在现有技术的基础上通过逻辑分析、推理、或者有限的实验可以得到的技术方案，皆应在权利要求书所确定的保护范围内。

技术特征：
1.一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，包括以下步骤：步骤1)获取原始文本数据，并对文本数据中的实体进行标注，得到原始实例的词向量，所述原始实例的词向量包括原始实体向量和其他形式的文本向量；步骤2)基于实体解释增强模块获取实体解释向量并与原始实例的词向量进行融合；步骤2-1)从外部数据库获取实体概念信息得到实体解释向量；步骤2-2)基于句子解释注意力模块计算实体解释向量与原始实体向量的相似度，并基于预设的阈值筛选相关解释，保留与原始实体相关的解释；步骤2-3)采用基于自注意力机制的融合模块将保留的实体解释向量与原始实例的词向量进行单词粒度的融合，得到融合后完整的初始向量并输入边标记图神经网络；步骤3)基于边标记图神经网络对各个实例的簇间相似度以及簇内无关度进行建模，从初始向量的文本表示中提取初始特征向量；步骤4)以初始特征向量作为改进的原型网络triattpro的输入，利用triattpro中的三重注意力模块以交互方式共享信息获得更为突出的特征表示，并构建各个关系的原型，利用triattpro中的融合分类模块计算查询实例与各个类原型之间的匹配程度，实现分类目的；步骤5)重复步骤1)-步骤4)进行小样本关系抽取的迭代训练，调整实体解释增强模块中筛选相关实体解释的阈值以及改进的原型网络triattpro中的超参数，直至满足预设的训练停止条件，完成训练，实现小样本关系抽取。2.根据权利要求1所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述实体解释向量来自预训练的概念向量，使用skip-gram模型从微软的conceptgraph的实体概念中获得。3.根据权利要求1所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述基于句子解释注意力模块计算实体解释向量与原始实体向量的相似度具体为：将实体解释向量e
explain
和原始实体向量e
explaine
分别乘以一个映射矩阵p得到空间维度匹配的向量表示，转换后的实体解释向量记作转换后的原始实体向量记作对实体解释向量和原始实体向量记作通过点积计算得到二者的相似度similarity，其中，映射矩阵p通过全连接网络得到。4.根据权利要求3所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述基于预设的阈值筛选相关解释通过开关switch实现，开关通过相似度similarity进行控制，若认为是相关解释则赋予1.0的权重标记为“打开”，否则赋予0.0的权重标记为“关闭”，相似度similarity通过softmax进行归一化，当归一化后的similarity大于预设的阈值θ时，switch开关打开，否则switch关闭。5.根据权利要求1所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述融合模块执行以下操作：将原始实例中所有单词词向量与经过句子解释注意力模块选择的实体解释向量进行拼接，将拼接后的向量输入基于自注意力机制的融合模块，基于融合模块中的自注意力模
块计算实体解释向量与实例中单词词向量之间的相似度，将句中各单词词向量与自注意力模块计算所得的相似度相乘，加总求和得到最终融合的词向量；融合模块的表达式为：其中，代表原始实例的句子中第i个单词的词向量e
i
经过单词粒度融合后的结果向量，q
i
，k
j
，e
j
是自注意力模块计算得到的参数，句子中的每一个单词的词向量e
j
与自注意力模块计算所得的得到的相似度similarity(q
i
，k
j
)进行相乘。6.根据权利要求1所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述边标记图神经网络基于初始向量表示得到初始结点特征v，通过属于相同关系类别的相邻实例得到初始边特征e，对结点特征与边特征进行交互更新，当收敛时，将最新更新的结点特征v
f
＝f
egnn
(v|θ
egnn
)作为改进的原型网络triattpro的模型输入；边标记图神经网络包括l个连接层，结点特征和边特征在各层次之间交互更新，从第l-1层更新获得结点特征和边特征后，第l层的结点特征通过邻域聚合进行更新，对其他结点按照其边特征的比例进行聚合并进行相应的特征转换：对其他结点按照其边特征的比例进行聚合并进行相应的特征转换：其中，第l层的边特征被视为对应相邻结点贡献的权重，是对应特征转换网络，是使用的参数集；边特征根据更新后的结点特征进行更新，每对结点之间的相似度被重新计算，将原先的边特征与更新的相似度进行结合生成新的边特征：的边特征与更新的相似度进行结合生成新的边特征：的边特征与更新的相似度进行结合生成新的边特征：当结点特征与边特征经过全部l层交互更新后，边标记预测通过最终的边特征获得，记作边标记预测视为结点v
i
和结点v
j
属于同一类别的概率，则通过支持集标签以及边标记预测结果对每个结点v
i
进行分类计算如下：
其中，代表克罗内克函数，当时条件成立时取值为1，其他情况则取0。7.根据权利要求7所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述三重注意力模块帮助原型网络triattpro从支持集和查询实例中提取重要特征，其中，第一层注意力强调支持集整体的重要性，目标是建立一个收集全局信息的注意力层，同类别下所有k个支持实例s
i
被聚合为一个整体，记为g，计算查询实例q和聚合支持g的乘积得到匹配程度参数α，将匹配程度参数α用于注意力函数，使用softmax获取查询实例与支持集的匹配信息得到支持集特征g
′
和查询实例特征q
′
：：：：为防止丢失原始的特征信息，将g
′
和q
′
与原始的g和q特征进行拼接，使用线性层w(
·
)和leakyrelu激活函数获得聚合支持集特征g
″
和查询实例特征q
″
，将聚合支持集特征g
″
分割回k个对应大小的支持实例特征s
″
，并使用bilstm以及最大池化平均池化捕获进一步的特征向量，得到第一层注意力最终的支持实例和查询实例，记作s
first
和q
first
：g
″
＝leakyrelu(w[g
′
；g])q
″
＝leakyrelu(w[q
′
；q])q
first
＝[mean(bilstm(q
″
))；max(bilstm(q
″
))]第二层注意力强调实例级别重要性，注意力根据查询实例和支持实例之间的匹配函数得到：得到：其中，β表示实例之间的相关性，w(
·
)表示线性函数，leakyrelu代表激活函数，s
second
是第二层注意力后的结果向量；第三层注意力强调与查询实例相关的支持实例，激活函数使用tanh，得到整合后的支持集向量s
third
：
其中，y代表第三层的相关程度，w(
·
)表示线性函数，第二层注意力得到的支持实例被整合成支持集向量s
third
，代表通过所有三层注意力的类原型。8.根据权利要求7所述的一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法，其特征在于，所述融合分类模块使用两个不同函数计算实例之间的匹配程度，其中一个函数用多层感知机计算查询实例q和类原型s之间的匹配程度：另一个函数使用加权的欧氏距离函数强调特征空间中突出的维度：c
euclidean
＝w
i
·
(s-q)2其中，权重w
i
通过计算句子向量对于每个类原型的分布获得；计算查询实例与各个类原型之间匹配程度的最终函数c
matching
是多层感知机与加权的欧氏距离函数的总和，即c
matching
＝c
mlp
+c
euclidean
。9.一种基于边标记图神经网络与实体解释增强的小样本关系抽取装置，包括存储器、处理器，以及存储于所述存储器中的程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-8中任一所述的方法。10.一种存储介质，其上存储有程序，其特征在于，所述程序被执行时实现如权利要求1-8中任一所述的方法。

技术总结
本发明涉及一种基于边标记图神经网络与实体解释增强的小样本关系抽取方法、装置及存储介质，其中方法包括：获取原始文本数据，并进行实体标注，得到原始实例的词向量；基于实体解释增强模块获取实体解释向量并与原始实例的词向量进行融合；基于边标记图神经网络初始向量的文本表示中提取初始特征向量；以初始特征向量作为改进的原型网络TriAttPro的输入，利用三重注意力模块以交互方式共享信息获得更为突出的特征表示，并构建各个关系的原型，利用融合分类模块计算查询实例与各个类原型之间的匹配程度，实现分类；进行小样本关系抽取的迭代训练，直至满足预设的训练停止条件，完成小样本关系抽取。与现有技术相比，本发明具有准确率高等优点。具有准确率高等优点。具有准确率高等优点。


技术研发人员：高洪皓 黄嘉栋 王烨 蒋汪洋 万雅萍 陈欣
受保护的技术使用者：上海大学
技术研发日：2023.05.10
技术公布日：2023/8/16