知识图谱构建方法、装置、设备及存储介质

知识图谱构建方法、装置、设备及存储介质
1.相关申请的交叉引用
2.本技术要求于2022年05月20日提交新加坡专利局、申请号为10202205360q、发明名称为“知识图谱构建方法、装置、设备及存储介质”的新加坡专利申请的优先权，其全部内容通过引用结合在本技术中。
技术领域
3.本技术涉及但不限于自然语言处理技术领域，尤其涉及一种知识图谱构建方法、装置、设备及存储介质。


背景技术：

4.事件是描述客观世界活动与状态的基本构成单元。以事件为节点的知识图谱总结了现实生活中各领域所蕴含的事件以及这些事件之间的交互关系，可以在常识推理等一系列下游任务中取得十分重要的应用。
5.近年来出现了一大批构建事件知识图谱的相关工作，例如通过人工标注构建了小规模、高质量的事件知识图谱；又例如通过自动规则构建了大规模、质量相对较低的事件知识图谱。但在不过度依赖人工标注的前提下构建较高质量、较大规模的事件知识图谱仍然是此前工作尚未解决的问题。此外，也没有为事件知识图谱严格设计一套本体和实现多模态信息(多种模态信息，例如图像和文本分别是一种模态信息)的互补与融合。


技术实现要素：

6.有鉴于此，本技术实施例至少提供一种知识图谱构建方法、装置、设备、及存储介质。
7.本技术实施例的技术方案是这样实现的：
8.第一方面，本技术实施例提供一种知识图谱构建方法，所述方法包括：对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词；对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型；基于多模态本体确定与每一所述触发词匹配的第一概念事件；基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。
9.第二方面，本技术实施例提供一种多模态本体的构建方法，包括：将词库中的词义分别与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系，所述第一框架用于确定文本数据的概念事件；将所述词库中的词义分别与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系，所述第二框架用于确定图像数据的概念事件；所述第一映射关系和所述第二映射关系，融合所述词库、所述第一框架和所述第二框架，得到所述多模态本体。
10.第三方面，本技术实施例提供一种知识图谱构建装置，所述装置包括：检测模块，
用于对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词；分类模块，用于对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型；第一确定模块，用于基于多模态本体确定与每一所述触发词匹配的第一概念事件；第二确定模块，用于基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；构建模块，用于基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。
11.第四方面，本技术实施例提供一种多模态本体的构建装置，所述装置包括：第一建立模块，用于将词库中的词义与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系，所述第一框架用于确定文本数据的概念事件；第二建立模块，用于将所述词库中的词义与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系，所述第二框架用于确定图像数据的概念事件；融合模块，用于基于所述第一映射关系和所述第二映射关系，融合所述词库、所述第一框架和所述第二框架，得到所述多模态本体。
12.第五方面，本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
13.第六方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。
14.第七方面，本技术实施例提供一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算机设备中运行时，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
15.第八方面，本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。
16.本技术实施例中，通过多模态本体确定文本数据的第一概念事件和图像数据的第二概念事件，然后基于第一概念事件和第二概念事件，构建多模态的事件知识图谱，从而实现多模态信息之间的互补与融合，为知识图谱的构建提供更多信息，为知识的挖掘提供更多可能。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术的技术方案。
附图说明
18.此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本技术的实施例，并与说明书一起用于说明本技术的技术方案。
19.图1为本技术实施例提供的一种文本和图像事件的例子及二者之间关系的示意图；
20.图2为本技术实施例提供的mmekg中从左到右三种不同等级的示意图；
21.图3为本技术实施例提供的mmekg中设计的本体的示意图；
22.图4a为本技术实施例提供的一种知识提取系统的示意图；
23.图4b为本技术实施例提供的一种概念事件归纳和关系归纳构建的配对示例的示意图；
24.图5a为本技术实施例提供的一种知识图谱构建方法的实现流程示意图；
25.图5b为本技术实施例提供的一种知识图谱构建方法中步骤s104的实现流程示意图；
26.图5c为本技术实施例提供的一种知识图谱构建方法中步骤s105的实现流程示意图；
27.图5d为本技术实施例提供的一种在多模态事件知识图谱中增加事件关系的实现流程示意图；
28.图5e为图5d中步骤s107a的实现流程示意图；
29.图5f为本技术实施例提供的一种更新本体的方法的实现流程示意图；
30.图5g为本技术实施例提供的一种多模态本体的构建方法的实现流程示意图；
31.图5h为本技术实施例提供的一种多模态本体的更新方法的实现流程示意图；
32.图6a为本技术实施例提供的一种知识图谱构建装置的组成结构示意图；
33.图6b为本技术实施例提供的一种多模态本体的构建装置的组成结构示意图；
34.图7为本技术实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
35.为了使本技术的目的、技术方案和优点更加清楚，下面结合附图和实施例对本技术的技术方案进一步详细阐述，所描述的实施例不应视为对本技术的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
36.在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
37.所涉及的术语“第一/第二/第三”仅仅是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一/第二/第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本技术实施例能够以除了在这里图示或描述的以外的顺序实施。
38.此外，下文中涉及的术语“与每一b匹配的a”指至少一个b中的每一个b匹配至少一个a中的相应一个a。例如，与每一触发词匹配的第一概念事件指至少一个触发词中的每一个触发词匹配至少一个第一概念事件中的相应一个第一概念事件。
39.除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本技术的目的，不是旨在限制本技术。
40.本技术实施例提供了一个大规模、多模态的事件知识图谱(mmekg，multi-modal event knowledge graph)。mmekg通过事件将不同的知识模式统一起来，相互补充和消除歧义。其中，mmekg包含：(i)超过99万个概念事件和644种关系类型(概念事件之间的层次关系和语义关系)，以涵盖大多数类型的事件。(ii)超过8.63亿个通过9.34亿个关系(实例事件之间的关系，这种关系可以进一步分为更细粒度的子类型，如时间、因果、共现和其他语义
关系等)连接的实例事件，这些关系在文本和/或图像中提供丰富的上下文信息。
41.本技术实施例还提供了一个高效的文本/视觉知识提取系统管线，用于收集数以十亿计的实例事件和它们之间的关系。本技术实施例还提供了一种归纳策略，来创建百万规模的概念事件和本体，其中，本体用于组织mmekg中所有事件和事件之间的关系。本技术实施例还提供了一种管线，能够无缝地将文本/图像解析为事件图，并在概念和实例级别检索多模态知识。
42.最近，许多知识图谱(knowledge graph，kg)已被整理并成功应用于各种场景之中，从信息提取到信息检索。kg通常在一个有向图中存储数十亿个世界事实，其中，节点表示实体，边表示它们之间的关系。虽然简单但有效，然而这种以实体为中心的kg的表达能力有限。如何表示更复杂的知识，例如事件、情况或不同的模态，成为知识图谱更广泛应用的关键问题。
43.基于此，本技术实施例提出了一个大规模的多模态事件知识图谱，可以连接、补充和消除不同形式的知识，以便更好地理解或推理。与现实世界中发生的事情类似，mmekg将事件作为其基本构件，每个事件由一个概念、几个论元和相应的角色定义。事件之间有各种类型的关系，如因果关系、时间关系或子事件关系，实体是kg中的论元。
44.图1显示了文本和图像事件的例子及二者之间的关系，分别为：一个带有论元cat(sleeper)和sofa(place)的可视化睡眠事件，以及一个带有论元cat(wearer)和scarf(clothing)的文本化穿衣事件，其中，co-ref代表co-reference，即共指关系，论元角色位于括号中。这两个事件不仅用互补的论元将文本和图像连接起来，还提供了潜在的常识：睡觉时用围巾遮盖。
45.与相关技术中的事件kg相比，mmekg在以下三个方面推动了这一领域的发展：(1)一个大型本体包含99万个概念事件和644种关系类型，涵盖了现实世界中大多数类型的事件。(2)多模态知识的自然融合。这是知识图谱首次通过事件和论元的细粒度对齐实现不同模态数据的融合。(3)概念事件和实例事件的整合，不仅可以从实例事件扩展本体，还可以通过上下文提供的综合推理，获取概念级的常识知识。
46.构建mmekg主要包括两个步骤：(1)为了构建模式并获取概念事件，首先手动组合框架网(framenet)和文字网(wordnet)来初始化高质量的事件本体；然后，通过实例事件的归纳推理来自动扩展本体。本技术实施例扩展了简单事件模型(simple event model，sem)，以在资源描述框架(resource description framework，rdf)中定义本技术实施例提供的本体。(2)为了从文本或图像中提取实例事件，本技术实施例开发了一个知识提取系统，以支持在实际场景下快速、大规模的提取。该系统包括两种模态下的事件提取和事件关系提取，以及两种模态之间的对齐。此外，该系统可以将输入的文本/图像解析为事件图，并从mmekg无缝检索出多模态知识。
47.下面具体介绍本技术实施例提供的知识图谱。
48.第一部分：mmekg的介绍：如图2示出了mmekg中从左到右三种不同的等级，左侧是被提取的多模态内容，中间显示了从原始内容中整合的实例事件，右侧为推理的概念事件。本技术实施例提出的mmekg不同于传统的以事件为中心的kg，其中，mmekg包括四种类型的节点和四种类型的关系。节点包括概念事件、实例事件、实体论元和非实体论元(例如文字)。四种类型的关系包含：(1)实例事件之间的关系。这种类型的关系可以进一步分为更细
粒度的子类型，如时间、因果、共现和其他语义关系。(2)概念事件之间的关系，称为subclassof，表示层次关系。(3)概念事件和实例事件之间的关系，称为instanceof，用于整合概念事件和实例事件。(4)角色关系，反映关联事件论元(实体或非实体)的角色，不同的概念事件有不同的角色。
49.定义：mmekg＝{(h,r,t)h,t∈ε，r∈r}；ε＝εcpt∪εins∪εent∪εnent，r＝rins-ins∪rcpt-cpt∪rcpt-ins∪rrole}，其中，
50.εcpt代表概念事件，εins代表实例事件，εent代表实体，εnent代表非实体。rins-ins代表实例事件之间的关系，rcpt-cpt代表概念事件之间的关系，rcpt-ins代表概念事件和实例事件之间的关系，rrole代表角色关系。w(h，r，t)代表三元组(h，r，t)关系的权重，用置信度表示，h、r和t分别为三元组中的头(head)、关系(relation)和尾(tail)。
51.第二部分：用户界面和系统架构：基于mmekg和文本/视觉知识提取系统，本技术实施例开发了一个原型系统，该原型系统可以将文本或图像解析为事件图，其中，节点表示实例事件，边表示它们之间的关系，每个实例事件可参考具体的信息：概念事件、同义词、角色对应的论元和mmekg中的连接邻居。
52.对于每个实例事件，本技术实施例通过识别触发词及其同义词，将其链接到mmekg中的概念事件；然后根据概念事件，确定相应的角色，在文本/图像中提取论元。
53.文本/视觉知识提取系统包括三个主要组件：文本知识提取、视觉知识提取和事件关系提取，事件关系提取用于提取事件之间的各种关系，包括文本和视觉事件的融合。需要说明的是，概念事件、同义词和关系类型由本技术实施例提供的跨模态事件本体定义。
54.第三部分：多模态本体介绍：本体至关重要，不仅限制了所关注的知识类型，而且还提供了推理能力，即从实例事件到概念事件的归纳带来新的知识。本体的建立包括：(1)对本体数据的建模，(2)结合外部资源创建初始本体，(3)持续扩展进行本体归纳。
55.下面分别介绍上述三步：
56.(1)本体建模
57.本技术实施例继承并扩展了基本的sem作为知识表示的基础。图3为mmekg中设计的本体的示意图。其中：虚线框代表字符，实线框代表事件、实体和关系，填充为网格状的方框代表事件相关，填充为灰色的方框代表关系相关，填充为点状的方框代表从实例事件中提取出来的文本/图像的信息，没有填充的圆圈代表连接实例事件和它的来源信息的虚拟节点。
58.1、从sem和framenet扩展单事件，即单事件的rdf结构是从sem和framenet的定义拓展而来的。如图3所示，每个角色都有一个关联的ekg:[role]连接实例事件和论元，rdf:指沿用rdf本体定义的类，sem:指沿用sem本体定义的类，ekg:指本技术实施例定义的新类。
[0059]
2、增加虚拟节点，其中，虚拟节点通过ekg:contextof与实例事件连接，以表示此实例事件的来源。虚拟节点的边，如ekg:trigger、ekg:modity和ekg:content，分别表示该实例事件的触发词、模态和句子/图像索引。虚拟节点是为了结构清晰而设计的做局部结构整合需要的节点，虚拟节点仅在需要查询时被查询，以减少不必要的查询。
[0060]
3、构建事件与事件之间的关系，主要包括：
[0061]
第一种：rdf:instanceof：实例事件和概念事件之间的关系；
[0062]
第二种：rdf:subclassof：概念事件之间的关系，用于表示概念事件之间的层次关
系；
[0063]
第三种：实例事件之间的其他多种关系，例如时序或因果关系等。基于这种关系，在实例事件之间增加链接节点，来表示实例事件之间的关系。如图3所示，标记[eventrel_id]即为链接节点，用于表示ins-event_317与其他事件(图中未示出)之间的关系，中括号表示括号中的内容可替换。如此，在两个实例事件之间存在多个事件关系的情况下，可以通过不同的链接节点表示不同的事件关系，以实现快速查询不同的事件关系(只需查询需要的事件关系对应的链接节点)和修改实例事件之间的关系(无需修改实例事件之间边的表述，只修改链接节点的信息即可)，使得本体具有良好的可扩展性。例如：事件关系有很多大类例如为时间关系，大类中包括小类例如之前和之后，一个[reltype_id]代表一个关系，一个小类对应一个[reltype_id]，在需要查询时间关系为之前的事件信息的情况下，则可以通过[reltype_id]直接删掉时间关系为之后的事件节点，而实现快速查询。
[0064]
4、整合信息统计和补充。例如，将频率和显著性得分添加到用于不确定性事件的推理。例如实例事件为：“煎_鸡蛋_在早晨”和“煎_鸡蛋_用铲子”，其中，“煎_鸡蛋”出现的频率高，显著性分数高，则最后推理出来的概念事件是“煎_鸡蛋”，可详见下面本体归纳部分。
[0065]
(2)结合外部资源创建初始本体
[0066]
本技术实施例通过合并wordnet、framenet和imsitu本体来初始化本体。
[0067]
1、将wordnet中的每个动词和形容词的同义词集映射到framenet中的一个框架(frame)(例如，roast.v.01
‑→
apply_heat)。其中，框架是高级的概念事件，一个框架代表一个概念事件，由于framenet中的事件涵盖面广，比如一个化学物质转换成另一个叫cause_change，改名字也叫cause_change，而wordnet的词义更加丰富，因此对齐的同义词集合可以使得概念事件变得更加细粒度。此外，wordnet还为framenet带来了层次信息。通过将wordnet与framenet对齐，使得一旦知道文本或者图像的触发词的词义，就可以知道描述的是什么事件，例如：在fire表示开火的情况下，对应framenet中的攻击事件，在fire表示解雇的情况下，对应framenet中失去工作的事件。
[0068]
对于映射，本技术实施例首先联合考虑结构映射的结果，即在之前的工作中，已经给出了wordnet中的部分词义与framenet中的frame的映射关系，本技术实施例直接采用这种映射结果。对于wordnet中没有给出映射关系的词义，通过求wordnet中的词义与框架的事件类型之间的余弦相似性得分，确定映射关系，选择余弦相似度最高的匹配关系进行映射。
[0069]
本技术实施例随机抽取了100对同义词(synset)和frame对，以检查映射的synset和frame的定义是否对齐，最终发现89％是合理的。
[0070]
2、实施时可以手动将wordnet中的词义与imsitu中的事件对齐，由于imsitu中的事件已经标注了事件类型，因此可以基于wordnet中的词义和imsitu中事件的事件类型，将wordnet与imsitu对齐，从而实现wordnet与imsitu的关联。由于imsitu用于描述图像事件，图像事件触发事件通过动词触发，而imsitu中与事件类型对应的动词没有词义，因此需要与wordnet下的词义对齐，而又因为wordnet与framenet已经对齐，所以可以通过wordnet知道framenet下的事件类型，从而得到图像对应的概念事件。
[0071]
(3)持续扩展进行本体归纳
[0072]
1、概念事件的归纳：
[0073]
第一步：假设一个初始化的概念事件o和概念事件o的一个特定角色r，选择该特定角色r下的所有论元，这些论元通过r与实例事件o
in
连接，其中，实例事件o
in
分类为概念事件o。
[0074]
第二步：对所有论元的中心词进行词形还原和启发式聚类。词形还原就是去掉单词的词缀，提取单词的主干部分，通常提取后的单词会是字典中的单词。例如：初始化的概念事件为fry(炸)，特定角色为food(食物)，找到所有fry的实例事件，统计food角色中的论元：fish,a fish,the fish,a big fish，chicken,the chicken。其中，fish，a fish，the fish，a big fish词形还原后都为fish，chicken和the chicken词形还原后都为chicken，进行启发式聚类后得到fish和chicken两类。
[0075]
第三步：计算每个类型的显著性分数，考虑以下两个方面：(1)每个类型置信度得分(出现的次数)(2)每类型的重要性，例如类型是“我”，则重要性不高，可以降低该类型的权重。
[0076]
第四步：选择显著性得分最高的k个类型，并通过将角色r和这些名称与触发词相结合来创建新的概念事件。例如fish出现的次数较多，显著性分数高，当k为1的情况下，将fish与触发词fry和角色food结合，派生出的新的概念事件为“fry fish”。
[0077]
如图2所示，本技术实施例派生了新的概念事件，例如“complete.v.01__activity:tour”和“complete.v.01__activity:time:fall.”。这些细粒度的概念事件通过instanceof关系总结实例事件和complete.v.01与子类关系总结得到。
[0078]
2、概念事件关系的归纳：
[0079]
关系归纳的目的是基于实例事件之间的关系，发现概念事件之间的常识关系。实施时，通过计算r上每对实例事件(oh，o
t
)的显著性得分sr(oh，o
t
)来确定是否归纳为概念事件之间的关系。其中，显著性得分的计算考虑以下两方面：(1)实例事件之间关系r的置信度得分，(2)尾事件出现的次数(尽量少)。在显著性得分超过mmekg的阈值的情况下，将实例事件(oh，o
t
)的关系添加到概念事件的关系之中。例如，在图2中，由于三元组(talk.v.01、cooccur、sit.v.01)的显著性得分超过了阈值，本技术实施例将这种关系从实例级扩展到概念级。oh与o
t
的下角标分别表示每对实例事件所对应三元组中的头(head)事件和尾(tail)事件。
[0080]
本技术实施例，通过概念事件的归纳和概念事件关系的归纳，实现了更层次、更细粒度的分类结构。
[0081]
第四部分、知识提取系统
[0082]
知识提取系统为mmekg收集大规模实例事件和关系，本技术实施例遵循先前知识提取系统的总体框架，但扩展和优化了事件相关组件，使其能够高效提取十亿规模的高质量事件。通过更先进的模型、调整策略和组件体系结构，系统在使用通用基准测试的每个组件上实现了即使不是更好也是相同的性能。在一些实施例中，还可以将系统中的所有交叉编码器替换为双编码器，并在事件关系提取期间执行多任务训练的联合模型，以提高效率。
[0083]
图4a示出了本技术实施例提供的一种知识提取系统的示意图，如图4a所示，知识提取系统主要包括四个组件：跨模态事件本体43、文本知识提取组件41、视觉知识提取组件42和事件关系提取组件44。跨模态事件本体的介绍请参见上述，下面介绍其他三个部分。
[0084]
1、文本知识提取(text knowledge extraction)组件
[0085]
文本知识提取组件通过事件检测和论元提取从非结构化文本中提取事件图的节点，包括以下步骤：
[0086]
第一步：对语料库进行预处理。使用基于预训练的语言表征模型(bert，bidirectional encoder representation from transformers)的下一句预测(next sentence prediction，nsp)模型和启发式规则识别文档(每个文档5至10句)边界。然后通过实体命名识别工具(例如stanza)获得词性(pos，part of speech)标签(pos-tag)和依赖树，其中依赖树通过依赖(dependency parsing)得出，确定文本的候选触发词。其中，动词和形容词被认为是候选触发词。
[0087]
第二步：基于本体中的同义词集，将事件检测转换为无监督的词义消歧(wsd，word sense disambiguation)任务，以避免昂贵的训练数据。应用双边解码器(biencoder)模型预测候选触发词的最可能同义词集。由于每个synset指代一个概念事件，因此实现将文本与mmekg连接。
[0088]
第三步：本技术实施例提出了一种有效的事件论元提取方法，该方法记为paie。其基本思想是扩展基于问答(qa，question-answer)的模型，以同时预测目标事件的所有角色。本技术实施例提出一个模板预训练模型(plm，pre-trained language model)plm，该plm用于提取任务，并为每个概念事件设计一个角色交互提示模板。所有角色嵌入文本向量充当查询向量，以确定论元跨度作为答案，从而得到论元。在framenet提供的注释上训练模型。
[0089]
2、视觉知识提取(visual knowledge extraction)组件
[0090]
对于视觉知识提取组件，采用两阶段的提取网络。这两个模型都使用最大的视觉情境识别数据集进行训练。
[0091]
(1)利用预先训练的视觉模型(vit，vision transformer)进行动作识别获得图像块特征，并进行图像分类，基于图像分类的结果确定概念事件。
[0092]
(2)使用预先训练的残差网络例如resnet 50作为快速卷积神经网络(faster r-cnn，faster region-cnn)的骨干网络，并使用条件长短期记忆(lstm，long short-term memory)解码器聚合角色信息，从图像中提取论元。
[0093]
vit模型是在传统transformer结构上改动而来的，传统transformer结构是包括编码器和解码器架构(encoder-decoder)框架，而对于vit来说，只使用了编码器部分。标准transformer的输入是一维序列数据，所以需要将图像转换为序列数据，vit的思路就是将一张图像无重叠切分成固定大小的图像块(patches)，然后将每一个patch通过拉伸操作转换为一维向量，最后通过一个线性变换层将输入的patches转换为一个固定长度的向量，称为patch_embedding。
[0094]
3、事件关系提取(event relation extraction)组件
[0095]
事件关系提取组件旨在提取实例事件之间的时间、因果、共现和语义关系。其中，共现包括文本/图像对齐。
[0096]
(1)时间和因果关系，本技术实施例提出了一种新的方法，即构建文档级图来全局推断事件之间的关系。本技术实施例的方法在没有明确的时间/因果指标和复杂的启发式规则的情况下，可以进行跨句子推理。这使本技术实施例能够同时有效地识别文档的所有时间和因果关系。本技术实施例将时间和因果关系联合预测为多标签多任务分类，并基于
因果时间库训练模型，共包括六种关系类型：之前、之后、期间、包括、被包括和因果关系。
[0097]
(2)文本共现，若触发词之间有连词关系，认为文本共现。本技术实施例通过依赖分析来识别连词关系。
[0098]
跨模态共现，本技术实施例分别从成对的图像文字中提取事件，并假设它们共现，从而实现对成对图像文字之间信息的挖掘。本技术实施例还观察了不同模态之间的语义转换。如图1所示，文本着装事件可能是视觉睡眠事件的子事件。
[0099]
(3)语义关系：
[0100]
本技术实施例中，当事件a的论元是动名词短语b时，b也可以被视为a的子事件，其中，a事件由动名词作为其语义成分触发。例如，从“吃太多炸鸡导致超重”这句话中提取了两个事件：导致超重(事件a)和吃太多鸡肉(事件b)。由于a也是b的角色influencing_entity的论元，所以事件吃太多鸡肉和导致超重通过关系influencing_entity连接。基于这样的假设，利用framenet中的论元来扩展关系类型。
[0101]
满足以下两个条件的事件对定义为语义关系：(1)在依赖分析中，触发词之间通过csubj(主语从句)、xcomp(开放补语从句)、ccomp(补语从句)或advcl(状语从句)连接；(2)一个事件的触发词为另一个事件的论元。
[0102]
第五部分、评价
[0103]
(1)mmekg
[0104]
表1显示了mmekg和其他事件kg的统计数据。本技术实施例构建了一个完整的版本(mmekg full)和一个核心版本(mmekg core)，如表1所示其中，mmekg core过滤掉不经常发生的事件(《3次)，从而得到更密集、更准确的版本。mmekg不仅涉及更大的本体，还涉及更多的实例事件。
[0105]
表1
[0106][0107]
其中，conceptnet、atomic、aser均为作为对比的知识图谱领域的事件常识库，aser full是aser的完整版本，aser core是aser的核心版本。
[0108]
(2)文本/视觉提取系统性能
[0109]
表2显示了本技术实施例在公开数据集上训练的组件的结果，因为没有统一的基准来评估整个提取过程。可以看到，除了wsd之外，本技术实施例所有的知识提取组件都实现了更好的性能。本技术实施例提供的wsd模型在大规模事件检测方面的性能高效。
[0110]
表2
[0111][0112]
(3)实例级评估
[0113]
考虑到训练数据和提取的语料库之间的数据分布不同，在实施时，可以手动评估mmekg的实例级质量。从文本中随机选择1000个实例事件，从图像中随机选择500个实例事件。除了原始上下文，本技术实施例邀请了多位人员来标记提取的事件是否代表原始源的语义。对于例如实例事件关系，本技术实施例考虑：(1)来自文本的因果/时间关系，(2)来自图像标题对的跨模态共现。抽样了200个文本关系和300个跨模态关系。除了上下文之外，还将这些提取的关系提供给同样的多位人员，并询问多位人员提取的关系是否与原始资源匹配。表3中的结果表明，考虑到整个管线的复杂性，性能几乎没有下降，本技术实施例提出的mmekg的质量可以接受。
[0114]
表3实例级评估
[0115] 模态modality精度precision事件event文本texual84.0％事件event视觉visual64.6％三元组triple文本texual66.9％三元组triple跨模态cross-modal63.8％
[0116]
(4)本体级评估
[0117]
大规模本体是知识归纳推理的关键。本技术实施例进一步评估概念事件归纳和关系归纳的质量。与实例级评估不同的是，在本体评估中没有提供上下文供参考。为了便于比较，本技术实施例用一个正样本和一个负样本构建配对，图4b示出了概念事件归纳(顶部)和关系归纳(底部)构建的配对示例，其中，每对包括一个正样本和一个负样本。正样本是从归纳的概念事件或关系中抽取的样本。通过替换正样本中的论元(概念事件归纳)或尾部事件(关系归纳)，生成负样本。询问同样的人员哪一个样本更符合常识。结果如表4和表5所示，这两个负面影响都在20％左右。特别是，对于关系归纳，一些相似的对很难区分哪一个更好。本技术实施例将其归因于低召回率和随机负性抽样，这可能会带来假负性，这也为未来的改进提供了见解。
[0118]
图4概念事件归纳
[0119]
样本sample正样本positive负样本negative100080.1％19.9％
[0120]
表5关系归纳(relation induction)
[0121][0122]
事件知识图现有的事件知识图通常面临质量和数量的两难选择。本技术实施例不仅通过更大的语料库和先进的提取系统开发了更大的kg，而且还衍生了复杂的本体，并整合了跨模式的信息来控制kg的质量。
[0123]
知识提取系统以前的多模式知识提取系统，从相对较小的资源中联合提取小领域的信息。本技术实施例提供的知识提取系统继承了它们的整体框架，但用于提取十亿规模和全球事件。因此，本技术实施例有针对性地优化事件相关组件，以提高效率和有效性。
[0124]
跨媒体事件参数对齐一些以前的工作也通过对各种任务的事件参数进行细粒度对齐来连接文本和图像，例如多模式事件提取和假新闻检测。相反，本技术实施例融合了来自不同模式的知识来构建这样一个大规模的kg。
[0125]
本技术实施例提出了第一个具有大规模事件本体的多模态事件kg(mmekg)，不仅通过更具表现力的事件来沟通和补充不同的知识模式，而且有利于具有丰富跨模式语境的综合推理。此外，本技术实施例还提供了一个演示系统，可以通过知识提取系统无缝解析和链接任何文本/图像。
[0126]
本技术实施例提供一种知识图谱构建方法，该方法可以由计算机设备的处理器执行。其中，计算机设备指的可以是服务器、笔记本电脑、平板电脑、台式计算机、智能电视、机顶盒、移动设备(例如移动电话、便携式视频播放器、个人数字助理、专用消息设备、便携式游戏设备)等具备数据处理能力的设备。所述方法包括：
[0127]
图5a为本技术实施例提供的一种知识图谱构建方法的实现流程示意图，如图5a所示，该方法包括如下步骤s101至步骤s105：
[0128]
步骤s101，对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词。
[0129]
这里，文本数据指形式为文本的数据；实例事件指具体描述实际例子的事件。事件的组成元素可以包括触发词、事件类型、论元和角色。其中，触发词指事件发生的核心词，多为动词和形容词，例如，攻击、讨论等。事件类型指事件的类别，例如，运动事件、攻击事件等。论元指事件的参与者，例如，张三(即具体的人物)、学校等。角色指论元在事件中充当的角色，例如，攻击者、位置、时间等。
[0130]
下面以下述事件为例进行说明：the private dogan news agency reported that more than 30of those wounded in a,primarily children,were transferred to a hospital in b.
[0131]
it showed footage of ambulances arriving at c hospital and medical personnel《t》unloading《/t》a girl on stretchers.
[0132]
含义为：私人多安通讯社报道，在a地，受伤的30多人，被转移到b地的一家医院，其中，大部分为儿童。该报道显示了救护车抵达c医院，医务人员卸载担架上的一个女孩的镜
头。
[0133]
其中，事件类型是由触发词“unloading”触发的运动事件，论元分别是“a”,“ambulances”,“c hospital”,“medical personnel”,“a girl”，每个论元在此事件中都扮演了一个具体角色，分别为始发地(即a所指示的地点)、车辆(即ambulances所指示的车辆)、目的地(即c hospital所指示的地点)、运输者(即medical personnel所指示的运输者)和乘客(即a girl所指示的乘客)。
[0134]
在一些实施例中，步骤s101的实施可以对文本数据进行词性标注(pos tagging，part of speech tagging)和依存关系分析(dependency parsing)，然后基于特定规则得到文本数据对应至少一个第一实例事件的触发词。在一些实施例中，特定规则指除了停用词之外的绝大部分动词和满足若干依存关系的形容词。
[0135]
在一些实施例中，在文本数据为文档的情况下，步骤s101的实施可以先对文本数据进行预处理，例如采用基于bert的下一句预测(next sentence prediction，nsp)模型和启发式规则识别文档(每个文档5至10句)边界，然后再对预处理之后的文本数据进行词性标注和依存关系分析，得到文本数据对应至少一个第一实例事件的触发词。
[0136]
本技术实施例对获取文本数据对应至少一个第一实例事件的触发词的方法不做限定。
[0137]
步骤s102，对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型。
[0138]
这里，图像数据指形式为图像的数据，步骤s102的实施可以采用基于深度学习的图像分类网络例如vit、resnet等，对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型。其中，为了使得图像分类网络能够识别出第二实例事件的事件类型，可以预先采用已标注事件类型的数据样本集对图像分类网络进行训练，使得图像分类网络具有识别事件类型的能力。本技术实施例对图像分类网络的类型不做限定。
[0139]
步骤s103，基于多模态本体确定与每一所述触发词匹配的第一概念事件。
[0140]
这里，多模态指具有至少两个模态，例如可以是文本和图像两个模态，也可以是其他模态，本技术实施例对模态的形式不做限定。概念事件指抽象的经实例事件概括出的事件。
[0141]
在一些实施例中，多模态本体可以包括词库、第一框架和第二框架，其中，所述第一框架用于确定文本数据的概念事件，所述第二框架用于确定图像数据的概念事件。
[0142]
这里，词库指包含词义的库，用于确定词的意思。在一些实施例中，词库可以为wordnet。在wordnet中，名词、形容词和副词以同义词集合(synsets)的形式存储在这个数据库中，每一个synset代表一个同义词集合，各个synsets之间通过语义关系和词性关系等边连接。本技术实施例对词库的种类不做限定。在一些实施例中，第一框架可以为framenet，第二框架可以为imsitu，本技术实施例对第一框架和第二框架的种类不做限定。
[0143]
在一些实施例中，通过将词库和第一框架之间建立映射关系，词库和第二框架之间建立映射关系，融合词库、第一框架和第二框架，形成多模态本体。
[0144]
在一些实施例中，在融合词库、第一框架和第二框架之前，多模态本体的构建还可以包括：
[0145]
通过扩展简单事件模型(simple event modle)，作为知识表示的基础，以在资源描述框架(resource description framework，rdf)中定义本体。
[0146]
在第一框架为framnet的情况下，本体中的单事件表示可以从sem和framenet扩展而来，即单事件的rdf结构是从sem和framenet的定义拓展而来的。在一些实施例中，事件与事件的关系包括以下三种：
[0147]
(1)实例事件和概念事件之间的关系；
[0148]
(2)概念事件之间的关系，用于表示概念事件之间的层次关系；
[0149]
(3)实例事件之间的其他多种关系，例如时序或因果关系等。在一些实施例中，可以通过在实例事件之间增加链接节点，来表示实例事件之间的关系。如此，在对于两个实例事件之间可能存在的多个事件关系的情况下，可以通过链接节点快速查询(只查询需要的事件关系)和修改(无需修改subject和object之间边的表述，只修改链接节点信息即可)，使得本体具有良好的可扩展性。
[0150]
在一些实施例中，本体还可以包含虚拟节点，虚拟节点与实例事件之间连接，以表示此实例事件的来源。虚拟节点的边，可以用于表示该实例事件的触发词、模态、图像/文本索引等信息。虚拟节点是为了结构清晰而设计的做局部结构整合需要的节点，虚拟节点仅在需要查询时被查询，以减少不必要的查询。
[0151]
在构建多模态本体的基础上，步骤s103的实施可以包括如下步骤s1031至步骤s1032：步骤s1031：在所述多模态本体的词库中确定与每一所述触发词匹配的第一词义；这里，步骤s1031的实施可以基于触发词的词义在多模态本体的词库中确定与每一触发词匹配的第一词义。例如，触发词为“buy”，则可以将多模态本体的词库中的“buy”确定为第一词义。步骤s1032：在所述多模态本体的第一框架中确定与每一所述第一词义匹配的第一概念事件。这里，由于多模态本体中第一框架和词库之间已经建立了映射关系，因此，在确定词库中的第一词义之后，可以在第一框架中确定出与每一第一词义匹配的第一概念事件。
[0152]
本技术实施例中，通过在多模态本体的词库中确定与每一触发词匹配的第一词义，再在多模态本体的第一框架中确定与每一第一词义匹配的第一概念事件，从而实现对文本数据对应至少一个第一实例事件的概念事件的确定，方便后续在文本数据中抽取出论元。
[0153]
步骤s104，基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；
[0154]
这里，在构建多模态本体的基础上，如图5b所示，步骤s104的实施可以包括如下步骤s1041至步骤s1043：
[0155]
步骤s1041：在所述多模态本体的第二框架中确定与每一所述事件类型匹配的第一事件；
[0156]
这里，由于第二框架中自带每一个事件的事件类型，因此步骤s1041的实施可以基于第二框架中自带每一个事件的事件类型，在第二框架中确定与步骤s102确定的每一事件类型匹配的第一事件。
[0157]
步骤s1042：在所述多模态本体的词库中确定与每一所述第一事件匹配的第二词义；
[0158]
这里，由于多模态本体的词库与第二框架之间已经建立映射关系，因此，可以在多模态本体的词库中确定出与每一第一事件匹配的第二词义。
[0159]
步骤s1043：在所述多模态本体的第一框架中确定与每一所述第二词义匹配的第二概念事件。
[0160]
这里，由于多模态本体中第一框架和词库之间已经建立了映射关系，因此，在确定词库中的第二词义之后，可以在第一框架中确定出与每一第二词义匹配的第一概念事件。
[0161]
本技术实施例中，通过在多模态本体的第二框架中确定与每一事件类型匹配的第一事件，再在多模态本体的词库中确定与每一第一事件匹配的第二词义，最后在多模态本体的第一框架中确定与每一第二词义匹配的第二概念事件，从而实现对图像数据对应至少一个第二实例事件的概念事件的确定，方便后续在图像数据中抽取出论元。
[0162]
步骤s105，基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。
[0163]
由于在得到概念事件之后，可以确定与概念事件匹配的角色，从而可以根据角色在文本或图像中抽取论元，进而构建多模态事件知识图谱。
[0164]
在一些实施例中，如图5c所示，步骤s105的实施可以包括如下步骤s1051至步骤s1053：
[0165]
步骤s1051：基于每一所述触发词匹配的第一概念事件，对所述文本数据进行事件抽取，得到每一所述第一实例事件的论元；
[0166]
这里，步骤s1051的实施可以包括：基于第一概念事件，确定第一概念事件对应的角色；然后基于确定的角色，对文本数据进行事件抽取，得到每一第一实例事件的论元。
[0167]
步骤s1052：基于每一所述事件类型匹配的所述第二概念事件，对所述图像数据进行事件抽取，得到每一所述第二实例事件的论元；
[0168]
这里，步骤s1052的实施可以包括：基于第二概念事件，确定第二概念事件对应的角色；然后基于确定的角色，对图像数据进行事件抽取，得到每一第二实例事件的论元。
[0169]
步骤s1053：基于每一所述第一实例事件的论元和每一所述第二实例事件的论元，构建多模态事件知识图谱。
[0170]
在一些实施例中，多模态事件知识图谱可以包括论元，因此，可以通过每一第一实例事件的论元和每一第二实例事件的论元，构建多模态事件知识图谱。
[0171]
本技术实施例中，通过多模态本体确定文本数据的第一概念事件和图像数据的第二概念事件，然后基于第一概念事件和第二概念事件，构建多模态的事件知识图谱，从而实现多模态信息之间的互补与融合，为知识图谱的构建提供更多信息，为知识的挖掘提供更多可能。
[0172]
在一些实施例中，在步骤s105之后，如图5d所示，所述方法还包括步骤s106a、步骤s107a和步骤108a，其中：
[0173]
步骤s106a：将至少一个第一实例事件与至少一个第二实例事件确定为第一实例事件集合；
[0174]
即第一实例事件集合包括第一实例事件和第二实例事件。
[0175]
步骤s107a：确定所述第一实例事件集合内两个实例事件之间的事件关系；
[0176]
这里，两个实例事件之间的事件关系可以包括时间和因果关系，语义关系，共现关系。
[0177]
对于时间因果关系，本技术实施例提出了一种新的方法，即构建文档级图来全局
推断事件之间的关系。本技术实施例的方法在没有明确的时间/因果指标和复杂的启发式规则的情况下，可以进行跨句子推理。这使本技术实施例能够同时有效地识别文档的所有时间和因果关系。本技术实施例将时间和因果关系联合预测为多标签多任务分类，并基于因果时间库训练模型，共包括六种关系类型：之前、之后、期间、包括、被包括和因果关系。
[0178]
对于共现关系，包括文本共现和跨模态共现。其中，文本共现，若触发词之间有连词关系，认为文本共现。本技术实施例通过依赖分析来识别连词关系。跨模态共现，本技术实施例分别从成对的图像文字中提取事件，并假设它们共现，从而实现对成对图像文字之间信息的挖掘。
[0179]
对于语义关系，本技术实施例提出了一种确定语义关系的方法，对应地，步骤s107a中的所述两个实例事件包括第三实例事件和第四实例事件，如图5e所示，步骤s107a的实施包括如下步骤s1071a至步骤s1073a：
[0180]
步骤s1071a：确定所述第三实例事件触发词和所述第四实例事件触发词之间的语法关系；
[0181]
这里，语法关系包括csubj(主语从句)、xcomp(开放补语从句)、ccomp(补语从句)或advcl(状语从句)。
[0182]
步骤s1072a：确定所述第三实例事件触发词与所述第四实例事件论元之间的从属关系；
[0183]
在一些实施例中，步骤s1072a的实施可以是，判断第三实例事件触发词是否是第四实例事件的论元，在是的情况下，可以确定所述第三实例事件触发词与所述第四实例事件论元之间的从属关系。
[0184]
步骤s1073a：在所述语法关系满足预设条件，且所述第三实例事件触发词为所述第四实例事件论元的情况下，所述第三实例事件与所述第四实例事件为语义关系。
[0185]
这里，预设条件为：在依赖分析中，触发词之间通过csubj(主语从句)、xcomp(开放补语从句)、ccomp(补语从句)或advcl(状语从句)连接。
[0186]
即在第三实例事件触发词和第四实例事件触发词之间通过csubj(主语从句)、xcomp(开放补语从句)、ccomp(补语从句)或advcl(状语从句)连接，且第三实例事件触发词为第四实例事件论元的情况下，第三实例事件与第四实例事件为语义关系。例如：从“吃太多炸鸡导致超重”这句话中提取了两个事件：导致超重(事件a)和吃太多鸡肉(事件b)。由于a也是b的角色influencing_entity的论元，且事件a的触发词是“导致”，事件b的触发词是“吃”，事件a的触发词和事件b的触发词之间的语法关系是主语从句，所以事件a与事件b是语义关系。
[0187]
本技术实施例提供了一种新的实例事件之间的关系类型(语义关系)，并提供了语义关系的确定方法，从而丰富了知识图谱的构成，扩大了知识图谱的规模，提供了更多可供挖掘的信息。
[0188]
步骤s108a：将所述两个实例事件之间的事件关系，添加到所述多模态事件知识图谱。
[0189]
本技术实施例中，通过确定两个实例事件之间的事件关系，并添加到多模态事件知识图谱中，从而丰富了知识图谱的构成，并提供了更多可供挖掘的信息。
[0190]
在一些实施例中，在步骤s105之后，本技术实施例还提供一种更新本体的方法，如
图5f所示，所述方法还包括步骤s106b、步骤s107b和步骤s108b，其中：
[0191]
步骤s106b：确定所述第一实例事件集合内两个实例事件之间的事件关系的第一显著性分数；
[0192]
这里，两个实例事件之间的事件关系可以包括时间和因果关系，语义关系，共现关系。第一显著性得分的计算可以考虑以下两方面：(1)实例事件之间关系r的置信度得分，(2)尾事件出现的次数(尽量少)，如此，可以提取到更多重要有意义的信息。
[0193]
步骤s107b：基于所述第一显著性分数，推理得到与所述实例事件对应的概念事件之间的关系；
[0194]
这里，步骤s107b的实施可以包括：在第一显著性得分超过阈值的情况下，推理得到与实例事件对应的概念事件也存在实例事件之间的关系。
[0195]
步骤s108b：基于所述推理得到与所述实例事件对应的概念事件之间的关系，更新所述本体。
[0196]
这里，步骤s108b的实施包括：将概念事件之间的关系添加到本体之中，更新本体。
[0197]
本技术实施例中，通过确定第一实例事件集合内两个实例事件之间的事件关系的第一显著性分数，然后基于第一显著性分数，推理得到与实例事件对应的概念事件之间的关系，进而更新本体，使得本体之间的层级关系更加细粒度，便于获取更加丰富的知识信息。
[0198]
本技术实施例提供一种多模态本体的构建方法，如图5g所示，所述方法包括如下步骤31至步骤33：
[0199]
步骤31：将词库中的词义与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系；
[0200]
其中，所述第一框架用于确定文本数据的概念事件；第一框架可以为framenet，词库可以为wordnet。
[0201]
在一些实施例中，步骤31的实施可以包括如下步骤311至步骤314：
[0202]
步骤311：确定所述第一框架中每一事件的事件类型；
[0203]
这里，第一框架中每一事件的事件类型可以为人工标记的事件类型。在第一框架为framenet的情况下，framenet中的每一个事件自带事件类型。
[0204]
步骤312：确定所述词库中每一词义与所述第一框架中每一事件的事件类型之间的余弦相似度；
[0205]
这里，步骤312的实施可以将词库中的每一词义和第一框架中的每一事件的事件类型转化为向量形式(例如，通过sentence-bert转化向量形式)，再计算词库中每一词义与第一框架中每一事件的事件类型之间的余弦相似度。
[0206]
步骤313：基于所述余弦相似度，确定与所述词库中的每一词义匹配的所述第一框架中的事件；
[0207]
这里，步骤313的实施可以基于词库中的每一词义，选择余弦相似度最高的事件类型对应的事件，作为与该词义匹配的第一框架中的事件，进而确定与词库中的每一词义匹配的第一框架中的事件。
[0208]
步骤314：基于与所述词库中的每一词义匹配的所述第一框架中的事件，建立所述词库和所述第一框架之间的第一映射关系。
[0209]
由于第一框架framenet中的事件涵盖面广，比如一个化学物质转换成另一个叫“cause_change”，改名字也叫“cause_change”，而词库wordnet的词义更加丰富，因此通过将wordnet与framenet对齐，可以使得framenet对应的概念事件更加细粒度；此外，wordnet还为framenet带来了层次信息，从而使得构建的知识图谱的信息更加丰富。
[0210]
步骤32：将所述词库中的词义与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系；
[0211]
其中，所述第二框架用于确定图像数据的概念事件；第二框架可以为imsitu，步骤32的实施可以包括如下步骤321至步骤323：
[0212]
步骤321：确定所述第二框架中每一事件的事件类型；
[0213]
这里，第二框架中每一事件的事件类型可以为人工标记的事件类型。在第二框架为imsitu的情况下，imsitu中的每一个事件自带事件类型。
[0214]
步骤322：基于所述第二框架中每一事件的事件类型，确定与所述第二框架中每一事件匹配的所述词库中的词义；
[0215]
这里，步骤322的实施可以根据第二框架中每一事件的事件类型和词库中的词义，通过手工对齐的方式，确定第二框架中的每一事件与词库中的词义之间的匹配关系。
[0216]
步骤323：基于与所述第二框架中每一事件匹配的所述词库中的词义，建立所述词库和所述第二框架之间的第二映射关系。
[0217]
由于第二框架imsitu用于描述图像事件，图像事件触发事件通过动词触发，而imsitu中的事件类型对应的动词没有词义，因此需要与词库wordnet下的词义对齐，又因为wordnet与第一框架framenet之间存在映射关系，所以可以通过wordnet关联到framenet下的事件类型，从而得到图像对应的概念事件，而framenet用于得到文本对应的概念事件，从而实现在同一个本体下构建多模态的知识图谱。
[0218]
步骤33：基于所述第一映射关系和所述第二映射关系，融合所述词库、所述第一框架和所述第二框架，得到所述多模态本体。
[0219]
由于第二框架与词库之间存在第二映射关系，第一框架与词库之间存在第一映射关系，因此，第二框架和第一框架通过词库关联起来，实现了文本和图像两种模态的知识图谱的构建。
[0220]
本技术实施例中，第一方面，由于第二框架imsitu用于描述图像事件，图像事件触发事件通过动词触发，而imsitu中的事件类型对应的动词没有词义，因此需要与词库wordnet下的词义对齐，又因为wordnet与第一框架framenet之间存在映射关系，所以可以通过wordnet关联到framenet下的事件类型，从而得到图像对应的概念事件，而framenet用于得到文本对应的概念事件，从而实现在同一个本体下构建多模态的知识图谱。第二方面，由于第一框架framenet中的事件涵盖面广，而词库wordnet的词义更加丰富，因此通过将wordnet与framenet对齐，可以使得framenet对应的概念事件更加细粒度，而且wordnet还为framenet带来更多的层次信息，从而使得构建的知识图谱的信息更加丰富。
[0221]
在一些实施例中，在步骤33得到所述多模态本体之后，本技术实施例还提供一种多模态本体的更新方法，如图5h所示，还包括步骤34至步骤38，其中：
[0222]
步骤34：获取所述多模态本体中的概念事件、所述概念事件中的特定角色和与所述概念事件匹配的第二实例事件集合；
[0223]
这里，概念事件和概念事件中的角色可以为任意概念事件和任意角色。例如：概念事件为fry(炸)，特定角色为food(食物)。第二实例事件集合为概念事件fry下的所有实例事件。
[0224]
步骤35：确定所述第二实例事件集合中所述特定角色对应的论元集合；
[0225]
这里，继续以概念事件为fry(炸)，特定角色为food(食物)为例进行说明，第二实例事件集合中food角色的论元包括fish,a fish,the fish,a big fish，chicken,the chicken，组成论元集合。
[0226]
步骤36：对所述论元集合进行聚类处理，得到每一类的第二显著性分数；
[0227]
这里，步骤36的实施可以包括：对论元集合中的所有论元的中心词进行词形还原和启发式聚类，然后计算每一类的第二显著性分数。
[0228]
继续以上述例子说明，fish,a fish,the fish,a big fish词形还原后都为fish,chicken,the chicken词形还原后都为chicken，进行启发式聚类后得到fish和chicken两类。计算每个类型的显著性分数，考虑以下两个方面：(1)每个类型置信度得分(出现的次数)(2)每类型的重要性，例如类型是“我”，则重要性不高，可以降低该类型的权重。
[0229]
步骤37：基于每一类的所述第二显著性分数和所述概念事件的触发词，推理得到新的概念事件；
[0230]
这里，步骤37的实施可以包括：选择显著性得分最高的k个类型，并通过将角色r和这些名称与触发词相结合来推理得出新的概念事件。例如fish出现的次数较多，显著性分数高，当k为1的情况下，将fish与触发词fry和角色food结合，派生出的新的概念事件为“fry fish”。
[0231]
步骤38：基于所述新的概念事件，更新所述多模态本体。
[0232]
这里，步骤38的实施可以将新的概念事件添加到多模态本体之中，从而更新多模态本体。
[0233]
本技术实施例中，通过确定实例事件中论元的显著性分数，然后结合触发词推理得到新的概念事件，之后将推理得到的新的概念事件添加到多模态本体之中更新多模态本体，从而使得本体中的关系更加丰富和细粒度，进而实现构建大规模的事件知识图谱。
[0234]
本技术实施例提出的事件论元提取方法(paie，prompting argument interaction for event argument extraction)，包括：一种事件抽取方法，其特征在于，包括：获取输入文本；其中，所述输入文本包括触发词和至少一个事件论元；通过编码器和解码器，提取所述输入文本对应的第一文本特征向量集合；获取与所述触发词对应的目标抽取模板；通过所述解码器对所述目标抽取模板和所述输入文本进行解码，得到每一所述事件论元的论元特征向量；基于所述第一文本特征向量集合和每一所述事件论元的论元特征向量，确定与每一所述事件论元对应的取值范围。
[0235]
在一些实施例中，该方法还包括：分别将所述输入文本和所述目标抽取模板转化为文本词向量集合和模板词向量集合；所述通过编码器和解码器，提取所述输入文本对应的第一文本特征向量集合，包括：通过所述编码器对所述文本词向量集合进行编码，得到第二文本特征向量集合；通过所述解码器对所述文本词向量集合和所述第二文本特征向量集合进行解码，得到所述输入文本对应的第一文本特征向量集合；对应地，所述通过所述解码器对所述目标抽取模板和所述输入文本进行解码，得到每一所述事件论元的论元特征向
量，包括：通过所述解码器对所述模板词向量集合和所述第二文本特征向量集合进行解码，得到每一所述事件论元的论元特征向量。
[0236]
在一些实施例中，所述通过所述解码器对所述模板词向量集合和所述第二文本特征向量集合进行解码，得到每一所述事件论元的论元特征向量，包括：利用所述解码器对所述模板词向量集合和所述第二文本特征向量集合进行解码，得到融合输入文本信息的模板特征向量集合；基于所述模板词向量集合中每一论元角色的位置信息，从所述模板特征向量集合中，确定与每一所述论元角色对应的每一所述事件论元的论元特征向量。
[0237]
在一些实施例中，所述基于所述模板词向量集合中每一论元角色的位置信息，从所述模板特征向量集合中，确定与每一所述论元角色对应的每一所述事件论元的论元特征向量，包括：针对所述模板词向量集合中每一论元角色的位置信息，从所述模板特征向量集合中，提取出与所述论元角色对应的每一所述事件论元的特征向量；针对每一所述事件论元的特征向量进行平均池化，得到所述事件论元的论元特征向量。
[0238]
事件是描述客观世界活动与状态的基本构成单元。以事件为节点的知识图谱总结了现实生活中各领域所蕴含的事件以及这些事件之间的交互关系，可以在常识推理等一系列下游任务中取得十分重要的应用。近年来出现了一大批构建事件知识图谱的相关工作：atomic通过人工标注构建了小规模、高质量的事件知识图谱，而aser则通过自动规则构建了大规模、质量相对较低的事件知识图谱。如果在不过度依赖人工标注的前提下构建较高质量、较大规模的事件知识图谱仍然是此前工作尚未解决的问题。
[0239]
除此此外，之前工作没有为事件知识图谱严格设计一套本体，亦没有考虑多模态信息(例如文本与视觉上的图像)的互补与融合。基于此，本技术实施例：将借助基于深度学习的事件知识提取系统以较低成本(指不依赖大量的人工标注)抽取较多的事件知识，并考虑多模态信息(图像与文本)之间事件知识的融合与互补，以及为事件知识图谱定义一套高质量的，大规模的且有实际使用价值的本体。
[0240]
本技术实施例提供了一套多模态的事件知识提取系统。这套提取系统以最前沿的深度学习技术为核心，以成熟的规则和模板为辅助，可以快速高效的从文本与图像中提取大量的事件知识。该提取系统在目前已知的同类型系统中可以取得最好效果。
[0241]
本技术实施例提供了一套多模态事件知识图谱的本体，为该图谱定义了四种不同类型的节点和连边，并规定了不同事件、关系之间的关联限制。通过对齐外部资源(将framenet和wordnet中相似的节点融合起来)，得到了一套初始化的本体，并在该本体的基础上结合提取得到的事件实例归纳出了一套层次化的事件/事件关系的本体。
[0242]
本技术实施例提供的方法主要包含以下两个流程：第一流程为本体构建流程，第二流程为多模态事件的知识提取流程，其中：
[0243]
第一流程：本体构建流程
[0244]
在传统的事件知识图谱本体(simple event model)的基础上构建了一套新的本体，如下图3所示。
[0245]
图3中，虚线框代表字符属性，实线框代表实体/关系/事件等。实体：知识图谱中的基本元素，可以与其他实体或字符属性存在关系。非实体(字符属性)：知识图谱中的基本元素，只能作为某个实体的属性存在。例如：知识图谱中存在(汤姆，出生于，美国)，(美国，建立时间，1776)这样两个三元组。(1)汤姆，美国是实体，(2)出生于，建立时间是关系，(3)
1776是非实体/属性。
[0246]
左上部分(网格的实线框例如cpt_event_565、ins_event_317)为与事件相关的本体，右边部分(灰色的实线框部分例如[eventrel_id]、[reltype_id])为与关系相关的本体，下面部分(通过圆圈即虚拟节点连接的部分，例如[span])是通过提取系统得到的原始事件信息。ekg表示本技术实施例定义的新类，rdf表示三元组，ins_event表示实例事件，cpt_event表示概念事件。
[0247]
一般来说，可以将整个事件的本体分为本体层(concept-level)和实例层(instance-level)两个部分。例如cpt_event_565以及上方属于本体层，ins_event_317及其下方属于实例层。首先通过framenet与wordnet的对齐得到初始的本体。以该初始本体为基础，对事件提取系统得到的实例事件进行统计，将出现频次较高的归并到本体层中作为新的本体事件。此外采用类似的方法将出现频率较高的实例层的关系归并到本体层中。
[0248]
第二流程：多模态事件的知识提取流程
[0249]
该流程分为三个部分：文本知识提取流程，视觉知识提取流程和事件关系提取流程。
[0250]
文本知识提取：首先将处理好的文本进行词性标注(pos tagging)和依存关系分析(dependency parsing)；基于特定规则得到触发事件的词汇(trigger word)。其中，词性标注可以采用机器来标注，特定规则可以包括：绝大多数动词(维护了一个停用词表)，满足若干依存关系的形容词。然后，对该词汇进行词义消歧得到基本事件类型。最后，给定事件类型，采用基于提示的深度学习模型进行事件论元提取(event argument extraction)最终得到完整的实例事件，即本技术实施例提供的paie方法。
[0251]
其中，词性标注是判断一个词的词性(动词？名词？形容词？)，词义消歧确定多义词在文中的含义(例如英文词语fire到底指解雇，还是指开火？)；停用词(stop words)，词典中一般认为是检索中的虚词、非检索词。停用词还可以理解为：为了节省存储空间和提高搜索效率，搜索引擎页面或处理搜索请求时会自动忽略某些字或词，这些字或词被称为停用词。
[0252]
视觉知识提取：与文本知识提取类似，首先通过动作识别(action recognition)技术确定该图像所表达的事件，再采用情景识别(situation recognition)技术确定事件的相关论元。
[0253]
事件关系提取：将事件关系分为不同类型进行差异化处理。针对因果和时序关系，采用基于长形(longformer)的关系图推理技术进行事件关系提取。针对图文共现关系，将图像文本对中的关系进行对齐来得到相应关系。可以利用图像-文本的成对数据，分别从图像和文本中抽取事件；从一对图像-文本分别抽取的两个事件被认为是对齐的。针对其他关系，基于定义的规则进行提取。其他事件关系的分类比较复杂，还包括文本共现关系以及几百种语义关系。
[0254]
从以上的技术方案可以看出本技术实施例具有以下特点：1)本技术实施例采用基于深度学习的自动化知识提取系统提取事件知识来构建知识图谱，而相关技术中采用人工标注或简单规则抽取事件来构建知识图谱。2)本技术实施例所构建的知识图谱考虑了多个模态事件的交互与融合，而相关技术中只考虑了文本单一模态。3)本技术实施例融合外部数据库和抽取得到的事件实例，事件知识图谱构建了一套大规模高质量本体，而相关技术
中没有本体或只有简单的本体，也不会基于事件实例归纳得到新的事件本体。所以本技术实施例具有更快速，高质量的事件知识抽取速度，而且更合理的事件知识组织与存储方式，最后能够实现多模态知识的交互融合。本技术实施例提供的方法和系统可以广泛地应用于结构化信息抽取服务产品、与常识推理相关的服务产品等产品中。
[0255]
基于前述的实施例，本技术实施例提供一种知识图谱构建装置，该装置包括所包括的各模块、以及各单元所包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(central processing unit，cpu)、微处理器(microprocessor unit，mpu)、数字信号处理器(digital signal processor，dsp)或现场可编程门阵列(field programmable gate array，fpga)等。
[0256]
图6a为本技术实施例提供的一种知识图谱构建装置的组成结构示意图，如图6a所示，该知识图谱构建装置610，包括：
[0257]
检测模块611，用于对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词；
[0258]
分类模块612，用于对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型；
[0259]
第一确定模块613，用于基于多模态本体确定与每一所述触发词匹配的第一概念事件；
[0260]
第二确定模块614，用于基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；
[0261]
构建模块615，用于基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。
[0262]
在一些实施例中，所述多模态本体包括词库、第一框架和第二框架，其中，所述第一框架用于确定文本数据的概念事件，所述第二框架用于确定图像数据的概念事件；所述第一确定模块，包括：第一确定单元，用于在所述多模态本体的词库中确定与每一所述触发词匹配的第一词义；第二确定单元，用于在所述多模态本体的第一框架中确定与每一所述第一词义匹配的第一概念事件。
[0263]
在一些实施例中，所述第二确定模块，包括：第三确定单元，用于在所述多模态本体的第二框架中确定与每一所述事件类型匹配的第一事件；第四确定单元，用于在所述多模态本体的词库中确定与每一所述第一事件匹配的第二词义；第五确定单元，用于在所述多模态本体的第一框架中确定与每一所述第二词义匹配的第二概念事件。
[0264]
在一些实施例中，所述构建模块，包括：第一抽取单元，用于基于每一所述触发词匹配的第一概念事件，对所述文本数据进行事件抽取，得到每一所述第一实例事件的论元；第二抽取单元，用于基于每一所述事件类型匹配的所述第二概念事件，对所述图像数据进行事件抽取，得到每一所述第二实例事件的论元；构建单元，用于基于每一所述第一实例事件的论元和每一所述第二实例事件的论元，构建多模态事件知识图谱。
[0265]
在一些实施例中，该装置还包括：第三确定模块，用于将至少一个第一实例事件与至少一个第二实例事件确定为第一实例事件集合；第四确定模块，用于确定所述第一实例事件集合内两个实例事件之间的事件关系；添加模块，用于将所述两个实例事件之间的事
件关系，添加到所述多模态事件知识图谱。
[0266]
在一些实施例中，所述两个实例事件包括第三实例事件和第四实例事件，所述第四确定模块，用于确定所述第三实例事件触发词和所述第四实例事件触发词之间的语法关系；确定所述第三实例事件触发词与所述第四实例事件论元之间的从属关系；在所述语法关系满足预设条件，且所述第三实例事件触发词为所述第四实例事件论元的情况下，所述第三实例事件与所述第四实例事件为语义关系。
[0267]
在一些实施例中，所述装置还包括：第五确定模块，用于确定所述第一实例事件集合内两个实例事件之间的事件关系的第一显著性分数；第一推理模块，用于基于所述第一显著性分数，推理得到与所述实例事件对应的概念事件之间的关系；更新模块，用于基于所述推理得到与所述实例事件对应的概念事件之间的关系，更新所述本体。
[0268]
基于前述的实施例，本技术实施例提供一种多模态本体的构建装置，该装置包括所包括的各模块、以及各单元所包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(central processing unit，cpu)、微处理器(microprocessor unit，mpu)、数字信号处理器(digital signal processor，dsp)或现场可编程门阵列(field programmable gate array，fpga)等。
[0269]
图6b为本技术实施例提供的一种多模态本体的构建装置的组成结构示意图，如图6b所示，该多模态本体的构建装置620，包括：
[0270]
第一建立模块621，用于将词库中的词义与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系，所述第一框架用于确定文本数据的概念事件；
[0271]
第二建立模块622，用于将所述词库中的词义与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系，所述第二框架用于确定图像数据的概念事件；
[0272]
融合模块623，用于基于所述第一映射关系和所述第二映射关系，融合所述词库、所述第一框架和所述第二框架，得到所述多模态本体。
[0273]
在一些实施例中，所述第一建立模块，包括：第六确定单元，用于确定所述第一框架中每一事件的事件类型；第七确定单元，用于确定所述词库中每一词义与所述第一框架中每一事件的事件类型之间的余弦相似度；第八单元，用于基于所述余弦相似度，确定与所述词库中的每一词义匹配的所述第一框架中的事件；第一建立单元，用于基于与所述词库中的每一词义匹配的所述第一框架中的事件，建立所述词库和所述第一框架之间的第一映射关系。
[0274]
在一些实施例中，所述第二建立模块，包括：第九确定单元，用于确定所述第二框架中每一事件的事件类型；第十确定单元，用于基于所述第二框架中每一事件的事件类型，确定与所述第二框架中每一事件匹配的所述词库中的词义；第二建立单元，用基于与所述第二框架中每一事件匹配的所述词库中的词义，于建立所述词库和所述第二框架之间的第二映射关系。
[0275]
在一些实施例中，该装置还包括：获取模块，用于获取所述多模态本体中的概念事件、所述概念事件中的特定角色和与所述概念事件匹配的第二实例事件集合；第六确定模块，用于确定所述第二实例事件集合中所述特定角色对应的论元集合；聚类模块，用于对所
述论元集合进行聚类处理，得到每一类的第二显著性分数；第二推理模块，用于基于每一类的所述第二显著性分数和所述概念事件的触发词，推理得到新的概念事件；更新模块，用于基于所述新的概念事件，更新所述多模态本体。
[0276]
以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。在一些实施例中，本技术实施例提供的装置具有的功能或包含的模块可以用于执行上述方法实施例描述的方法，对于本技术装置实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0277]
需要说明的是，本技术实施例中，如果以软件功能模块的形式实现上述的知识图谱构建方法或多模态本体的构建方法，并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实施例的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。这样，本技术实施例不限制于任何特定的硬件、软件或固件，或者硬件、软件、固件三者之间的任意结合。
[0278]
本技术实施例提供一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法中的部分或全部步骤。
[0279]
本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述方法中的部分或全部步骤。所述计算机可读存储介质可以是瞬时性的，也可以是非瞬时性的。
[0280]
本技术实施例提供一种计算机程序，包括计算机可读代码，在所述计算机可读代码在计算机设备中运行的情况下，所述计算机设备中的处理器执行用于实现上述方法中的部分或全部步骤。
[0281]
本技术实施例提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序被计算机读取并执行时，实现上述方法中的部分或全部步骤。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一些实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一些实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(software development kit，sdk)等等。
[0282]
若本技术技术方案涉及个人信息，应用本技术技术方案的产品在处理个人信息前，已明确告知个人信息处理规则，并取得个人自主同意。若本技术技术方案涉及敏感个人信息，应用本技术技术方案的产品在处理敏感个人信息前，已取得个人单独同意，并且同时满足“明示同意”的要求。例如，在摄像头等个人信息采集装置处，设置明确显著的标识告知已进入个人信息采集范围，将会对个人信息进行采集，若个人自愿进入采集范围即视为同意对其个人信息进行采集；或者在个人信息处理的装置上，利用明显的标识/信息告知个人信息处理规则的情况下，通过弹窗信息或请个人自行上传其个人信息等方式获得个人授权；其中，个人信息处理规则可包括个人信息处理者、个人信息处理目的、处理方式、处理的
个人信息种类等信息。
[0283]
这里需要指出的是：上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考。以上设备、存储介质、计算机程序及计算机程序产品实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本技术设备、存储介质、计算机程序及计算机程序产品实施例中未披露的技术细节，请参照本技术方法实施例的描述而理解。
[0284]
需要说明的是，图7为本技术实施例中计算机设备的一种硬件实体示意图，如图7所示，该计算机设备700的硬件实体包括：处理器701、通信接口702和存储器703，其中：
[0285]
处理器701通常控制计算机设备700的总体操作。
[0286]
通信接口702可以使计算机设备通过网络与其他终端或服务器通信。
[0287]
存储器703配置为存储由处理器701可执行的指令和应用，还可以缓存待处理器701以及计算机设备700中各模块待处理或已经处理的数据(例如，图像数据、音频数据、语音通信数据和视频通信数据)，可以通过闪存(flash)或随机访问存储器(random access memory，ram)实现。处理器701、通信接口702和存储器703之间可以通过总线704进行数据传输。
[0288]
应理解，说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本技术的至少一个实施例中。因此，在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。应理解，在本技术的各种实施例中，上述各步骤/过程的序号的大小并不意味着执行顺序的先后，各步骤/过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
[0289]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0290]
在本技术所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0291]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元；既可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0292]
另外，在本技术各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0293]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(read only memory，rom)、磁碟或者光盘等各种可以存储程序代码的介质。
[0294]
或者，本技术上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本技术各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、磁碟或者光盘等各种可以存储程序代码的介质。
[0295]
以上所述，仅为本技术的实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。

技术特征：
1.一种知识图谱构建方法，其特征在于，包括：对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词；对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型；基于多模态本体确定与每一所述触发词匹配的第一概念事件；基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。2.根据权利要求1所述的方法，其特征在于，所述多模态本体包括词库、第一框架和第二框架，其中，所述第一框架用于确定文本数据的概念事件，所述第二框架用于确定图像数据的概念事件；所述基于多模态本体确定与每一所述触发词匹配的第一概念事件，包括：在所述多模态本体的词库中确定与每一所述触发词匹配的第一词义；在所述多模态本体的第一框架中确定与每一所述第一词义匹配的第一概念事件。3.根据权利要求2所述的方法，其特征在于，所述基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件，包括：在所述多模态本体的第二框架中确定与每一所述事件类型匹配的第一事件；在所述多模态本体的词库中确定与每一所述第一事件匹配的第二词义；在所述多模态本体的第一框架中确定与每一所述第二词义匹配的第二概念事件。4.根据权利要求1至3任一项所述的方法，其特征在于，所述基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱，包括：基于每一所述触发词匹配的第一概念事件，对所述文本数据进行事件抽取，得到每一所述第一实例事件的论元；基于每一所述事件类型匹配的所述第二概念事件，对所述图像数据进行事件抽取，得到每一所述第二实例事件的论元；基于每一所述第一实例事件的论元和每一所述第二实例事件的论元，构建多模态事件知识图谱。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：将所述至少一个第一实例事件与所述至少一个第二实例事件确定为第一实例事件集合；确定所述第一实例事件集合内两个实例事件之间的事件关系；将所述两个实例事件之间的事件关系，添加到所述多模态事件知识图谱。6.根据权利要求5所述的方法，其特征在于，所述两个实例事件包括第三实例事件和第四实例事件，所述确定所述第一实例事件集合内两个实例事件之间的事件关系，包括：确定所述第三实例事件触发词和所述第四实例事件触发词之间的语法关系；确定所述第三实例事件触发词与所述第四实例事件论元之间的从属关系；在所述语法关系满足预设条件，且所述第三实例事件触发词为所述第四实例事件论元的情况下，所述第三实例事件与所述第四实例事件为语义关系。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：确定所述第一实例事件集合内两个实例事件之间的事件关系的第一显著性分数；基于所述第一显著性分数，推理得到与所述两个实例事件对应的概念事件之间的关系；基于所述推理得到与所述两个实例事件对应的概念事件之间的关系，更新所述本体。8.一种多模态本体的构建方法，其特征在于，包括：将词库中的词义分别与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系，所述第一框架用于确定文本数据的概念事件；将所述词库中的词义分别与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系，所述第二框架用于确定图像数据的概念事件；基于所述第一映射关系和所述第二映射关系，融合所述词库、所述第一框架和所述第二框架，得到所述多模态本体。9.根据权利要求8所述的方法，其特征在于，所述将词库中的词义与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系，包括：确定所述第一框架中每一事件的事件类型；确定所述词库中每一词义与所述第一框架中每一事件的事件类型之间的余弦相似度；基于所述余弦相似度，确定与所述词库中的每一词义匹配的所述第一框架中的事件；基于与所述词库中的每一词义匹配的所述第一框架中的事件，建立所述词库和所述第一框架之间的第一映射关系。10.根据权利要求8或9所述的方法，其特征在于，所述将所述词库中的词义与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系，包括：确定所述第二框架中每一事件的事件类型；基于所述第二框架中每一事件的事件类型，确定与所述第二框架中每一事件匹配的所述词库中的词义；基于与所述第二框架中每一事件匹配的所述词库中的词义，建立所述词库和所述第二框架之间的第二映射关系。11.根据权利要求8至10任一项所述的方法，其特征在于，在得到所述多模态本体之后，还包括：获取所述多模态本体中的概念事件、所述概念事件中的特定角色和与所述概念事件匹配的第二实例事件集合；确定所述第二实例事件集合中所述特定角色对应的论元集合；对所述论元集合进行聚类处理，得到每一类的第二显著性分数；基于每一类的所述第二显著性分数和所述概念事件的触发词，推理得到新的概念事件；基于所述新的概念事件，更新所述多模态本体。12.一种知识图谱构建装置，其特征在于，包括：检测模块，用于对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词；分类模块，用于对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二
实例事件的事件类型；第一确定模块，用于基于多模态本体确定与每一所述触发词匹配的第一概念事件；第二确定模块，用于基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；构建模块，用于基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。13.一种多模态本体的构建装置，其特征在于，所述装置包括：第一建立模块，用于将词库中的词义与第一框架中的每一事件匹配，建立所述词库和所述第一框架之间的第一映射关系，所述第一框架用于确定文本数据的概念事件；第二建立模块，用于将所述词库中的词义与第二框架中的每一事件匹配，建立所述词库和所述第二框架之间的第二映射关系，所述第二框架用于确定图像数据的概念事件；融合模块，用于基于所述第一映射关系和所述第二映射关系，融合所述词库、所述第一框架和所述第二框架，得到所述多模态本体。14.一种计算机设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1至11任一项所述方法中的步骤。15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至11任一项所述方法中的步骤。

技术总结
本申请实施例公开了一种知识图谱构建方法、装置、设备及存储介质，其中，所述方法包括：对文本数据进行事件检测，得到所述文本数据对应至少一个第一实例事件的触发词；对图像数据进行图像分类处理，得到所述图像数据对应至少一个第二实例事件的事件类型；基于多模态本体确定与每一所述触发词匹配的第一概念事件；基于所述多模态本体确定与每一所述事件类型匹配的第二概念事件；基于每一所述触发词匹配的第一概念事件和每一所述事件类型匹配的第二概念事件，构建多模态事件知识图谱。构建多模态事件知识图谱。构建多模态事件知识图谱。


技术研发人员：马聿伯 王泽昊 李牧锴 曹艺馨 陈美琪 李昕泽 孙文麒 邓坤权 王坤 孙爱欣 邵婧
受保护的技术使用者：南洋理工大学
技术研发日：2023.03.31
技术公布日：2023/7/7