基于规则和路径的中医药多模态知识图谱推理方法和装置

1.本发明涉及知识图谱推理技术领域，尤其涉及一种基于规则和路径的中医药多模态知识图谱推理方法和装置。


背景技术：

2.知识图谱（knowledge graph）能够有效的管理和组织海量的结构化信息，在语义分析等方面发挥着重要的作用，知识图谱是由互相有联系的实体和它们的关系构成的，拥有着大量的三元组（head，relation，tail），也被简写成。
3.相关技术中，随着知识图谱规模的不断增加，实体与实体之间的关系日益复杂，结构稀疏性等问题更加明显，从而导致推理性能较低。因而如何更加有效的进行知识图谱推理是本领域技术人员亟需解决的技术问题。


技术实现要素：

4.针对现有技术中的问题，本发明实施例提供一种基于规则和路径的中医药多模态知识图谱推理方法和装置。
5.具体地，本发明实施例提供了以下技术方案：第一方面，本发明实施例提供了一种基于规则和路径的中医药多模态知识图谱推理方法，包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目标规则用于指示路径之间的组合规则；根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；所述嵌入表示用于创建向量表示；根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
6.进一步地，所述根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组，包括：在目标路径之间匹配到多个目标规则的情况下，基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的目标三元组。
7.进一步地，所述根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：
将所述中医药多模态知识图谱的目标三元组嵌入至预设的n维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示；将中医药多模态知识图谱中的实体图像嵌入至预设的n维向量空间中，生成中医药多模态知识图谱中的实体图像嵌入表示；将中医药多模态知识图谱中的实体描述信息投影到超平面，生成中医药多模态知识图谱中的实体描述信息嵌入表示；所述超平面是基于中医药多模态知识图谱的结构知识确定的；将中医药多模态知识图谱中的实体类别投影到超平面，生成中医药多模态知识图谱中的实体类别嵌入表示；根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型。
8.进一步地，所述根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：将所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，进行联合训练，生成基于规则和路径的中医药多模态知识图谱推理模型。
9.进一步地，所述将所述中医药多模态知识图谱的目标三元组嵌入至预设的n维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示，包括：利用如下公式表示中医药多模态知识图谱的目标三元组的嵌入表示：；其中，表示中医药多模态知识图谱的目标三元组的嵌入表示；表示目标三元组之间的能量函数；表示目标路径和实体关系相似度的能量函数。
10.进一步地，所述根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理，包括：根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识图谱的数据集链接预测和三元组分类。
11.第二方面，本发明实施例还提供了一种基于规则和路径的中医药多模态知识图谱推理装置，包括：建立模块，用于建立中医药多模态知识图谱；生成模块，用于根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目
标规则用于指示路径之间的组合规则；处理模块，用于根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；所述嵌入表示用于创建向量表示；推理模块，用于根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
12.第三方面，本发明实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述基于规则和路径的中医药多模态知识图谱推理方法。
13.第四方面，本发明实施例还提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述基于规则和路径的中医药多模态知识图谱推理方法。
14.第五方面，本发明实施例还提供了一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如第一方面所述基于规则和路径的中医药多模态知识图谱推理方法。
15.本发明实施例提供的基于规则和路径的中医药多模态知识图谱推理方法和装置，通过建立中医药多模态知识图谱，并根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；从而在生成中医药多模态知识图谱推理模型及知识图谱推理的过程中，不仅增加了类别、描述、图像等多模态信息，还增加了基于目标规则和目标路径确定的目标三元组信息，提升了模型的推理依据，提供了可解释性及更有说服力的推理结果；并且基于丰富的语义信息，也就可以提高推理预测的准确性，有效的整合中医药资源，实现在中医药等领域对模型的安全性能要求较高场景下的推理，辅助中医药领域的信息理解，提升搜索、推荐和问答中知识提供的准确度，推理中医药症状、方剂、治疗等实体的规律，帮助医生制定诊疗方案，保障人们的生命安全。
附图说明
16.为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本发明实施例提供的基于规则和路径的中医药多模态知识图谱推理方法的流程示意图；图2是本发明实施例提供的基于规则和路径的中医药多模态知识图谱推理装置的结构示意图；图3是本发明实施例提供的电子设备的结构示意图。
具体实施方式
18.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.本发明实施例的方法可以应用于知识图谱推理场景中，基于中医药多模态知识图谱推理模型可以有效的提升推理预测地准确性。
20.相关技术中，随着知识图谱规模的不断增加，实体与实体之间的关系日益复杂，结构稀疏性等问题更加明显，从而导致推理性能较低。因而如何更加有效的进行知识图谱推理是本领域技术人员亟需解决的技术问题。
21.本发明实施例的基于规则和路径的中医药多模态知识图谱推理方法，通过建立中医药多模态知识图谱，并根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；从而在生成中医药多模态知识图谱推理模型及知识图谱推理的过程中，不仅增加了类别、描述、图像等多模态信息，还增加了基于目标规则和目标路径确定的目标三元组信息，从而提升了模型的推理依据，提供了可解释性及更有说服力的推理结果；并且基于丰富的语义信息，也就可以提高推理预测的准确性，有效的整合中医药资源，实现在中医药等领域对模型的安全性能要求较高场景下的推理，辅助中医药领域的信息理解，提升搜索、推荐和问答中知识提供的准确度，推理中医药症状、方剂、治疗等实体的规律，帮助医生制定诊疗方案，保障人们的生命安全。
22.下面结合图1-图3以具体的实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例不再赘述。
23.图1是本发明实施例提供的基于规则和路径的中医药多模态知识图谱推理方法一实施例的流程示意图。如图1所示，本实施例提供的方法，包括：步骤101、建立中医药多模态知识图谱；具体地，随着知识图谱规模的不断增加，实体与实体之间的关系日益复杂，结构稀疏性等问题更加明显，从而导致推理性能较低。
24.为了解决上述问题，充分利用中医药领域的多模态信息以及提高推理性能，本发明实施例中首先建立中医药多模态知识图谱；可选的，中医药多模态知识图谱包含了30656个实体、13种关系、204070个三元组，包括类别、描述和图像信息。
25.步骤102、根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；目标路径表示不同实体之间的路径；目标路径基于多模态知识图谱中实体之间的关系确定；目标规则用于指示路径之间的组合规则；具体地，在建立中医药多模态知识图谱后，本发明实施例中从中医药多模态知识图谱中提取目标规则和目标路径；其中，目标路径表示不同实体之间的路径；目标路径基于多模态知识图谱中实体之间的关系确定；例如，（人参鹿茸丸，成分，人参）表示成分路径；（人参，功能主治，生津养血）表示功能主治的路径；可选的，目标规则用于指示路径之间的
组合规则，表示哪些路径可以组合以及路径之间如何组合；例如，根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成新的三元组，即（人参鹿茸丸，成分，人参）∧（人参，功能主治，生津养血）
→
（人参鹿茸丸，功能主治，生津养血）。
26.步骤103、根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；具体地，在根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组后，本发明实施例根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；其中，嵌入表示用于创建向量表示；可选地，可以为中医药多模态知识图谱中的实体图像创建向量表示，得到中医药多模态知识图谱中的实体图像嵌入表示，进而将中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示进行融合和联合训练，就可以得到中医药多模态知识图谱推理模型。也就是在建立中医药多模态知识图谱推理模型的过程中不仅增加了类别、描述、图像等多模态信息，还增加了基于目标规则和目标路径确定的目标三元组信息，从而提升了模型的推理依据，提供了可解释性及更有说服力的推理结果；并且基于丰富的语义信息，也就可以提高推理预测的准确性，有效的整合中医药资源，实现在中医药等领域对模型的安全性能要求较高场景下的推理，辅助中医药领域的信息理解，提升搜索、推荐和问答中知识提供的准确度，推理中医药症状、方剂、治疗等实体的规律，帮助医生制定诊疗方案，保障人们的生命安全。
27.步骤104、根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
28.具体地，根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型后，也就是在建立中医药多模态知识图谱推理模型的过程中不仅增加了类别、描述、图像等多模态信息，还增加了基于目标规则和目标路径确定的目标三元组信息，并将其整合到一个基于嵌入的框架中，扩展了三重能量的定义来考虑新的多模态表示，并且将目标规则与多模态知识图谱嵌入的路径集成，赋予了模型语义级的可解释性与数据级别的泛化性，从而基于丰富的语义信息，也就可以提高推理预测的准确性。
29.上述实施例的方法，通过建立中医药多模态知识图谱，并根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；从而在生成中医药多模态知识图谱推理模型及知识图谱推理的过程中，不仅增加了类别、描述、图像等多模态信息，还增加了基于目标规则和目标路径确定的目标三元组信息，从而提升了模型的推理依据，提供了可解释性及更有说服力的推理结果；并且基于丰富的语义信息，也就可以提高推理预测的准确性，有效的整合中医药资源，实现
在中医药等领域对模型的安全性能要求较高场景下的推理，辅助中医药领域的信息理解，提升搜索、推荐和问答中知识提供的准确度，推理中医药症状、方剂、治疗等实体的规律，帮助医生制定诊疗方案，保障人们的生命安全。
30.在一实施例中，根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组，包括：在目标路径之间匹配到多个目标规则的情况下，基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的目标三元组。
31.具体地，本发明实施例中从中医药多模态知识图谱中提取目标规则和目标路径，进而就可以根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成新的三元组，从而基于丰富的语义信息，也就可以提高推理预测的准确性。可选地，每个规则都会拥有一个置信度；可选地，在目标路径之间匹配到多个目标规则的情况下，本发明实施例中基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的新的三元组，使得生成中医药多模态知识图谱的新的三元组不仅可以提供丰富全面的语义信息，还有效地提升了语义信息地准确性，从而也就使得中医药多模态知识图谱推理模型可以有效的提升推理预测地准确性。
32.例如，为了更好的描述本文提出的中医药多模态知识图谱推理模型，首先给出相关的符号定义。将多模态知识图谱表示为，其中表示为实体集合，表示为关系集合，表示为三元组集合，分别表示实体类别、实体描述和图像信息的集合。实体和关系嵌入在，为嵌入空间的维度。
33.定义1.基于规则和路径的表示：实体对之间的某一条路径表示为，表示实体对之间路径的集合。
34.定义2.基于图像的表示：每个实体都对应有多张图片，每个实体的n个图像表示为。
35.定义3.基于描述和类别的表示：对于每个实体的描述和类别嵌入表示分别为和。
36.可选地，首先，从知识图谱挖掘长度为2并带有置信度的目标规则并且其置信度。然后，在知识图谱上对路径的提取，其中通过路径约束资源分配机制来保证每条路径的可靠性，定义为实体对之间的，当实体对之间的路径可靠性大于0.01时，将其加入实体对的路径集。最后，通过长度为2的目标规则来对路径进行组合。
37.具体来说，在遍历路径时迭代地进行关系组合操作，直到关系不能再被组合。因为
每次组合都组合两个关系，下一步可能会对得到的组合结果进行重新组合。在对路径的实际组合过程中主要考虑两种场景：（1）路径中的关系都可以被长度为2的目标规则进行组合，最后得到实体对的直接关系，这是最优的场景。
38.（2）有一些路径中的关系不能根据长度为2的目标规则进行组合，对此采用数值运算，将这些关系的嵌入表示进行加法运算，此外有些关系进行组合可能会匹配到多个规则，如与。对此，可以选择具有最高置信度的规则来组合路径，从而有效地提升了语义信息地准确性，也就使得中医药多模态知识图谱推理模型可以有效的提升推理预测地准确性。
39.上述实施例的方法，基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的新的三元组，使得生成中医药多模态知识图谱的新的三元组不仅可以提供丰富全面的语义信息，还有效地提升了语义信息地准确性，从而也就使得中医药多模态知识图谱推理模型可以有效的提升推理预测地准确性。
40.在一实施例中，根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：将中医药多模态知识图谱的目标三元组嵌入至预设的n维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示；将中医药多模态知识图谱中的实体图像嵌入至预设的n维向量空间中，生成中医药多模态知识图谱中的实体图像嵌入表示；将中医药多模态知识图谱中的实体描述信息投影到超平面，生成中医药多模态知识图谱中的实体描述信息嵌入表示；超平面是基于中医药多模态知识图谱的结构知识确定的；将中医药多模态知识图谱中的实体类别投影到超平面，生成中医药多模态知识图谱中的实体类别嵌入表示；根据中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型。
41.具体地，本发明实施例中将中医药多模态知识图谱的目标三元组嵌入至预设的n维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示；将中医药多模态知识图谱中的实体图像嵌入至预设的n维向量空间中，生成中医药多模态知识图谱中的实体图像嵌入表示；可选地，可以将中医药多模态知识图谱中的实体图像编码到实体空间中，从而使得基于三元组结构化的表示和基于图像的表示处于同一向量空间中。
42.可选地，本发明实施例中将中医药多模态知识图谱中的实体描述信息投影到超平面，生成中医药多模态知识图谱中的实体描述信息嵌入表示；将中医药多模态知识图谱中的实体类别投影到超平面，生成中医药多模态知识图谱中的实体类别嵌入表示；可选地，超
平面是基于中医药多模态知识图谱的结构知识确定的；可选地，可以将结构化向量表示作为超平面，从而将类别和描述向量表示投影到超平面；需要说明的是，本发明实施例中将中医药多模态知识图谱中的实体描述信息和中医药多模态知识图谱中的实体类别投影到超平面，而不是将其嵌入至预设的n维向量空间中，从而也就实现了以结构知识作为超平面，将类别知识和描述知识投影到超平面进行融合，这样既可以最大化类别知识和描述知识的嵌入，也将重点放在了结构知识的核心，从而可以有效的提升推理预测地准确性。
43.例如，对于中医药多模态知识图谱的目标三元组的嵌入表示，本发明实施例中将路径的嵌入表示为，也定义为路径组合的结果。本发明实施例中，三元组嵌入表示符合：。对于每个三元组都定义了两个能量函数：；；其中如果三元组，则的分数就较小。表示为路径和关系相似度的能量函数。、和分别为头实体、关系实体和尾实体的嵌入表示，表示路径来自实体对之间的可靠性。表示规则的置信度集合。
44.因而，基于规则与路径的结构嵌入表示定义为：；对于中医药多模态知识图谱中的实体图像嵌入表示，本发明实施例中将每个实体的多张图像作为神经图像编码器的输入，得到图像的信息特征表示，并且将其表示在结构化向量空间中。另外，为了更好的学习每个实体多张图像的特征表示，使用了注意力机制来计算每个实体对不同图像的关注程度，对于每个实体的n个图像表示为，。
45.神经图像编码器由表示模块和投影模块组成，表示模块的作用是提取图像中的特征表示，投影模块的目的是将表示模块得到的图像特征表示映射到结构化向量空间中。在表示模块中，使用第二个全连接层（也称为fc7）输出的4096维向量作为图像特征向量。然后，通过投影模块来建立图像与实体的连接。具体来说，通过映射矩阵将其转换成与结构嵌入相同维度的矩阵。第i幅图像在结构化空间中定义为：；其中是投影矩阵，为图像嵌入表示的维度，为实体嵌入表示的维度，表示实体的第i个图像特征表示。
46.大多数实体都有不同的图像表示，如何从这些图像中找到最为关键的特征表示尤为重要，本发明通过注意力机制可以自动来计算每个实体对不同图像的关注程度，对于第m个实体的第i个图像表示为，注意力机制定义为：；其中为第m个实体的结构化表示，图像表示与对应的结构化表示相似，第m个实体基于图像的聚合表示定义为：；图像嵌入表示定义为：；其中与transe是相同的能量函数，，其中和是基于图像的头、尾实体表示，和表示基于结构的表示和基于图像的表示在相同的向量空间进行训练。
47.对于中医药多模态知识图谱中的实体描述信息，本发明实施例中利用语言表征模型来对实体的描述信息进行编码，首先，将描述信息转变成三种不同的嵌入表示，分别为词嵌入表示、分割嵌入表示和位置嵌入表示，然后，将这三种嵌入表示进行拼接；最后，实体描述信息的嵌入表示为所有句向量嵌入的平均值。
48.可选地，实体的描述嵌入表示定义为：；其中，是的描述注释，为权重矩阵。
49.可选地，描述嵌入表示定义为：；可选地，对于中医药多模态知识图谱中的实体类别，类别嵌入表示和结构嵌入表示具有相同的维度，其值随机初始化与结构嵌入表示一起训练。类别嵌入表示为实体所有类别嵌入表示的平均值：；其中是实体的类别集合。
50.可选地，类别嵌入表示定义为：
；本发明实施例中将中医药多模态知识图谱中的实体描述信息和中医药多模态知识图谱中的实体类别投影到超平面，而不是将其嵌入至预设的n维向量空间中，从而也就实现了以结构知识作为超平面，将类别知识和描述知识投影到超平面进行融合，这样既可以最大化类别知识和描述知识的嵌入，也将重点放在了结构知识的核心，从而可以有效的提升推理预测地准确性。
51.可选地，在得到描述信息向量表示和类别信息向量表示后，以结构化嵌入表示作为超平面，将描述信息嵌入表示和类别信息嵌入表示投影到结构化向量空间中进行联合训练，就可以得到基于规则和路径的中医药多模态知识图谱推理模型：；其中=，，，和表示为权重参数。
52.可选地，联合训练的损失函数为：；其中为边距超参数，和分别表示正三元组集和负三元组集。
53.上述实施例的方法，将中医药多模态知识图谱中的实体描述信息和中医药多模态知识图谱中的实体类别投影到超平面，而不是将其嵌入至预设的n维向量空间中，从而也就实现了以结构知识作为超平面，将类别知识和描述知识投影到超平面进行融合，这样既可以最大化类别知识和描述知识的嵌入，也将重点放在了结构知识的核心，从而可以有效的提升推理预测地准确性。
54.在一实施例中，根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理，包括：根据中医药多模态知识图谱推理模型，进行中医药多模态知识图谱的数据集链接预测和三元组分类。
55.具体地，本发明实施例在生成中医药多模态知识图谱推理模型后，就可以根据中医药多模态知识图谱推理模型，进行中医药多模态知识图谱的数据集链接预测和三元组分类，实现在中医药等领域对模型的安全性能要求较高场景下的推理，辅助中医药领域的信息理解，提升搜索、推荐和问答中知识提供的准确度，推理中医药症状、方剂、治疗等实体的规律，帮助医生制定诊疗方案，保障人们的生命安全。
56.例如，从中药系统药理学数据库中提取三元组信息并经过手动校对，总计包括30656个实体、13种关系。实验中将其分为训练数据集（80%）、测试数据集（10%）及验证数据集（10%）。
57.可选地，最小化训练集上的损失函数，在验证集上寻找最优超参数，在测试集上对模型进行评价。超参数的设置如下：嵌入维度∈{50，100，150，200，250}、边界∈{0.2，
0.6，1.0}、过滤器数量∈{10，20，30，40}、学习速率∈{5
×
，，5
×
}、∈{0.0，0.1，0.2，0.3，0.4，0.5}。此外，最大训练epoch为 1000，批大小固定为训练集大小的 1/50。
58.在链接预测过程中，链接预测是知识图谱补全的一个子任务，旨在预测知识图谱中三元组缺失的实体，即预测缺失三元组中的尾实体或者预测缺失三元组中的头实体。在测试中，对于给定的三元组，用知识图谱实体集中的全部实体随机替换三元组中头实体或者尾实体，然后按照得分函数递减进行排序。
59.在评测任务中，选择翻译模型的两个评价标准：
①
mr（meanrank）：所有正确三元组或关系的平均排名，该指标的值越小，说明模型的性能越好；
②
mrr(mean reciprocal rank)：所有正确三元组的实体或关系的倒数排名的平均值，该指标的值越大，说明模型的性能越好。
60.对transe、transh、convkb和rp-mmkrl进行了对比实验。实体链接预测评价结果如表1所示，每个指标下最好的两个结果加粗显示。
61.表1
62.上述结果表明，中医药多模态知识图谱推理模型，能够很好地对知识图谱中的实体和关系进行表示，促进实体预测的推理性能，在一定程度上提高链接预测的精度。
63.可选地，三元组分类是一个判断三元组是否正确的二分类任务。此实验的数据集为知识图谱数据集，另外在本实验中的实验设置与链接预测任务相同。三元组分类的策略是为每种不同的关系都设置不同的关系阈值，对于一个三元组，如果其距离得分小于这个阈值，就认为这个三元组是正确的，否则就是错误的。准确率是一种评估分类模型性能的度量指标之一。它表示模型正确分类的样本数量与总样本数量之间的比
例。准确率的计算公式为准确率 = (正确分类的样本数量) / (总样本数量)。三元组分类评价结果如表2所示，每个指标下最好的两个结果加粗显示。
64.表2
65.从表2可以看出，中医药多模态知识图谱推理模型在三元组分类实验中相比较于对比模型取得了更好的实验结果。
66.使用中医药多模态知识图谱推理模型在知识图谱数据集中，为中药材预测出了已有的功效和数据集中未提及的新功效，这些未提及的功效大多在文献中可以得到验证。表3列出了前11个推理的知识（以阿胶的功效为示范）。
67.表3
68.注：#为已有的知识，标记*为从文献中获得验证的知识。
69.由此可见，中医药多模态知识图谱推理模型在分类和预测方面均取得了最佳的实验效果，并且获得了中药的可靠的中药新功效。
70.下面对本发明提供的基于规则和路径的中医药多模态知识图谱推理装置进行描述，下文描述的基于规则和路径的中医药多模态知识图谱推理装置与上文描述的基于规则和路径的中医药多模态知识图谱推理方法可相互对应参照。
71.图2是本发明提供的基于规则和路径的中医药多模态知识图谱推理装置的结构示意图。本实施例提供的基于规则和路径的中医药多模态知识图谱推理装置，包括：建立模块210，用于建立中医药多模态知识图谱；
生成模块220，用于根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；目标路径表示不同实体之间的路径；目标路径基于多模态知识图谱中实体之间的关系确定；目标规则用于指示路径之间的组合规则；处理模块230，用于根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；推理模块240，用于根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
72.本发明实施例的装置，其用于执行前述任一方法实施例中的方法，其实现原理和技术效果类似，此次不再赘述。
73.图3示例了一种电子设备的实体结构示意图，该电子设备可以包括：处理器(processor)310、通信接口(communications interface)320、存储器(memory)330和通信总线340，其中，处理器310，通信接口320，存储器330通过通信总线340完成相互间的通信。处理器310可以调用存储器330中的逻辑指令，以执行基于规则和路径的中医药多模态知识图谱推理方法，该方法包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；目标路径表示不同实体之间的路径；目标路径基于多模态知识图谱中实体之间的关系确定；目标规则用于指示路径之间的组合规则；根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
74.此外，上述的存储器330中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
75.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法所提供的基于规则和路径的中医药多模态知识图谱推理方法，该方法包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；目标路径表示不同实体之间的路径；目标路径基于多模态知识图谱中实体之间的关系确定；目标规则用于指示路径之间的组合规则；根据中医药多模态知识图
谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
76.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各提供的基于规则和路径的中医药多模态知识图谱推理方法，该方法包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；目标路径表示不同实体之间的路径；目标路径基于多模态知识图谱中实体之间的关系确定；目标规则用于指示路径之间的组合规则；根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。
77.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
78.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分所述的方法。
79.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，包括：建立中医药多模态知识图谱；根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目标规则用于指示路径之间的组合规则；根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。2.根据权利要求1所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组，包括：在目标路径之间匹配到多个目标规则的情况下，基于多个目标规则中置信度最高的目标规则进行目标路径之间的组合，生成中医药多模态知识图谱的目标三元组。3.根据权利要求2所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：将所述中医药多模态知识图谱的目标三元组嵌入至预设的n维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示；将中医药多模态知识图谱中的实体图像嵌入至预设的n维向量空间中，生成中医药多模态知识图谱中的实体图像嵌入表示；将中医药多模态知识图谱中的实体描述信息投影到超平面，生成中医药多模态知识图谱中的实体描述信息嵌入表示；所述超平面是基于中医药多模态知识图谱的结构知识确定的；将中医药多模态知识图谱中的实体类别投影到超平面，生成中医药多模态知识图谱中的实体类别嵌入表示；根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型。4.根据权利要求3所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型，包括：
将所述中医药多模态知识图谱的目标三元组的嵌入表示、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，进行联合训练，生成基于规则和路径的中医药多模态知识图谱推理模型。5.根据权利要求4所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述将所述中医药多模态知识图谱的目标三元组嵌入至预设的n维向量空间中，生成中医药多模态知识图谱的目标三元组的嵌入表示，包括：利用如下公式表示中医药多模态知识图谱的目标三元组的嵌入表示：；其中，表示中医药多模态知识图谱的目标三元组的嵌入表示；表示目标三元组之间的能量函数；表示目标路径和实体关系相似度的能量函数。6.根据权利要求5所述的基于规则和路径的中医药多模态知识图谱推理方法，其特征在于，所述根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理，包括：根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识图谱的数据集链接预测和三元组分类。7.一种基于规则和路径的中医药多模态知识图谱推理装置，其特征在于，包括：建立模块，用于建立中医药多模态知识图谱；生成模块，用于根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；所述目标路径表示不同实体之间的路径；所述目标路径基于多模态知识图谱中实体之间的关系确定；所述目标规则用于指示路径之间的组合规则；处理模块，用于根据所述中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；所述嵌入表示用于创建向量表示；推理模块，用于根据所述中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述的基于规则和路径的中医药多模态知识图谱推理方法的步骤。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至6任一项所述的基于规则和路径的中医药多模态知识图谱推理方法的步骤。

技术总结
本发明提供一种基于规则和路径的中医药多模态知识图谱推理方法和装置，涉及知识图谱推理技术领域，该方法包括：根据中医药多模态知识图谱中的目标规则对中医药多模态知识图谱中的目标路径进行组合，生成中医药多模态知识图谱的目标三元组；根据中医药多模态知识图谱的目标三元组、中医药多模态知识图谱中的实体图像嵌入表示、中医药多模态知识图谱中的实体描述信息嵌入表示、中医药多模态知识图谱中的实体类别嵌入表示，生成基于规则和路径的中医药多模态知识图谱推理模型；嵌入表示用于创建向量表示；根据中医药多模态知识图谱推理模型，进行中医药多模态知识的推理。本发明基于中医药多模态知识图谱推理模型可以有效的提升推理预测的准确性。升推理预测的准确性。升推理预测的准确性。


技术研发人员：张小平 焦元周 赵玉凤 李冬梅 张润顺 顾浩 曲锦涛 瞿小龙 刘佳 周佩 潘溪水
受保护的技术使用者：北京林业大学
技术研发日：2023.08.08
技术公布日：2023/9/9