基于唯一性约束的深网实体识别方法、装置、设备及介质与流程

1.本发明涉及实体识别技术领域，尤其涉及一种基于唯一性约束的深网实体识别方法、装置、设备及介质。


背景技术：

2.整个全球广义网如果按其所蕴涵信息的“深度”可以划分为surfaceweb(表面万维网)和deepweb(深网)两大部分，surfaceweb是指通过超链接可以被传统搜索引擎索引到的页面的集合，deepweb是指web中不能被传统的搜索引擎索引到的那部分内容，随着web相关技术的日益成熟和deepweb所蕴含信息量的快速增长，很多领域拥有大量数据源并且部分数据重叠，不同数据源提供同一实体的信息，通过对web数据库的访问逐渐成为获取信息的主要手段，而对deepweb的研究也越来越受到人们的关注。
3.在实践中，很多属性满足唯一性约束，即每个实体(或者大多数实体)在这些属性具有唯一值，包括deepweb实体，但是，因为一些数据源提供错误的属性值，导致这些属性数据不是都满足唯一性约束，进而导致实体识别出现错误，传统的实体识别方法一般分为两步：记录连接(record linkage)与数据融合(data fusion)，即连接那些可能指向同一实体的记录集合以及合并每个记录集合，并对每个实体的属性解决可能存在的数据冲突从而确定正确的属性值，但错误的属性值可能会导致错误的实体识别，同时会错过其他正确的属性值，导致deepweb实体识别的准确度较低。


技术实现要素：

4.本发明提供一种基于唯一性约束的深网实体识别方法、装置、设备及介质，其主要目的在于深网实体识别时的精确度较低的问题。
5.为实现上述目的，本发明提供的一种基于唯一性约束的深网实体识别方法，包括：
6.获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；
7.计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；
8.利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；
9.计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；
10.根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。
11.可选地，所述将所述实体对象集进行结构转换，得到所述深网的实体对象属性集，包括：
12.获取所述实体对象集中每个实体对象的属性列表，提取所述属性列表中的属性值
相同的对象列表；
13.根据所述对象列表对所述实体对象集进行属性结构转换，得到所述深网的实体对象属性集。
14.可选地，所述计算所述实体对象属性集中实体对象之间的匹配度，包括：
15.在所述实体对象属性集中提取具有相同属性值的目标实体对象，获取所述目标实体对象的属性个数；
16.利用如下公式根据所述属性个数及所述相同属性值计算所述目标实体对象的目标匹配度，根据所述目标匹配度确定所述实体对象之间的匹配度；
[0017][0018]
其中，mat(o1,o2)表示目标实体对象o1,o2之间的目标匹配度，|o1∩o2|表目标实体对象o1,o2之间中相同属性值的个数，|o1|表示目标实体对象o1中的属性个数，|o2|表示目标实体对象o2中的属性个数。
[0019]
可选地，所述根据所述匹配度构建所述实体对象集的匹配列表，包括：
[0020]
根据所述匹配度从所述实体对象集中提取每个实体对象的匹配实体对象，并根据所述匹配度的数值大小对所述匹配实体对象进行排序，得到每个实体对象的匹配对象序列；
[0021]
根据所述匹配对象序列构建每个所述实体对象的初始匹配列表，将所述初始匹配列表组合，得到所述实体对象集的匹配列表。
[0022]
可选地，所述利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集，包括：
[0023]
从所述匹配列表中查找每个实体对象的匹配关系，在所述匹配关系为多匹配关系时，获取每个匹配关系的匹配度；
[0024]
在所述匹配度小于预设的匹配度阈值时，删除所述匹配度对应的匹配关系，得到更新匹配列表；
[0025]
根据所述更新匹配列表对所述实体对象集进行分类，得到所述实体对象集的实体类簇集。
[0026]
可选地，所述计算所述实体类簇集中每个实体对象的对象相似度，包括：
[0027]
计算所述实体类簇集中每个实体对象对应的目标实体属性的属性出现频率，根据所述属性出现频率计算所述目标实体属性的属性权重；
[0028]
利用如下公式根据所述目标实体属性的数据类型计算所述目标实体属性之间的属性相似度；
[0029][0030]
其中，sim(a1,a2)表示目标实体属性a1,a2之间的属性相似度，|a1∩a2|表示目标实体属性a1,a2交集的绝对值，|a1∪a2|表示目标实体属性a1,a2并集的绝对值，min(|a1|,|a2|表示目标实体属性a1,a2绝对值中的最小值；
[0031]
根据所述属性权重及所述属性相似度计算所述实体类簇集中每个实体对象的对象相似度。
[0032]
可选地，所述根据所述属性权重及所述属性相似度计算所述实体类簇集中每个实体对象的对象相似度，包括：
[0033]
利用如下公式计算所述实体类簇集中每个实体对象的对象相似度：
[0034][0035]
其中，sim(p1,p2)表示实体类簇集中实体对象p1,p2之间的对象相似度，i表示实体对象p1,p2中的第i个目标实体属性，i表示目标实体属性的总个数，max(simi(p1,p2))表示实体对象p1,p2中第i个目标实体属性与其他目标实体属性之间的属性相似度最大值，|p1|表示实体类簇集中实体对象p1中的属性个数，|p2|表示实体类簇集中实体对象p2中的属性个数。
[0036]
为了解决上述问题，本发明还提供一种基于唯一性约束的深网实体识别装置，所述装置包括：
[0037]
实体对象结构转换模块，用于获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；
[0038]
匹配列表构建模块，用于计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；
[0039]
匹配列表筛选模块，用于利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；
[0040]
实体类集生成模块，用于计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；
[0041]
实体识别模块，用于根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。
[0042]
为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
[0043]
至少一个处理器；以及，
[0044]
与所述至少一个处理器通信连接的存储器；其中，
[0045]
所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述所述的基于唯一性约束的深网实体识别方法。
[0046]
为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个计算机程序，所述至少一个计算机程序被电子设备中的处理器执行以实现上述所述的基于唯一性约束的深网实体识别方法。
[0047]
本发明实施例通过将深网中的实体对象集进行结构转换，得到实体对象属性集，能够把按对象组织的集合转变为按属性组织，从而能够计算每个实体对象属性之间的匹配度，进而构建实体对象属性集的匹配列表；在利用预设的匹配度阈值对匹配列表进行筛选，去除无关的匹配关系，得到更精确的实体类簇集，再计算实体类簇集中每个实体对象的对象相似度，进一步地对实体对象进行分类，实现对不同类别的实体对象进行分类；通过查找
实体类集中每个实体对象对应的唯一性约束，从而能够根据唯一性约束实现精确的实体识别。因此本发明提出的基于唯一性约束的深网实体识别方法、装置、电子设备及计算机可读存储介质，可以解决进行深网实体识别时的精确度较低的问题。
附图说明
[0048]
图1为本发明一实施例提供的基于唯一性约束的深网实体识别方法的流程示意图；
[0049]
图2为本发明一实施例提供的对匹配列表进行筛选的流程示意图；
[0050]
图3为本发明一实施例提供的计算每个实体对象的对象相似度的流程示意图；
[0051]
图4为本发明一实施例提供的基于唯一性约束的深网实体识别装置的功能模块图；
[0052]
图5为本发明一实施例提供的实现所述基于唯一性约束的深网实体识别方法的电子设备的结构示意图。
[0053]
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0054]
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0055]
本技术实施例提供一种基于唯一性约束的深网实体识别方法。所述基于唯一性约束的深网实体识别方法的执行主体包括但不限于服务端、终端等能够被配置为执行本技术实施例提供的该方法的电子设备中的至少一种。换言之，所述基于唯一性约束的深网实体识别方法可以由安装在终端设备或服务端设备的软件或硬件来执行，所述软件可以是区块链平台。所述服务端包括但不限于：单台服务器、服务器集群、云端服务器或云端服务器集群等。所述服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(contentdelivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
[0056]
参照图1所示，为本发明一实施例提供的基于唯一性约束的深网实体识别方法的流程示意图。在本实施例中，所述基于唯一性约束的深网实体识别方法包括：
[0057]
s1、获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集。
[0058]
本发明实施例中，深网中的一个实体对象是用有限的属性信息，并以结构化的形式进行描述。例如，要描述一篇论文，通常会用到标题、作者、日期等属性，代表相同实体的对象在属性取值上也容易趋向相同，因此，具有相同属性取值的对象，就更有可能描述着同一个实体，结构转换的作用是把按实体对象组织的集合转变为按属性组织，以使具有相同属性值的对象聚合在一起，其目标是让匹配计算只在潜在的实体对象间进行，有效降低时间复杂度。
[0059]
本发明实施例中，所述将所述实体对象集进行结构转换，得到所述深网的实体对象属性集，包括：
[0060]
获取所述实体对象集中每个实体对象的属性列表，提取所述属性列表中的属性值
相同的对象列表；
[0061]
根据所述对象列表对所述实体对象集进行属性结构转换，得到所述深网的实体对象属性集。
[0062]
本发明实施例中，通过对象列表将具有相同属性值的实体对象划分为属性值对应的对象列表，例如，其中a＝{o1，o2，
…
，om}是一个对象列表，表示在对象o1，o2，
…
，om中，属性a的取值都是一样的，因此，将实体对象组织的集合转变为按属性组织，使得后续计算不涉及到属性间的模式匹配问题，有效降低了计算复杂度。
[0063]
s2、计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表。
[0064]
本发明实施例中，所述匹配度表示实体对象集中具有一个相同属性值的实体对象之间的匹配度，匹配度越高，两个实体对象为同一个实体的概率越大，从而根据匹配度构建实体对象集的匹配列表。
[0065]
本发明实施例中，所述计算所述实体对象属性集中实体对象之间的匹配度，包括：
[0066]
在所述实体对象属性集中提取具有相同属性值的目标实体对象，获取所述目标实体对象的属性个数；
[0067]
根据所述属性个数及所述相同属性值计算所述目标实体对象的目标匹配度，根据所述目标匹配度确定所述实体对象之间的匹配度。
[0068]
本发明实施例中，计算具有相同属性值的目标实体对象之间的目标匹配度，将目标匹配度作为实体对象之间的匹配度，若实体对象之间不存在相同属性值，表示实体对象之间不存在目标匹配度，从而能够根据目标匹配度确定实体对象之间的匹配度。
[0069]
本发明实施例中，利用如下公式计算所述目标实体对象的目标匹配度：
[0070][0071]
其中，mat(o1,o2)表示目标实体对象o1,o2之间的目标匹配度，|o1∩o2|表目标实体对象o1,o2之间中相同属性值的个数，|o1|表示目标实体对象o1中的属性个数，|o2|表示目标实体对象o2中的属性个数。
[0072]
本发明实施例中，根据匹配度构建匹配列表,将每个实体对象之间的匹配关系以列表的形式进行展示，直观的展示每个实体对象之间的匹配关系。
[0073]
本发明实施例中，所述根据所述匹配度构建所述实体对象集的匹配列表，包括：
[0074]
根据所述匹配度从所述实体对象集中提取每个实体对象的匹配实体对象，并根据所述匹配度的数值大小对所述匹配实体对象进行排序，得到每个实体对象的匹配对象序列；
[0075]
根据所述匹配对象序列构建每个所述实体对象的初始匹配列表，将所述初始匹配列表组合，得到所述实体对象集的匹配列表。
[0076]
本发明实施例中，将匹配实体对象以匹配度的数值大小从大到小排序，得到匹配对象序列，并通过双向链表结构构建匹配对象的匹配列表，将每个实体对象的匹配链表相组合，将匹配对象序列中每个实体对象的初始匹配列表组合至一起，同时去除重复的匹配关系，得到实体对象集的匹配列表。
[0077]
本发明实施例中，通过构建实体对象集的匹配列表，直观的展示每个实体对象的
匹配关系以及匹配程度的大小，有利于对实体对象进行区分，从而提高后续实体识别的准确度。
[0078]
s3、利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集。
[0079]
本发明实施例中，一个实体对象可能具有与其他实体对象一致的属性值，但并不代表同一个实体，比如，一篇论文的刊出年份、出版单位可能与其他论文相同，但它们有可能并不指向同一篇论文，同时，这些实体对象之间的匹配度通常很低，同时与多个实体对象相匹配，进而利用匹配度阈值剔除匹配列表中匹配度小于匹配度阈值的匹配关系。
[0080]
本发明实施例中，所述实体类簇集表示实体对象属性之间匹配度较高的实体对象，表示实体类簇集中的不同实体对象可能具有相同的实体对象属性，从而通过实体类簇集用于后续确定实体对象集中每个实体对象的唯一性约束。
[0081]
本发明实施例中，参阅图2所示，所述利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集，包括：
[0082]
s21、从所述匹配列表中查找每个实体对象的匹配关系，在所述匹配关系为多匹配关系时，获取每个匹配关系的匹配度；
[0083]
s22、在所述匹配度小于预设的匹配度阈值时，删除所述匹配度对应的匹配关系，得到更新匹配列表；
[0084]
s23、根据所述更新匹配列表对所述实体对象集进行分类，得到所述实体对象集的实体类簇集。
[0085]
本发明实施例中，通过更新匹配列表将具有共现属性值的实体对象进行初步分类，例如，预设匹配度阈值为0.2，将匹配度小于0.2的匹配关系去除，得到更新匹配列表，将更新匹配列表中相匹配的实体对象划分为一个实体类簇，从而能够根据实体对象的属性值对实体对象进行初步识别。
[0086]
s4、计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集。
[0087]
本发明实施例中，实体类簇集是一个粗略的实体类集，包含着还未充分归并的类簇，需要进一步挖掘每个实体对象的相似度，将实体对象进行二次分类，得到分类结果更精确的实体类集。
[0088]
本发明实施例中，参阅图3所示，所述计算所述实体类簇集中每个实体对象的对象相似度，包括：
[0089]
s31、计算所述实体类簇集中每个实体对象对应的目标实体属性的属性出现频率，根据所述属性出现频率计算所述目标实体属性的属性权重；
[0090]
s32、根据所述目标实体属性的数据类型计算所述目标实体属性之间的属性相似度；
[0091]
s33、根据所述属性权重及所述属性相似度计算所述实体类簇集中每个实体对象的对象相似度。
[0092]
本发明实施例中，通过数据类型计算目标实体属性的属性相似度，是利用属性实例计算属性之间的相似度，是对属性语义的深入描述，从而使用属性实例进行模式匹配有助于增强匹配精度。
[0093]
本发明实施例利用如下公式计算目标实体属性的属性相似度：
[0094][0095]
其中，sim(a1,a2)表示目标实体属性a1,a2之间的属性相似度，|a1∩a2|表示目标实体属性a1,a2交集的绝对值，|a1∪a2|表示目标实体属性a1,a2并集的绝对值，min(|a1|,|a2|表示目标实体属性a1,a2绝对值中的最小值。
[0096]
本发明实施例中，通过属性权重以及属性相似度计算实体类簇集中每个实体对象的对象相似度，进一步地对实体类簇集中每个实体对象进行区分，从而更精确地对实体对象进行识别。
[0097]
本发明实施例中，利用如下公式计算所述实体类簇集中每个实体对象的对象相似度：
[0098][0099]
其中，sim(p1,p2)表示实体类簇集中实体对象p1,p2之间的对象相似度，i表示实体对象p1,p2中的第i个目标实体属性，i表示目标实体属性的总个数，max(simi(p1,p2))表示实体对象p1,p2中第i个目标实体属性与其他目标实体属性之间的属性相似度最大值，|p1|表示实体类簇集中实体对象p1中的属性个数，|p2|表示实体类簇集中实体对象p2中的属性个数。
[0100]
本发明实施例中，通过对象相似度将实体类簇集中对象相似度大于预设相似度阈值的实体对象进行归并，即将对象相似度大于预设相似度阈值的实体对象进行进一步地聚类，得到实体对象集的实体类集。
[0101]
本发明实施例中，通过实体类集对深网中的实体对象进行深度的类簇归并，将可能识别为同一实体对象的实体对象归并到同一个实体类集中，从而能够查找时出每个实体对象的唯一性约束，提高实体对象识别的精确度。
[0102]
s5、根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。
[0103]
本发明实施例中，所述唯一性约束表示实体类集中每个实体在实体对象属性中具有唯一值的属性值，将唯一属性值作为实体对象集中每个实体对象对应的唯一性约束，具体地，可根据实体类集查找每个实体对象对应的唯一属性值，得到每个实体对象对应的唯一性约束。
[0104]
本发明实施例中，深网中进行实体识别通常是通过实体对象属性的属性值进行识别，例如，论文的刊出年份、论文标题等，但这些属性值容易与其他实体对象重复，导致出现错误的实体对象识别结果，因此，可以利用唯一性约束识别深网中的实体对象，实现更精确地实体对象识别。
[0105]
本发明实施例通过将深网中的实体对象集进行结构转换，得到实体对象属性集，能够把按对象组织的集合转变为按属性组织，从而能够计算每个实体对象属性之间的匹配
度，进而构建实体对象属性集的匹配列表；在利用预设的匹配度阈值对匹配列表进行筛选，去除无关的匹配关系，得到更精确的实体类簇集，再计算实体类簇集中每个实体对象的对象相似度，进一步地对实体对象进行分类，实现对不同类别的实体对象进行分类；通过查找实体类集中每个实体对象对应的唯一性约束，从而能够根据唯一性约束实现精确的实体识别。因此本发明提出的基于唯一性约束的深网实体识别方法，可以解决进行深网实体识别时的精确度较低的问题。
[0106]
如图4所示，是本发明一实施例提供的基于唯一性约束的深网实体识别装置的功能模块图。
[0107]
本发明所述基于唯一性约束的深网实体识别装置400可以安装于电子设备中。根据实现的功能，所述基于唯一性约束的深网实体识别装置400可以包括实体对象结构转换模块401、匹配列表构建模块402、匹配列表筛选模块403、实体类集生成模块404及实体识别模块405。本发明所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
[0108]
在本实施例中，关于各模块/单元的功能如下：
[0109]
所述实体对象结构转换模块401，用于获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；
[0110]
所述匹配列表构建模块402，用于计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；
[0111]
所述匹配列表筛选模块403，用于利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；
[0112]
所述实体类集生成模块404，用于计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；
[0113]
所述实体识别模块405，用于根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。
[0114]
详细地，本发明实施例中所述基于唯一性约束的深网实体识别装置400中所述的各模块在使用时采用与上述图1至图3中所述的基于唯一性约束的深网实体识别方法一样的技术手段，并能够产生相同的技术效果，这里不再赘述。
[0115]
如图5所示，是本发明一实施例提供的实现基于唯一性约束的深网实体识别方法的电子设备的结构示意图。
[0116]
所述电子设备500可以包括处理器501、存储器502、通信总线503以及通信接口504，还可以包括存储在所述存储器502中并可在所述处理器501上运行的计算机程序，如基于唯一性约束的深网实体识别程序。
[0117]
其中，所述处理器501在一些实施例中可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。所述处理器501是所述电子设备的控制核心(control unit)，利用各种接口和线路连接整个电子设备的各个部件，通过运行或执行存储在所述存储器502内的程序或者模块(例如执行基于唯一性约束的深网实体识别程序等)，以及调用存储在所述存储器502内的数据，以执行电子设备的各种功能和处理数据。
[0118]
所述存储器502至少包括一种类型的可读存储介质，所述可读存储介质包括闪存、移动硬盘、多媒体卡、卡型存储器(例如：sd或dx存储器等)、磁性存储器、磁盘、光盘等。所述存储器502在一些实施例中可以是电子设备的内部存储单元，例如该电子设备的移动硬盘。所述存储器502在另一些实施例中也可以是电子设备的外部存储设备，例如电子设备上配备的插接式移动硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，所述存储器502还可以既包括电子设备的内部存储单元也包括外部存储设备。所述存储器502不仅可以用于存储安装于电子设备的应用软件及各类数据，例如基于唯一性约束的深网实体识别程序的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0119]
所述通信总线503可以是外设部件互连标准(peripheral component interconnect，简称pci)总线或扩展工业标准结构(extended industry standard architecture，简称eisa)总线等。该总线可以分为地址总线、数据总线、控制总线等。所述总线被设置为实现所述存储器502以及至少一个处理器501等之间的连接通信。
[0120]
所述通信接口504用于上述电子设备与其他设备之间的通信，包括网络接口和用户接口。可选地，所述网络接口可以包括有线接口和/或无线接口(如wi-fi接口、蓝牙接口等)，通常用于在该电子设备与其他电子设备之间建立通信连接。所述用户接口可以是显示器(display)、输入单元(比如键盘(keyboard))，可选地，用户接口还可以是标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及oled(organic light-emitting diode，有机发光二极管)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备中处理的信息以及用于显示可视化的用户界面。
[0121]
图中仅示出了具有部件的电子设备，本领域技术人员可以理解的是，图中示出的结构并不构成对所述电子设备的限定，可以包括比图示更少或者更多的部件，或者组合某些部件，或者不同的部件布置。
[0122]
例如，尽管未示出，所述电子设备还可以包括给各个部件供电的电源(比如电池)，优选地，电源可以通过电源管理装置与所述至少一个处理器501逻辑相连，从而通过电源管理装置实现充电管理、放电管理、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。所述电子设备还可以包括多种传感器、蓝牙模块、wi-fi模块等，在此不再赘述。
[0123]
应该了解，所述实施例仅为说明之用，在专利申请范围上并不受此结构的限制。
[0124]
所述电子设备500中的所述存储器502存储的基于唯一性约束的深网实体识别程序是多个指令的组合，在所述处理器501中运行时，可以实现：
[0125]
获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；
[0126]
计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；
[0127]
利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；
[0128]
计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；
[0129]
根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。
[0130]
具体地，所述处理器501对上述指令的具体实现方法可参考附图对应实施例中相关步骤的描述，在此不赘述。
[0131]
进一步地，所述电子设备500集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。所述计算机可读存储介质可以是易失性的，也可以是非易失性的。例如，所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)。
[0132]
本发明还提供一种计算机可读存储介质，所述可读存储介质存储有计算机程序，所述计算机程序在被电子设备的处理器所执行时，可以实现：
[0133]
获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；
[0134]
计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；
[0135]
利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；
[0136]
计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；
[0137]
根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。
[0138]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0139]
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0140]
另外，在本发明各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0141]
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。
[0142]
因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。
[0143]
本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
[0144]
此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一、第二等词语用来表示名称，而并不表示任何特定的顺序。
[0145]
最后应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

技术特征：
1.一种基于唯一性约束的深网实体识别方法，其特征在于，所述方法包括：获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；根据所述实体类集查找所述实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别所述深网中的实体对象。2.如权利要求1所述的基于唯一性约束的深网实体识别方法，其特征在于，所述将所述实体对象集进行结构转换，得到所述深网的实体对象属性集，包括：获取所述实体对象集中每个实体对象的属性列表，提取所述属性列表中的属性值相同的对象列表；根据所述对象列表对所述实体对象集进行属性结构转换，得到所述深网的实体对象属性集。3.如权利要求1所述的基于唯一性约束的深网实体识别方法，其特征在于，所述计算所述实体对象属性集中实体对象之间的匹配度，包括：在所述实体对象属性集中提取具有相同属性值的目标实体对象，获取所述目标实体对象的属性个数；利用如下公式根据所述属性个数及所述相同属性值计算所述目标实体对象的目标匹配度，根据所述目标匹配度确定所述实体对象之间的匹配度；其中，mat(o1,o2)表示目标实体对象o1,o2之间的目标匹配度，|o1∩q2|表目标实体对象o1,o2之间中相同属性值的个数，|o1|表示目标实体对象o1中的属性个数，|o2|表示目标实体对象o2中的属性个数。4.如权利要求1所述的基于唯一性约束的深网实体识别方法，其特征在于，所述根据所述匹配度构建所述实体对象集的匹配列表，包括：根据所述匹配度从所述实体对象集中提取每个实体对象的匹配实体对象，并根据所述匹配度的数值大小对所述匹配实体对象进行排序，得到每个实体对象的匹配对象序列；根据所述匹配对象序列构建每个所述实体对象的初始匹配列表，将所述初始匹配列表组合，得到所述实体对象集的匹配列表。5.如权利要求1所述的基于唯一性约束的深网实体识别方法，其特征在于，所述利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集，包括：从所述匹配列表中查找每个实体对象的匹配关系，在所述匹配关系为多匹配关系时，获取每个匹配关系的匹配度；
在所述匹配度小于预设的匹配度阈值时，删除所述匹配度对应的匹配关系，得到更新匹配列表；根据所述更新匹配列表对所述实体对象集进行分类，得到所述实体对象集的实体类簇集。6.如权利要求1所述的基于唯一性约束的深网实体识别方法，其特征在于，所述计算所述实体类簇集中每个实体对象的对象相似度，包括：计算所述实体类簇集中每个实体对象对应的目标实体属性的属性出现频率，根据所述属性出现频率计算所述目标实体属性的属性权重；利用如下公式根据所述目标实体属性的数据类型计算所述目标实体属性之间的属性相似度；其中，sim(a1,a2)表示目标实体属性a1,a2之间的属性相似度，|a1∩a2|表示目标实体属性a1,a2交集的绝对值，|a1∪a2|表示目标实体属性a1,a2并集的绝对值，min(|a1|,|a2|)表示目标实体属性a1,a2绝对值中的最小值；根据所述属性权重及所述属性相似度计算所述实体类簇集中每个实体对象的对象相似度。7.如权利要求6所述的基于唯一性约束的深网实体识别方法，其特征在于，所述根据所述属性权重及所述属性相似度计算所述实体类簇集中每个实体对象的对象相似度，包括：利用如下公式计算所述实体类簇集中每个实体对象的对象相似度：其中，sim(p1,p2)表示实体类簇集中实体对象p1,p2之间的对象相似度，i表示实体对象p1p2中的第i个目标实体属性，i表示目标实体属性的总个数，max(sim
i
(p1,p2))表示实体对象p1,p2中第i个目标实体属性与其他目标实体属性之间的属性相似度最大值，|p1|表示实体类簇集中实体对象p1中的属性个数，|p2|表示实体类簇集中实体对象p2中的属性个数。8.一种基于唯一性约束的深网实体识别装置，其特征在于，所述装置包括：实体对象结构转换模块，用于获取深网中的实体对象集，将所述实体对象集进行结构转换，得到所述深网的实体对象属性集；匹配列表构建模块，用于计算所述实体对象属性集中实体对象之间的匹配度，根据所述匹配度构建所述实体对象集的匹配列表；匹配列表筛选模块，用于利用预设的匹配度阈值对所述匹配列表进行筛选，得到所述实体对象集的实体类簇集；实体类集生成模块，用于计算所述实体类簇集中每个实体对象的对象相似度，根据所述对象相似度对所述实体类簇集进行归并，得到所述实体对象集的实体类集；实体识别模块，用于根据所述实体类集查找所述实体对象集中每个实体对象对应的唯
一性约束，根据所述唯一性约束识别所述深网中的实体对象。9.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于唯一性约束的深网实体识别方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任意一项所述的基于唯一性约束的深网实体识别方法。

技术总结
本发明涉及实体识别技术领域，揭露了一种基于唯一性约束的深网实体识别方法，包括：将深网中的实体对象集进行结构转换，得到深网的实体对象属性集；计算实体对象属性集中实体对象之间的匹配度，根据匹配度构建所述实体对象集的匹配列表；利用预设的匹配度阈值对匹配列表进行筛选，得到实体类簇集；计算实体类簇集中每个实体对象的对象相似度，根据对象相似度对实体类簇集进行归并，得到实体类集；根据实体类集查找实体对象集中每个实体对象对应的唯一性约束，根据所述唯一性约束识别深网中的实体对象。本发明还提出一种基于唯一性约束的深网实体识别装置、电子设备以及存储介质。本发明可以提高深网中实体识别的精确度。发明可以提高深网中实体识别的精确度。发明可以提高深网中实体识别的精确度。


技术研发人员：洪丰
受保护的技术使用者：北京海卓飞网络科技有限公司
技术研发日：2023.05.17
技术公布日：2023/9/14