汉语分词方法、装置、服务器及存储介质与流程

1.本技术涉及自然语言处理的技术领域，尤其涉及一种汉语分词方法、装置、服务器及存储介质。


背景技术：

2.汉语分词是将连续的字序列按照一定的规范重新组合成语义独立词序列的过程，汉语分词在自然语言处理中有着非常重要的地位，是汉语文本自动标注、搜索引擎、机器翻译、语音识别等工作中的关键步骤，分词结果的质量直接影响汉语文本自动标注、搜索引擎、机器翻译、语音识别等工作的准确性。目前常用的分词方式主要是基于词频进行分词，但基于词频对待测语句进行分词，会存在待测语句具有多种分词结果的情况，无法保证汉语分词的准确性。因此，如何汉语分词的准确性是目前亟待解决的问题。


技术实现要素：

3.本技术实施例提供一种汉语分词方法、装置、服务器及存储介质，旨在提高汉语分词的准确性。
4.第一方面，本技术实施例提供一种汉语分词方法，包括：
5.利用预设词频词典对待测语句进行分词处理，得到第一分词结果；
6.在所述第一分词结果中存在词组含有相同汉字的情况下，计算所述待测语句与预设语料库中的各预设语句之间的语义相似度；
7.根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句；
8.利用所述预设词频词典对各所述目标语句进行分词处理，得到第二分词结果，根据所述第二分词结果，生成目标词频词典；
9.根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；
10.将所述词组中的除目标词语以外的词语确定为重叠词语，从所述第一分词结果中删除所述重叠词语，得到所述待测语句的目标分词结果，所述目标词语为所述词组中的最大的所述目标词频所对应的词语。
11.第二方面，本技术实施例还提供一种汉语分词装置，所述汉语分词装置包括：
12.分词模块，用于利用预设词频词典对待测语句进行分词处理，得到第一分词结果；
13.相似度计算模块，用于在所述第一分词结果中存在词组含有相同汉字的情况下，计算所述待测语句与预设语料库中的各预设语句之间的语义相似度；
14.选择模块，用于根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句；
15.所述分词模块，还用于利用所述预设词频词典对各所述目标语句进行分词处理，得到第二分词结果；
16.词典生成模块，用于根据所述第二分词结果，生成目标词频词典；
17.确定模块，用于根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；
18.所述确定模块，还用于将所述词组中的除目标词语以外的词语确定为重叠词语，所述目标词语为所述词组中的最大的所述目标词频所对应的词语；
19.删除模块，用于从所述第一分词结果中删除所述重叠词语，得到所述待测语句的目标分词结果。
20.第三方面，本技术实施例还提供一种服务器，包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如上所述的汉语分词方法。
21.第四方面，本技术实施例还提供一种存储介质，所述存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如上所述的汉语分词方法。
22.本技术实施例提供一种汉语分词方法、装置、服务器及存储介质，基于词频对待测语句进行分词后，在分词结果中存在词组含有相同汉字的情况下，基于待测语句与预设语料库中的各预设语句之间的语义相似度，从预设语料库中选择多个预设语句作为与待测语句相似的目标语句，再对各目标语句进行分词处理，根据分词结果生成目标词频词典，这样可以基于目标词频词典和/或预设词频词典，确定含有相同汉字的词组中的各词语的目标词频，由于将词组中的最大的目标词频所对应的词语确定为目标词语，且将含有相同汉字的词组中除目标词语以外的词语确定为重叠词语，从而可以删除重叠词语，而保留目标词语，进而避免分词结果中存在词组含有相同汉字的情况，极大地提高了汉语分词的准确性。
附图说明
23.为了更清楚地说明本技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1是本技术实施例提供的一种汉语分词方法的流程示意图；
25.图2是本技术实施例提供的一种汉语分词装置的示意性框图；
26.图3是图2中的汉语分词装置的子模块的示意性框图；
27.图4是图2中的汉语分词装置的子模块的示意性框图；
28.图5是本技术实施例提供的一种服务器的结构示意性框图。
29.本技术目的的实现、功能特点及优点将结合实施例，参阅附图做进一步说明。
具体实施方式
30.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
31.附图中所示的流程图仅是示例说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解、组合或部分合并，因此实际
执行的顺序有可能根据实际情况改变。
32.汉语分词是将连续的字序列按照一定的规范重新组合成语义独立词序列的过程，汉语分词在自然语言处理中有着非常重要的地位，是汉语文本自动标注、搜索引擎、机器翻译、语音识别等工作中的关键步骤，分词结果的质量直接影响汉语文本自动标注、搜索引擎、机器翻译、语音识别等工作的准确性。目前常用的分词方式主要是基于词频进行分词，但基于词频对待测语句进行分词，会存在待测语句具有多种分词结果的情况，无法保证汉语分词的准确性。
33.为解决上述问题，本技术实施例提供一种汉语分词方法、装置、服务器及存储介质，该方法基于词频对待测语句进行分词后，在分词结果中存在词组含有相同汉字的情况下，基于待测语句与预设语料库中的各预设语句之间的语义相似度，从预设语料库中选择多个预设语句作为与待测语句相似的目标语句，再对各目标语句进行分词处理，根据分词结果生成目标词频词典，这样可以基于目标词频词典和/或预设词频词典，确定含有相同汉字的词组中的各词语的目标词频，由于将词组中的最大的目标词频所对应的词语确定为目标词语，且将含有相同汉字的词组中除目标词语以外的词语确定为重叠词语，从而可以删除重叠词语，而保留目标词语，进而避免分词结果中存在词组含有相同汉字的情况，极大地提高了汉语分词的准确性。
34.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(content delivery network，cdn)、以及大数据和人工智能平台等基础云计算服务的云服务器。
35.下面结合附图，对本技术的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
36.请参阅图1，图1是本技术实施例提供的一种汉语分词方法的流程示意图。
37.如图1所示，该汉语分词方法包括步骤s101至步骤s106。
38.步骤s101、利用预设词频词典对待测语句进行分词处理，得到第一分词结果
。
39.本技术实施例中，预设词频词典描述词语、词频以及词语与词频之间的对应关系，预设词频词典是提前建立好的。
40.在一实施例中，利用预设词频词典对待测语句进行正向最大匹配分词处理，得到第一分词结果；或者利用预设词频词典对待测语句进行反向最大匹配分词处理，得到第一分词结果；或者利用预设词频词典分别对待测语句进行正向最大匹配分词和反向最大匹配分词处理，得到第一候选分词结果和第二候选分词结果，在第一候选分词结果中的词语的数量小于第二候选分词结果中的词语的数量的情况下，将第一候选分词结果确定为第一分词结果，或者在第一候选分词结果中的词语的数量大于第二候选分词结果中的词语的数量的情况下，将第二候选分词结果确定为第一分词结果。
41.在一实施例中，获取待测文本，将待测文本拆分为多个语句；将多个语句中的任一语句作为待测语句。其中，待测文本可以是用户输入的，也可以是服务器基于爬虫程序爬取得到的，本技术实施例对此不做具体限定。
42.步骤s102、在第一分词结果中存在词组含有相同汉字的情况下，计算待测语句与预设语料库中的各预设语句之间的语义相似度。
43.本技术实施例中，在第一分词结果中存在词组含有相同汉字的情况下，可以确定待测语句的分词出现冲突。例如，待测语句为“商户回复活下来最重要”的分词方式包括“商户|回复|活下来|最重要”和“商户|回|复活|下来|最重要”，这样“商户回复活下来最重要”的分词结果包括“商户”、“回复”、“复活”、“活下来”、“下来”、“回”和“最重要”，由于“回”和“回复”这一词组含有相同汉字“回”、“回复”和“复活”这一词组含有相同汉字“复”，“复活”和“活下来”这一词组含有相同汉字“活”，“活下来”和“下来”这一词组含有相同汉字“下”和“来”，从而可以确定“商户回复活下来最重要”的分词出现冲突，需要使用语义相似度进一步地对待测语句进行分词，以提高分词准确性。
44.在一实施例中，计算待测语句与预设语料库中的各预设语句之间的语义相似度的方式可以为：对于预设语料库中的每个预设语句，获取预设语句对应的句向量，并获取待测语句对应的句向量；计算预设语句对应的句向量与待测语句对应的句向量之间的距离，并将预设语句对应的句向量与待测语句对应的句向量之间的距离确定为待测语句与预设语句之间的语义相似度。其中，预设语句对应的句向量可以提前生成存储在存储器中，也可以实时生成，本技术实施例对此不做具体限定。
45.步骤s103、根据语义相似度，从预设语料库中选择多个预设语句作为与待测语句相似的目标语句。
46.本技术实施例中，预设语料库包括多个预设语句，预设语料库是提前建立好的，可以存储在数据库中。目标语句的数量可以基于实际情况进行设置，本技术实施例对此不做具体限定。例如，目标语句的数量为20个。
47.在一实施例中，按照语义相似度的大小，对预设语料库中预设语句进行排序，得到语句排序队列；从语句排序队列中的首个预设语句开始，依次从语句排序队列中获取一个预设语句作为目标语句，直至目标语句的数量达到预设数量。其中，预设数量可以基于实际情况进行设置，本技术实施例对此不做具体限定。例如，预设数量为20或者25个。
48.可以理解的是，语义相似度越大的预设语句在语句排序队列中的位置越靠前，而语义相似度越小的预设语句在语句排序队列中的位置越靠后，在预设数量为20个的情况下，可以从语句排序队列中获取前20个预设语句作为与待测语句相似的目标语句。
49.步骤s104、利用预设词频词典对各目标语句进行分词处理，得到第二分词结果，根据第二分词结果，生成目标词频词典。
50.本技术实施例中，利用预设词频词典对各目标语句进行正向最大匹配分词处理，得到第二分词结果；或者利用预设词频词典对各目标语句进行反向最大匹配分词处理，得到第二分词结果；或者利用预设词频词典分别对各目标语句进行正向最大匹配分词和反向最大匹配分词处理，得到第二分词结果。
51.在一实施例中，根据第二分词结果，生成目标词频词典的方式可以为：将第二分词结果中相同的词语划分为一组，得到多个目标词组；确定目标词组所包含的词语的个数，得到目标词组所对应词语的词频；根据各目标词组所对应的词语以及各目标词组所对应词语的词频，生成目标词频词典。
52.例如，第二分词结果包括“商户”、“回复”、“复活”、“活下来”、“下来”、“回”、“最重
要”、“回复”、“活下来”、“最重要”、“商户”、商户”和“回复”，因此将三个“商户”划分为一个目标词组，词语“商户”的词频为3，将三个“回复”划分为一个目标词组，词语“回复”的词频为3，将一个“复活”划分为一个目标词组，词语“复活”的词频为1，将两个“活下来”划分为一个目标词组，词语“活下来”的词频为2，类似的，词语“下来”的词频为1，词语“回”的词频为1，词语“最重要”的词频为2，从而可以建立包含“商户”、“回复”、“复活”、“活下来”、“下来”、“回”和“最重要”以及对应词频的目标词频词典。
53.步骤s105、根据目标词频词典和/或预设词频词典，确定含有相同汉字的词组中的各词语的目标词频。
54.本技术实施例中，含有相同汉字的词组至少包括第一分词结果中的两个词语，通过获取与待测语句相似的多个目标语句，并利用预设词频词典对各目标语句进行分词处理，得到第二分词结果，根据第二分词结果，生成目标词频词典，再基于目标词频词典和/或预设词频词典，确定含有相同汉字的词组中的各词语的目标词频，这样可以结合词频和语义综合地对待测语句进行分词，极大地提高了汉语分词的准确性。
55.在一实施例中，第一分词结果中含有相同汉字的词组包括第一词语和第二词语，第一词语的尾部与第二词语的首部相同。例如，待测语句为“商户回复活下来最重要”的第一分词结果包括“商户”、“回复”、“复活”、“活下来”、“下来”、“回”和“最重要”，由于“回”和“回复”含有相同汉字“回”、“回复”和“复活”含有相同汉字“复”，“复活”和“活下来”含有相同汉字“活”，“活下来”和“下来”含有相同汉字“下”和“来”，因此，“回”和“回复”构成一个词组、第一词语可以包括“回”，第二词语可以包括“回复”；“回复”和“复活”构成一个词组，则第一词语可以包括“回复”，第二词语可以包括“复活”；“复活”和“活下来”作为一个词组，则第一词语可以包括“复活”，第二词语可以包括“活下来”；“活下来”和“下来”作为一个重叠词组，则第一词语可以包括“活下来”，第二词语可以包括“下来”。
56.在一实施例中，确定目标词频词典中是否存在第一词语；在目标词频词典中存在第一词语的情况下，从目标词频词典中查询第一词语的目标词频；或者，根据目标词频词典和预设词频词典，确定第一词语的目标词频；在目标词频词典中不存在第一词语的情况下，计算查询得到的词频与预设加权系数的乘积，得到第一词语的目标词频。类似的，在目标词频词典中存在第二词语的情况下，从目标词频词典中查询第二词语的目标词频；或者，根据目标词频词典和预设词频词典，确定第二词语的目标词频；在目标词频词典中不存在第二词语的情况下，计算查询得到的词频与预设加权系数的乘积，得到第二词语的目标词频。
57.在一实施例中，根据目标词频词典和预设词频词典，确定第一词语的目标词频的方式可以为：从目标词频词典中查询第一词语对应的词频，并将查询到的词频确定为第一词频；从预设词频词典中查询第一词语对应的词频，并将查询到的词频确定为第二词频；对第一词频和第二词频进行加权求和，得到第一词语的目标词频。通过综合考虑目标词频词典和预设词频词典来确定词语的目标词频，可以提高目标词频的准确性。
58.在一实施例中，对第一词频和第二词频进行加权求和的方式可以为：计算第二词频与预设加权系数的乘积，得到加权词频；对第一词频与所述加权词频进行累加得到第一词语的目标词频。其中，预设加权系数可以基于实际情况进行设置，本技术实施例对此不做具体限定。例如，第一词语为“回复”，且“回复”的第一词频为3，“回复”的第二词频为3百万，预设加权系数为千万分之一，则“回复”的目标词频为3.3。
59.类似的，从目标词频词典中查询第二词语对应的词频，并将查询到的词频确定为第三词频；从预设词频词典中查询第二词语对应的词频，并将查询到的词频确定为第四词频；对第三词频和第四词频进行加权求和，得到第二词语的目标词频。例如，第二词语为“复活”，且“复活”的第三词频为1，“复活”的第四词频为2百万，预设加权系数为千万分之一，则“复活”的目标词频为1.2。
60.步骤s106、将词组中的除目标词语以外的词语确定为重叠词语，从第一分词结果中删除重叠词语，得到待测语句的目标分词结果。
61.本技术实施例中，目标词语为含有相同汉字的词组中的最大的目标词频所对应的词语。例如，待测语句为“商户回复活下来最重要”的第一分词结果存在“回复”和“复活”构成的词组含有相同汉字、“复活”和“活下来”构成的词组含有相同汉字以及“活下来”和“下来”构成的词组含有相同汉字。
62.例如，设词组中的“回”和“回复”的目标词频分别为1.1和3.3，词组中的“回复”和“复活”的目标词频分别为3.3和1.2，词组中的“复活”和“活下来”的目标词频分别为1.2和3.5，词组中的“活下来”和“下来”的目标词频分别为3.5和1.3，则将词语“回”、“复活”和“下来”、确定为重叠词语，待测语句为“商户回复活下来最重要”的第一分词结果包括“商户”、“回复”、“复活”、“活下来”、“下来”、“回”和“最重要”，删除重叠词语“回”、“复活”和“下来”，从而得到包含“商户”、“回复”、“活下来”和最重要”的目标分词结果。
63.上述实施例提供的汉语分词方法，基于词频对待测语句进行分词后，在分词结果中存在词组含有相同汉字的情况下，基于待测语句与预设语料库中的各预设语句之间的语义相似度，从预设语料库中选择多个预设语句作为与待测语句相似的目标语句，再对各目标语句进行分词处理，根据分词结果生成目标词频词典，这样可以基于目标词频词典和/或预设词频词典，确定含有相同汉字的词组中的各词语的目标词频，由于将词组中的最大的目标词频所对应的词语确定为目标词语，且将含有相同汉字的词组中除目标词语以外的词语确定为重叠词语，从而可以删除重叠词语，而保留目标词语，进而避免分词结果中存在词组含有相同汉字的情况，极大地提高了汉语分词的准确性。
64.请参阅图2，图2是本技术实施例提供的一种汉语分词装置的示意性框图。
65.如图2所示，该汉语分词装置200包括：
66.分词模块210，用于利用预设词频词典对待测语句进行分词处理，得到第一分词结果；
67.相似度计算模块220，用于在所述第一分词结果中存在词组含有相同汉字的情况下，计算所述待测语句与预设语料库中的各预设语句之间的语义相似度；
68.选择模块230，用于根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句；
69.所述分词模块210，还用于利用所述预设词频词典对各所述目标语句进行分词处理，得到第二分词结果；
70.词典生成模块240，用于根据所述第二分词结果，生成目标词频词典；
71.确定模块250，用于根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；
72.所述确定模块250，还用于将所述词组中的除目标词语以外的词语确定为重叠词
语，所述目标词语为所述词组中的最大的所述目标词频所对应的词语；
73.删除模块260，用于从所述第一分词结果中删除所述重叠词语，得到所述待测语句的目标分词结果。
74.在一实施例中，如图3所示，所述词典生成模块240包括：
75.划分子模块241，用于将所述第二分词结果中相同的词语划分为一组，得到多个目标词组；
76.确定子模块242，用于确定所述目标词组所包含的词语的个数，得到所述目标词组所对应词语的词频；
77.生成子模块243，用于根据各所述目标词组所对应的词语以及各所述目标词组所对应词语的词频，生成目标词频词典。
78.在一实施例中，所述选择模块230，还用于：
79.按照所述语义相似度的大小，对所述预设语料库中预设语句进行排序，得到语句排序队列；
80.从所述语句排序队列中的首个预设语句开始，依次从所述语句排序队列中获取一个预设语句作为所述目标语句，直至所述目标语句的数量达到预设数量。
81.在一实施例中，所述词组包括第一词语和第二词语，所述第一词语的尾部与所述第二词语的首部相同，所述确定模块250，还用于：
82.确定所述目标词频词典中是否存在所述第一词语；
83.在所述目标词频词典中存在所述第一词语的情况下，从所述目标词频词典中查询所述第一词语的目标词频；
84.或者根据所述目标词频词典和所述预设词频词典，确定所述第一词语的目标词频。
85.在一实施例中，如图4所示，所述确定模块250包括：
86.查询子模块251，用于从所述目标词频词典中查询所述第一词语对应的词频，并将查询到的词频确定为第一词频；
87.所述查询子模块251，用于从所述预设词频词典中查询所述第一词语对应的词频，并将查询到的词频确定为第二词频；
88.加权求和子模块252，用于对所述第一词频和所述第二词频进行加权求和，得到所述第一词语的目标词频。
89.在一实施例中，所述加权求和子模块253，还用于：
90.计算所述第二词频与预设加权系数的乘积，得到加权词频；
91.对所述第一词频与所述加权词频进行累加得到所述第一词语的目标词频。
92.在一实施例中，所述确定模块250，还用于：
93.在所述目标词频词典中不存在所述第一词语的情况下，从所述预设词频词典中查询所述第一词语的词频；
94.计算查询得到的词频与预设加权系数的乘积，得到所述第一词语的目标词频。
95.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和各模块及单元的具体工作过程，可以参考前述汉语分词方法实施例中的对应过程，在此不再赘述。
96.上述实施例提供的装置可以实现为一种计算机程序的形式，该计算机程序可以在如图5所示的服务器上运行。
97.请参阅图5，图5是本技术实施例提供的一种服务器的结构示意性框图。
98.如图5所示，该服务器包括通过系统总线连接的处理器、存储器和网络接口，其中，存储器可以包括存储介质和内存储器。
99.存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令，该程序指令被执行时，可使得处理器执行任意一种汉语分词方法。
100.处理器用于提供计算和控制能力，支撑整个服务器的运行。
101.该网络接口用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图5中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的服务器的限定，具体的服务器可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
102.应当理解的是，处理器可以是中央处理单元(central processing unit，cpu)，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
103.其中，在一实施例中，所述处理器用于运行存储在存储器中的计算机程序，以实现以下步骤：
104.利用预设词频词典对待测语句进行分词处理，得到第一分词结果；
105.在所述第一分词结果中存在词组含有相同汉字的情况下，计算所述待测语句与预设语料库中的各预设语句之间的语义相似度；
106.根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句；
107.利用所述预设词频词典对各所述目标语句进行分词处理，得到第二分词结果，根据所述第二分词结果，生成目标词频词典；
108.根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；
109.将所述词组中的除目标词语以外的词语确定为重叠词语，从所述第一分词结果中删除所述重叠词语，得到所述待测语句的目标分词结果，所述目标词语为所述词组中的最大的所述目标词频所对应的词语。
110.在一实施例中，所述处理器在实现根据所述第二分词结果，生成目标词频词典时，用于实现：
111.将所述第二分词结果中相同的词语划分为一组，得到多个目标词组；
112.确定所述目标词组所包含的词语的个数，得到所述目标词组所对应词语的词频；
113.根据各所述目标词组所对应的词语以及各所述目标词组所对应词语的词频，生成目标词频词典。
114.在一实施例中，所述处理器在实现根据所述语义相似度，从所述预设语料库中选
择多个预设语句作为与所述待测语句相似的目标语句时，用于实现：
115.按照所述语义相似度的大小，对所述预设语料库中预设语句进行排序，得到语句排序队列；
116.从所述语句排序队列中的首个预设语句开始，依次从所述语句排序队列中获取一个预设语句作为所述目标语句，直至所述目标语句的数量达到预设数量。
117.在一实施例中，所述词组包括第一词语和第二词语，所述第一词语的尾部与所述第二词语的首部相同，所述处理器在实现根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频时，用于实现：
118.确定所述目标词频词典中是否存在所述第一词语；
119.在所述目标词频词典中存在所述第一词语的情况下，从所述目标词频词典中查询所述第一词语的目标词频；
120.或者根据所述目标词频词典和所述预设词频词典，确定所述第一词语的目标词频。
121.在一实施例中，所述处理器在实现根据所述目标词频词典和所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频时，用于实现：
122.从所述目标词频词典中查询所述第一词语对应的词频，并将查询到的词频确定为第一词频；
123.从所述预设词频词典中查询所述第一词语对应的词频，并将查询到的词频确定为第二词频；
124.对所述第一词频和所述第二词频进行加权求和，得到所述第一词语的目标词频。
125.在一实施例中，所述处理器在实现对所述第一词频和所述第二词频进行加权求和，得到所述第一词语的目标词频时，用于实现：
126.计算所述第二词频与预设加权系数的乘积，得到加权词频；
127.对所述第一词频与所述加权词频进行累加得到所述第一词语的目标词频。
128.在一实施例中，所述处理器在实现确定所述目标词频词典中是否存在所述第一词语之后，还用于实现：
129.在所述目标词频词典中不存在所述第一词语的情况下，从所述预设词频词典中查询所述第一词语的词频；
130.计算查询得到的词频与预设加权系数的乘积，得到所述第一词语的目标词频。
131.需要说明的是，所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的服务器的具体工作过程，可以参考前述汉语分词方法实施例中的对应过程，在此不再赘述。
132.通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台服务器(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例或者实施例的某些部分所述的方法。
133.本技术实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计
算机程序中包括程序指令，所述程序指令被执行时所实现的方法可参阅本技术汉语分词方法的各个实施例。
134.其中，所述存储介质可以是易失性的，也可以是非易失性的。所述存储介质可以是前述实施例所述的服务器的内部存储单元，例如所述服务器的硬盘或内存。所述存储介质也可以是所述服务器的外部存储设备，例如所述服务器上配备的插接式硬盘，智能存储卡(smart media card，smc)，安全数字(secure digital，sd)卡，闪存卡(flash card)等。
135.进一步地，所述存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
136.本技术所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
137.应当理解，在此本技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本技术。如在本技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
138.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
139.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种汉语分词方法，其特征在于，包括：利用预设词频词典对待测语句进行分词处理，得到第一分词结果；在所述第一分词结果中存在词组含有相同汉字的情况下，计算所述待测语句与预设语料库中的各预设语句之间的语义相似度；根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句；利用所述预设词频词典对各所述目标语句进行分词处理，得到第二分词结果，根据所述第二分词结果，生成目标词频词典；根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；将所述词组中的除目标词语以外的词语确定为重叠词语，从所述第一分词结果中删除所述重叠词语，得到所述待测语句的目标分词结果，所述目标词语为所述词组中的最大的所述目标词频所对应的词语。2.根据权利要求1所述的汉语分词方法，其特征在于，所述根据所述第二分词结果，生成目标词频词典，包括：将所述第二分词结果中相同的词语划分为一组，得到多个目标词组；确定所述目标词组所包含的词语的个数，得到所述目标词组所对应词语的词频；根据各所述目标词组所对应的词语以及各所述目标词组所对应词语的词频，生成目标词频词典。3.根据权利要求1所述的汉语分词方法，其特征在于，所述根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句，包括：按照所述语义相似度的大小，对所述预设语料库中预设语句进行排序，得到语句排序队列；从所述语句排序队列中的首个预设语句开始，依次从所述语句排序队列中获取一个预设语句作为所述目标语句，直至所述目标语句的数量达到预设数量。4.根据权利要求1-3中任一项所述的汉语分词方法，其特征在于，所述词组包括第一词语和第二词语，所述第一词语的尾部与所述第二词语的首部相同，所述根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频，包括：确定所述目标词频词典中是否存在所述第一词语；在所述目标词频词典中存在所述第一词语的情况下，从所述目标词频词典中查询所述第一词语的目标词频；或者根据所述目标词频词典和所述预设词频词典，确定所述第一词语的目标词频。5.根据权利要求4所述的汉语分词方法，其特征在于，所述根据所述目标词频词典和所述预设词频词典，确定所述第一词语的目标词频，包括：从所述目标词频词典中查询所述第一词语对应的词频，并将查询到的词频确定为第一词频；从所述预设词频词典中查询所述第一词语对应的词频，并将查询到的词频确定为第二词频；
对所述第一词频和所述第二词频进行加权求和，得到所述第一词语的目标词频。6.根据权利要求5所述的汉语分词方法，其特征在于，所述对所述第一词频和所述第二词频进行加权求和，得到所述第一词语的目标词频，包括：计算所述第二词频与预设加权系数的乘积，得到加权词频；对所述第一词频与所述加权词频进行累加得到所述第一词语的目标词频。7.根据权利要求4所述的汉语分词方法，其特征在于，所述确定所述目标词频词典中是否存在所述第一词语之后，还包括：在所述目标词频词典中不存在所述第一词语的情况下，从所述预设词频词典中查询所述第一词语的词频；计算查询得到的词频与预设加权系数的乘积，得到所述第一词语的目标词频。8.一种汉语分词装置，其特征在于，所述汉语分词装置包括：分词模块，用于利用预设词频词典对待测语句进行分词处理，得到第一分词结果；相似度计算模块，用于在所述第一分词结果中存在词组含有相同汉字的情况下，计算所述待测语句与预设语料库中的各预设语句之间的语义相似度；选择模块，用于根据所述语义相似度，从所述预设语料库中选择多个预设语句作为与所述待测语句相似的目标语句；所述分词模块，还用于利用所述预设词频词典对各所述目标语句进行分词处理，得到第二分词结果；词典生成模块，用于根据所述第二分词结果，生成目标词频词典；确定模块，用于根据所述目标词频词典和/或所述预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；所述确定模块，还用于将所述词组中的除目标词语以外的词语确定为重叠词语，所述目标词语为所述词组中的最大的所述目标词频所对应的词语；删除模块，用于从所述第一分词结果中删除所述重叠词语，得到所述待测语句的目标分词结果。9.一种服务器，其特征在于，包括处理器、存储器、以及存储在所述存储器上并可被所述处理器执行的计算机程序，其中所述计算机程序被所述处理器执行时，实现如权利要求1至7中任一项所述的汉语分词方法。10.一种存储介质，用于计算机可读存储，其特征在于，所述存储介质上存储有计算机程序，其中所述计算机程序被处理器执行时，实现如权利要求1至7中任一项所述的汉语分词方法。

技术总结
本申请涉及自然语言处理领域，提供了一种汉语分词方法、装置、服务器及存储介质，包括：利用预设词频词典对待测语句进行分词，得到第一分词结果；在第一分词结果中存在词组含有相同汉字的情况下，计算待测语句与预设语料库中的各预设语句之间的语义相似度；根据语义相似度，从预设语料库中选择多个预设语句作为与待测语句相似的目标语句；利用预设词频词典对各目标语句进行分词，得到第二分词结果，根据第二分词结果，生成目标词频词典；根据目标词频词典和/或预设词频词典，确定含有相同汉字的所述词组中的各词语的目标词频；将词组中的除目标词语以外的词语确定为重叠词语，从第一分词结果中删除重叠词语。该方法提高了汉语分词的准确性。的准确性。的准确性。


技术研发人员：黄逸嘉 赵晓辉
受保护的技术使用者：平安科技（深圳）有限公司
技术研发日：2023.04.06
技术公布日：2023/7/21