一种智能客服话务文本服务质检的方法及系统与流程

1.本发明涉及数据处理技术领域，尤其是涉及一种智能客服话务文本服务质检的方法及系统。


背景技术：

2.现有客服话务文本服务质检依赖人工品控，人工对每日电话客服通话转译文本或在线客服即时沟通文本进行抽检，筛选识别其中的问题件后根据实际业务需求对指定范围内的问题件进行致歉、安抚、补受理及后续的考核处理等。
3.然而这种方法存在抽检率低、品控尺度不统一、无法覆盖全类型业务和全体坐席等缺点，尤其是随着业务量的不断增长，面临电话客服和在线客服咨询量暴增的情况时，人工质检显然无法满足要求。因此，有必要设计具有一定准确率的智能装置自动筛查问题件来辅助人工处理，扩大品控覆盖范围，全面提升品控质效。


技术实现要素：

4.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种智能客服话务文本服务质检的方法及系统。
5.本发明的目的可以通过以下技术方案来实现：
6.根据本发明的第一方面，提供一种智能客服话务文本服务质检的方法，包括以下步骤：
7.s1、获取待检查的客服话务文本数据，所述客服话务文本数据包括至少一个文本案件；
8.s2、使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛，若存在初筛被命中的文本案件，则执行步骤s3，否则，文本案件质检初筛通过；
9.s3、使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别，根据分类类别给出质检结果。
10.进一步地，所述客服话务文本数据包括电话客服的录音转文本数据和在线客服的即时沟通文本数据，所述文本案件为对待检查的客服话务文本数据进行划分得到的待检查的基础单元。
11.进一步地，预构建问题件关键词库具体为：
12.获取预先规定的问题件关键词，对所述问题件关键词进行分词、去除停用词，得到关键词序列；
13.对分词后的关键词序列，使用预先训练好的word2vec词向量计算得到关键词对应的词向量，并获取与所述关键词词向量余弦相似度排名前p的词向量的对应词作为候选词，p为预设置的选择阈值；
14.对候选词进行人工筛选，将筛选通过的候选词与预先规定的问题件关键词一起作
为问题件关键词库。
15.进一步地，所述预构建的领域专业词库包括疾病名称库、地址名称库、机构名称库、医学名称库及保险产品名称库。
16.进一步地，对所述文本案件进行命中匹配具体为：
17.1)将文本案件与问题件关键词库进行命中判断，若文本案件命中问题件关键词库，则记录命中问题件关键词的位置，否则，该文本案件质检初筛通过；
18.2)将命中问题件关键词的文本案件与领域专业词库进行命中判断，若文本案件命中领域专业词库，则记录命中专用词的位置，若命中问题件关键词的位置包含在命中专用词的位置中，则该文本案件质检初筛通过，否则，执行下一步；
19.3)使用预先构建的正则模型对该文本案件进行过滤，过滤结果包括不做筛选和筛选，若过滤结果为不做筛选，则该文本案件质检初筛通过，否则该文本案件初筛被命中。
20.进一步地，对于初筛命中的文本案件，若其命中的问题件关键词是预设置的强关键词，则根据所述强关键词关联的判别结果直接输出该文本案件的质检结果，否则，将文本案件输入到预训练的文本质检分类模型中，得到分类类别，根据分类类别给出质检结果。
21.进一步地，所述文本质检分类模型包括输入层、中间层和输出层，所述输入层的输入数据包括文本案件的话务文本数据和类别为掩码的提示词模板，用于将输入数据映射为初始向量；所述中间层为语言模型bert，用于提取输入数据的特征向量；所述输出层为softmax分类器，包括双层全连接层和softmax层，用于根据所述输入数据的特征向量得到分类类别。
22.进一步地，所述文本质检分类模型采用基于大规模预训练语言模型的提示词学习方法。
23.进一步地，所述分类类别包括：复述客户问题，解释解答问题，安抚客户，其他正常件、辱骂客户、拒绝客户、推诿找理由、其他问题件。
24.根据本发明的第二方面，提供一种智能客服话务文本服务质检的系统，基于上述的智能客服话务文本服务质检的方法，包括：
25.数据输入模块，用于获取待检查的客服话务文本数据，所述客服话务文本数据包括至少一个文本案件；
26.预处理模块，用于构建问题件关键词库和领域专业词库；
27.初筛模块，用于使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛；
28.精筛模块，用于使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别；
29.数据输出模块，用于根据分类类别给出质检结果。
30.与现有技术相比，本发明具有以下有益效果：
31.利用构建的词库以及文本质检分类模型等手段自动进行客服话务文本数据的质检和分类，解决了人工质检尺度不统一、抽检覆盖率低的问题，扩大品控覆盖范围，全面提升品控质效。
附图说明
32.图1为智能客服话务文本服务质检的方法的流程示意图；
33.图2为客服话务文本质检分类模型网络层次结构示意图；
34.图3为智能客服话务文本服务质检的系统的结构和流程示意图。
具体实施方式
35.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例，本发明的保护范围不限于下述的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
36.此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本发明的描述中，需要理解的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”和“第三”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
37.本说明书提供了如实施例或流程示意图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或服务器产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)或者调整没有时序限制的步骤的执行顺序。
38.实施例1：
39.本发明提供一种智能客服话务文本服务质检的方法，如图1所示，包括以下步骤：
40.s1、获取待检查的客服话务文本数据，客服话务文本数据包括至少一个文本案件；
41.一般，可以获取全量客服话务文本数据进行检查，包括电话客服的录音转文本数据和在线客服的即时沟通文本数据。也可以规定周期，如每天进行一次质检，则待检查的客服话务文本数据为当天的全量客服话务文本数据，或者，将一位客服在一个月内的所有沟通数据作为待检查的客服话务文本数据，等等，本领域技术人员可以根据实际需要进行设置。
42.为了便于追溯，全量客服话务文本数据可以分成多个文本案件，文本案件为对待检查的客服话务文本数据进行划分得到的待检查的基础单元。如将一个客服与一位客户之间的沟通数据作为一个文本案件，也可以将一位客服与其服务的所有客户之间的沟通数据作为一个文本案件，或者按照时间段划分，将一位客服在一个时间区间内的所有沟通数据作为一个文本案件，等等，本领域技术人员可以根据实际需要进行设置。
43.s2、使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛，若存在初筛被命中的文本案件，则执行步骤s3，否则，文本案件质检初筛通过；
44.(1)问题件关键词库
45.一般，问题件关键词库可以根据公司内部规定的质检要求进行问题件关键词库的构建。可以参考公司的质检业务手册、质检指南等材料，得到规定的问题件关键词。为了进一步丰富问题件关键词库，本技术实施例进行了数据增强，如下：
46.对已有问题件关键词进行分词、去除停用词，得到关键词序列；
47.对分词后的关键词序列，采用词向量相似度法进行数据增强，使用预先训练好的word2vec词向量计算得到关键词对应的词向量，并获取与关键词词向量余弦相似度排名前p的词向量的对应词作为候选词，p为预设置的选择阈值，本技术实施例中p取5；
48.对候选词进行人工筛选，将筛选通过的候选词与预先规定的问题件关键词一起作为问题件关键词库。
49.数据增强的基本思想是对于某个关键词，获取与其相似的候选词，然后将相似度较高的候选词加入关键词库。具体的，也可以使用glove预训练的词向量等获取相似度较高的词。
50.此外，也可以使用其他数据增强方法，比如基于机器翻译将关键词翻译为另一种语言，并再次进行回译，或者人工构造、组合关键词，等等，在此不再一一赘述，本领域技术人员可以理解。
51.(2)领域专业词库
52.领域专业词库的构建方式主要是使用本领域已有的领域专业词库和人工收集，建立与公司业务相关的行业相关词库。本技术实施例中，行业为保险行业，基于人工收集的方法预构建的领域专业词库包括疾病名称库、地址名称库、机构名称库、医学名称库及保险产品名称库。
53.(3)初筛
54.其中，对文本案件进行命中匹配具体为：
55.1)将文本案件与问题件关键词库进行命中判断，若文本案件命中问题件关键词库，则记录命中问题件关键词的位置，否则，该文本案件质检初筛通过。初筛通过的文本案件不需要进行后续精筛，其质检结果为质检初筛通过；而命中问题件关键词的文本案件，需要进一步分析，判断其是否存在问题，这里记录命中的文本位置序号，就是为了后续的进一步分析。
56.2)将命中问题件关键词的文本案件与领域专业词库进行命中判断，若文本案件命中领域专业词库，则记录命中专用词的位置；如果一个文本案件同时命中了问题件关键词和领域专业词，且命中问题件关键词的位置包含在命中专用词的位置中，则该文本案件质检初筛通过，质检不存在问题，比如：“如果您说的本金是指购买这个保险所交的保费的话，鸿发年年全能定投年金保险(分红型)在祝寿金领取日一次性给付。”文本中命中的“定投”是一个问题件关键词，同时“鸿发年年全能定投年金保险(分红型)”是一种保险产品名称，因此质检不存在问题。如果一个文本案件同时命中了问题件关键词和领域专业词，但是命中问题件关键词的位置不包含在命中专用词的位置中，则该文本案件存在问题，需要进入后续精筛步骤，确定具体质检问题类别，即执行步骤3)；如果一个文本案件命中了问题件关键词，但是没有命中领域专业词，则该文本案件存在问题，需要进入后续精筛步骤，确定具体质检问题类别，即执行步骤3)。
57.3)使用预先构建的正则模型对该文本案件进行过滤，过滤结果包括不做筛选和筛选，若过滤结果为不做筛选，则该文本案件质检初筛通过，否则该文本案件初筛被命中。
58.这里的正则模型，是定制化的，并可以根据质检要求灵活变动和调整。本技术实施例中，基于质检手册以及根据具体文本标注案例分析构建积累来构建正则模型，例如针对问题件关键词“理财”，根据业务实际情况，当电话进线为长江养老时不纳入以下合规敏感词监控：“理财”、“理财计划”、“投资计划”、“养老基金”等，可不做筛选；当指定关键词前出现否定词时不做筛选；再比如，“不太清楚”过滤“听的不太清楚”，“听我说”过滤“您先听我说”等；或者是投诉任务回复处理、呼出回访等，这些文本案件虽然命中了关键词，但是不算有合规问题。
59.这样，经过问题件关键词库、领域专业词库和正则模型的匹配和过滤，得到初筛被命中的文本案件，而初筛通过的案件不需要进行后续步骤。
60.s3、使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别，根据分类类别给出质检结果。
61.1)首先，对于初筛命中的文本案件，若其命中的问题件关键词是预设置的强关键词，则根据强关键词关联的判别结果直接输出该文本案件的质检结果，比如，命中了“慢死了”、“吵死了”这些预先设置的强关键词可直接判断为问题件，否则，将文本案件输入到预训练的文本质检分类模型中，得到分类类别，根据分类类别给出质检结果。
62.这里，需要预先构建强关键词表或易混淆关键词表，对于命中强关键词的文本案件，可以直接给出质检结果，比如“我查不到”、“我不知道”，或者不耐烦语气、言语辱骂负面评价，等等，这些强关键词可以不用进一步分类，而一些被命中的关键词是易混淆关键词时，需要进一步使用客服话务质检分类模型进行分类。
63.本技术实施例中，根据客服话务文本质检需要设计了8种分类类别，包括：复述客户问题，解释解答问题，安抚客户，其他正常件、辱骂客户、拒绝客户、推诿找理由、其他问题件。同时，为了便于标签自定义及扩展设计了标签映射用于分类器的初始化。其中，复述客户问题，解释解答问题，安抚客户，其他正常件(业务话术)是正面结果，辱骂客户、拒绝客户、推诿找理由、其他问题件(负面销售引导、业务话术错误等)是负面结果。
64.由于受制于时间和人力成本，标注数据的获取需要一个积累校准的过程，实际生产应用中可利用的标注数据量很少。在少量数据的情况下，为了完成模型的训练并保证效果，本发明的客服话务文本质检模型任务是基于小样本(few-shot)的深度学习多分类文本模型，算法采用基于大规模预训练语言模型的提示词学习(prompt learning)方法，将多分类预测转换为掩码预测任务，通过对预训练语言模型学习的特征进行充分利用，降低了样本需求，从而降低人工标注成本，以往的微调方式需要大量的质检员数据标注才能保证模型分类效果，基于提示词方法的客服话务文本质检模型可以降低数据标注依赖，在小样本的场景下取得比微调更好的分类效果。
65.prompt learning(提示学习)则是一种较新的预训练模型范式，通过在预训练过程中提供特定任务的提示信息，来指导模型学习。一般而言，定义一个提示模板，这个模板包含了一些提示信息，例如关键词、短语、句子等。然后，将提示模板与训练数据一起输入到模型中进行训练。在预测时，可以将提示模板与待预测的数据一起输入到模型中，从而帮助模型更好地理解输入数据。模型训练采用的提示信息通常是可以被人类理解的，这也使得
可以更好地理解模型在做决策时的逻辑和推理过程，模型预测时通过结合不同的prompt模式即可完成不同的任务需求。同时，通过添加提示信息可以帮助模型更好地利用已有的标注数据，学习到更通用的特征表示，从而使得模型在低资源场景任务中仍然可以保持较好的表现。提示词学习方法是现有技术中一种较为流行的训练方法，本领域技术人员可以理解并按照常规理解实现，其实施细节在此不再一一赘述。
66.具体的，构建的文本质检分类模型包括输入层、中间层和输出层，模型网络层次结构示意图如图2所示。输入层的输入数据包括文本案件的话务文本数据和类别为掩码的提示词模板，用于将输入数据映射为初始向量，这里可以通过预训练模型的词典将输入数据映射为初始向量；中间层为语言模型bert，用于提取输入数据的特征向量；输出层为softmax分类器，包括双层全连接层和softmax层，用于根据输入数据的特征向量得到分类类别。
67.模型采用中文预训练语言模型bert为基模型，输入层是格式为“[cls]+文本+提示词模板”的构造数据，其中提示词模板设计为“这句话是[mask]”，比如，原始客服文本为“我不知道您对于这个信息很反感，如果我知道就会直接给您做验证的”，这句话是“解释解答问题”类别，将其构造为输入数据，格式为：“[cls]我不知道您对于这个信息很反感，如果我知道就会直接给您做验证的。[sep]这句话是[mask]”。这样，将分类任务转化为掩码(mask)预测，掩码[mask]掩盖构造句中的类别信息。
[0068]
训练过程中，首先获取带有类别标签的打标样本数据并构造提示，将分类任务转化为掩码(mask)预测，即掩盖构造句中的类别信息。将构造完成的数据分为训练集、测试集、验证集三部分。第二步，将训练集作为输入通过预训练模型的词典映射为初始向量，用mlm(masked language modeling，语言掩码模型)预训练bert模型预测掩码，可以充分利用预训练模型学习到的参数，掩码的预测向量作为第三步分类器的输入。第三步，由softmax分类器进一步提取特征信息并输出预测类别概率，softmax分类器输入利用了待预测字的预训练向量来初始化，不再是随机初始化。通过交叉熵计算loss利用反向传播算法进行分类器的参数学习，在测试集进行模型调参，在测试集进行模型调参，以达到最优模型分类效果。训练好的模型用于预测未知的客服话务文本的具体类别，可以通过设置的阈值进行问题件精筛结果的判定输出。比如，取概率值最大的类别，若属于该类别的概率值大于阈值，则判断类别为该类别，否则，无法判断类别，需要人工参与质检评判。
[0069]
最后，本技术实施例还引入了标注反馈。文本质检分类模型的输出结果，输出给质检员，质检员通过人工抽检标注，起到补充标注数据集、规则集及扩充词库的作用，优化的规则和词库可以提升初筛效果，补充的打标数据可以参与模型训练进一步优化精筛阶段质检文本分类模型的效果，形成对质检装置系统优化的反馈闭环，提升整体的问题件筛选准确率。
[0070]
本发明利用构建的词库以及文本质检分类模型等手段自动进行客服话务文本数据的质检和分类，解决了人工质检尺度不统一、抽检覆盖率低的问题，扩大品控覆盖范围，全面提升品控质效。
[0071]
本发明还提供一种智能客服话务文本服务质检的系统，基于上述的智能客服话务文本服务质检的方法，其结构和流程如图3所示，包括：
[0072]
数据输入模块，用于获取待检查的客服话务文本数据，客服话务文本数据包括至
少一个文本案件；
[0073]
预处理模块，用于构建问题件关键词库和领域专业词库；
[0074]
初筛模块，用于使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛；
[0075]
精筛模块，用于使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别；
[0076]
数据输出模块，用于根据分类类别给出质检结果。
[0077]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0078]
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

技术特征：
1.一种智能客服话务文本服务质检的方法，其特征在于，包括以下步骤：s1、获取待检查的客服话务文本数据，所述客服话务文本数据包括至少一个文本案件；s2、使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛，若存在初筛被命中的文本案件，则执行步骤s3，否则，文本案件质检初筛通过；s3、使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别，根据分类类别给出质检结果。2.根据权利要求1所述的一种智能客服话务文本服务质检的方法，其特征在于，所述客服话务文本数据包括电话客服的录音转文本数据和在线客服的即时沟通文本数据，所述文本案件为对待检查的客服话务文本数据进行划分得到的待检查的基础单元。3.根据权利要求1所述的一种智能客服话务文本服务质检的方法，其特征在于，预构建问题件关键词库具体为：获取预先规定的问题件关键词，对所述问题件关键词进行分词、去除停用词，得到关键词序列；对分词后的关键词序列，使用预先训练好的word2vec词向量计算得到关键词对应的词向量，并获取与所述关键词词向量余弦相似度排名前p的词向量的对应词作为候选词，p为预设置的选择阈值；对候选词进行人工筛选，将筛选通过的候选词与预先规定的问题件关键词一起作为问题件关键词库。4.根据权利要求1所述的一种智能客服话务文本服务质检的方法，其特征在于，所述预构建的领域专业词库包括疾病名称库、地址名称库、机构名称库、医学名称库及保险产品名称库。5.根据权利要求1所述的一种智能客服话务文本服务质检的方法，其特征在于，对所述文本案件进行命中匹配具体为：1)将文本案件与问题件关键词库进行命中判断，若文本案件命中问题件关键词库，则记录命中问题件关键词的位置，否则，该文本案件质检初筛通过；2)将命中问题件关键词的文本案件与领域专业词库进行命中判断，若文本案件命中领域专业词库，则记录命中专用词的位置，若命中问题件关键词的位置包含在命中专用词的位置中，则该文本案件质检初筛通过，否则，执行下一步；3)使用预先构建的正则模型对该文本案件进行过滤，过滤结果包括不做筛选和筛选，若过滤结果为不做筛选，则该文本案件质检初筛通过，否则该文本案件初筛被命中。6.根据权利要求5所述的一种智能客服话务文本服务质检的方法，其特征在于，对于初筛命中的文本案件，若其命中的问题件关键词是预设置的强关键词，则根据所述强关键词关联的判别结果直接输出该文本案件的质检结果，否则，将文本案件输入到预训练的文本质检分类模型中，得到分类类别，根据分类类别给出质检结果。7.根据权利要求1或6所述的一种智能客服话务文本服务质检的方法，其特征在于，所述文本质检分类模型包括输入层、中间层和输出层，所述输入层的输入数据包括文本案件的话务文本数据和类别为掩码的提示词模板，用于将输入数据映射为初始向量；所述中间层为语言模型bert，用于提取输入数据的特征向量；所述输出层为softmax分类器，包括双
层全连接层和softmax层，用于根据所述输入数据的特征向量得到分类类别。8.根据权利要求7所述的一种智能客服话务文本服务质检的方法，其特征在于，所述文本质检分类模型采用基于大规模预训练语言模型的提示词学习方法。9.根据权利要求1所述的一种智能客服话务文本服务质检的方法，其特征在于，所述分类类别包括：复述客户问题，解释解答问题，安抚客户，其他正常件、辱骂客户、拒绝客户、推诿找理由、其他问题件。10.一种智能客服话务文本服务质检的系统，其特征在于，基于如权利要求1-9中任一所述的智能客服话务文本服务质检的方法，包括：数据输入模块，用于获取待检查的客服话务文本数据，所述客服话务文本数据包括至少一个文本案件；预处理模块，用于构建问题件关键词库和领域专业词库；初筛模块，用于使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛；精筛模块，用于使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别；数据输出模块，用于根据分类类别给出质检结果。

技术总结
本发明涉及一种智能客服话务文本服务质检的方法及系统，包括：S1、获取待检查的客服话务文本数据，客服话务文本数据包括至少一个文本案件；S2、使用预构建的问题件关键词库和预构建的领域专业词库对每个文本案件进行命中匹配，进行客服话务文本数据的初筛，若存在初筛被命中的文本案件，则执行步骤S3，否则，文本案件质检初筛通过；S3、使用预训练的文本质检分类模型对初筛命中的文本案件进行分类判断，确定分类类别，根据分类类别给出质检结果。与现有技术相比，本发明利用构建的词库以及文本质检分类模型等手段自动进行客服话务文本数据的质检和分类，解决了人工质检尺度不统一、抽检覆盖率低的问题，扩大品控覆盖范围，全面提升品控质效。提升品控质效。提升品控质效。


技术研发人员：黄萍 孙谷飞 谭炎
受保护的技术使用者：中国太平洋人寿保险股份有限公司
技术研发日：2023.06.06
技术公布日：2023/8/23