基于数据驱动的对话效果优化方法、装置及对话机器人与流程

1.本说明书实施例通常涉及人工智能领域，尤其涉及基于数据驱动的对话效果优化方法、装置及对话机器人。


背景技术：

2.人机对话相关技术已经被广泛地应用于各种智能服务场景的业务支持，并且构建具有不同功能、覆盖不同领域的对话机器人，比如，主站客服机器人、外呼机器人、理财助理、保险管家等。然而基于先验知识配置的对话机器人的对话效果不佳，比如，不能很好地理解各式各样的用户表达、与用户对话不流畅、为用户提供的回复满意度不佳等，由此需要进行对话效果优化。
3.对话效果优化方案通过对机器人的人机对话日志和知识库进行分析、检测和标注，自动给出优化建议，辅助运营人员优化机器人相关配置，从而优化机器人对话效果，提升机器人智能解决效率。
4.在常规的对话效果优化方案中，在对话机器人模型发布后，采用人员反馈的方式收集线上错误对话案例，并且对所收集的错误对话案例进行人工错误分析和数据标注。然后，使用标注后的对话案例作为训练数据来训练对话机器人模型，并在离线验证模型结果后对线上对话机器人模型进行迭代。在上述对话效果优化方案中，需要投入很大时间/精力进行错误分析和数据标注，并且花费较长的时间来进行对话机器人模型训练和迭代验证，从而导致优化流程长，不能实现对话效果的快速优化。


技术实现要素：

5.本说明书实施例提供基于数据驱动的对话效果优化方法、装置及对话机器人。利用该对话效果优化方法，从对话机器人所产生的人机对话日志中检测出缺陷对话，并根据所检测出的缺陷对话中的用户问题更新对话机器人的知识库，由此实现对话机器人效果优化。
6.根据本说明书实施例的一个方面，提供一种基于数据驱动的对话效果优化方法，包括：从对话机器人的人机对话日志中提取出对话片段，所述对话片段包括针对用户发起问题的完整会话内容；对所提取出的对话片段进行缺陷检测，以检测出缺陷对话；以及根据所检测出的缺陷对话中的用户问题，优化所述对话机器人的知识库。
7.可选地，在上述方面的一个示例中，根据所检测出的缺陷对话中的用户问题，优化所述对话机器人的知识库可以包括：确定所述缺陷对话的缺陷类型；响应于所述缺陷类型为第一缺陷类型，对所述缺陷对话进行缺陷修复，以将所述用户问题挂载到对应正确答案所在知识点的扩展问列表来完成所述知识库的优化，以及响应于所述缺陷类型为第二缺陷类型，基于人人对话日志生成所述用户问题的答案，并且根据所述用户问题和所生成的答案创建知识点添加到所述知识库中，其中，所述第一缺陷类型指示对话机器人未返回正确答案且正确答案存在于所述知识库，所述第二缺陷类型指示对话机器人未返回正确答案且
正确答案未存在于所述知识库。
8.可选地，在上述方面的一个示例中，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话可以包括：使用隐式反馈信息，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否。
9.可选地，在上述方面的一个示例中，使用隐式反馈信息，对所提取出的对话片段进行缺陷检测可以包括：获取所述对话片段中每轮对话的对话交互数据；从所述每轮对话的对话交互数据中提取出隐式反馈信息；以及使用所述隐式反馈信息来对所述对话片段中的每轮对话进行缺陷检测。
10.可选地，在上述方面的一个示例中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征。
11.可选地，在上述方面的一个示例中，所述信息属性特征包括下述属性特征中的至少一种：用户问题重复性、用户停留时间、用户结果反馈、用户输入特性、机器人回复重复性、机器人回复兜底性、机器人状态属性。
12.可选地，在上述方面的一个示例中，使用所述隐式反馈信息来对所述对话片段中的每轮对话进行缺陷检测可以包括：使用所述隐式反馈信息来基于缺陷检测规则对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测规则基于所述隐式反馈信息的信息属性特征创建，或者将所述隐式反馈信息提供给缺陷检测模型来对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测模型基于所述隐式反馈信息的信息属性特征进行建模。
13.可选地，在上述方面的一个示例中，所述缺陷检测模型建模时使用的特征包括所述隐式反馈信息的信息属性特征中的与应用场景无关的信息属性特征。
14.可选地，在上述方面的一个示例中，响应于所述缺陷类型为第一缺陷类型，对所述缺陷对话片段进行缺陷修复，以将所述用户问题挂载到对应正确答案所在知识点的扩展问列表来完成所述知识库的优化可以包括：使用对字面匹配具有不同敏感度的至少两个文本匹配模型来分别预测所述用户问题与所述知识库中的至少一个候选答案之间的匹配结果；对所得到的多种匹配结果进行多模型融合来确定所述用户问题的正确答案；以及将所述用户问题挂载到所确定出的正确答案所在知识点的扩展问列表来完成所述知识库的优化。
15.可选地，在上述方面的一个示例中，所述至少两个文本匹配模型包括文本分类模型、文本表征模型和文本交互匹配模型。
16.可选地，在上述方面的一个示例中，所述多模型融合包括下述多模型融合中的一种：基于软投票的多模型融合；基于排名平均的多模型融合；基于分层的多模型融合；基于动态模型选择的多模型融合。
17.可选地，在上述方面的一个示例中，所述至少一个候选答案基于召回策略来从所述知识库的知识点的答案中召回。
18.可选地，在上述方面的一个示例中，所述召回策略包括文本敏感召回策略和语义敏感召回策略的组合召回策略。
19.根据本说明书的实施例的另一方面，提供一种基于数据驱动的对话效果优化装置，包括：对话片段提取单元，从对话机器人的人机对话日志中提取出对话片段，所述对话片段包括针对用户发起问题的完整对话内容；缺陷对话检测单元，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话；以及知识库优化单元，根据所检测出的缺陷对话中的用
户问题，优化所述对话机器人的知识库。
20.可选地，在上述方面的一个示例中，所述知识库优化单元可以包括：缺陷类型确定模块，确定所述缺陷对话的缺陷类型；缺陷修复模块，响应于所述缺陷类型为第一缺陷类型，对所述缺陷对话进行缺陷修复，以将所述用户问题挂载到对应正确答案所在知识点的扩展问列表来完成所述知识库的优化；以及知识点创建模块，响应于所述缺陷类型为第二缺陷类型，基于人人对话日志生成所述用户问题的答案，并且根据所述用户问题和所生成的答案创建知识点添加到所述知识库中，其中，所述第一缺陷类型指示对话机器人未返回正确答案且正确答案存在于所述知识库，所述第二缺陷类型指示对话机器人未返回正确答案且正确答案未存在于所述知识库。
21.可选地，在上述方面的一个示例中，所述缺陷检测单元可以包括：对话交互数据获取模块，获取所述对话片段中每轮对话的对话交互数据；隐式反馈信息提取模块，从所述每轮对话的对话交互数据中提取出隐式反馈信息，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否；以及缺陷检测模块，使用所述隐式反馈信息来对所述对话片段中的每轮对话进行缺陷检测。
22.可选地，在上述方面的一个示例中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征。所述缺陷检测模块使用所述隐式反馈信息来基于缺陷检测规则对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测规则基于所述隐式反馈信息的信息属性特征创建，或者所述缺陷检测模块将所述隐式反馈信息提供给缺陷检测模型来对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测模型基于所述隐式反馈信息的信息属性特征进行建模。
23.可选地，在上述方面的一个示例中，所述缺陷修复模块可以包括：模型预测子模块，使用多个对字面匹配具有不同敏感度的文本匹配模型来分别预测所述用户问题与所述知识库中的至少一个候选答案之间的匹配结果；多模型融合子模块，对所得到的多种匹配结果进行多模型融合来确定所述用户问题的正确答案；以及缺陷修复子模块，将所述用户问题挂载到所确定出的正确答案所在知识点的扩展问列表来完成所述知识库的优化。
24.可选地，在上述方面的一个示例中，所述缺陷修复模块还可以包括：答案召回子模块，基于召回策略来从所述知识库的知识点的答案中召回所述至少一个候选答案。
25.根据本说明书的实施例的另一方面，提供一种对话机器人，包括如上所述的对话效果优化装置。
26.根据本说明书的实施例的另一方面，提供一种基于数据驱动的对话效果优化装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器；以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如上所述的基于数据驱动的对话效果优化方法。
附图说明
27.通过参照下面的附图，可以实现对于本说明书内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。
28.图1示出了根据本说明书的实施例的对话机器人系统的示例架构示意图。
29.图2示出了根据本说明书的实施例的对话效果优化方法的示例流程图。
30.图3示出了根据本说明书的实施例的人机对话日志的示例示意图。
31.图4示出了根据本说明书的实施例的缺陷对话检测方法的示例流程图。
32.图5示出了根据本说明书的实施例的对话交互数据的示例示意图。
33.图6示出了根据本说明书的实施例的隐私反馈信息的信息属性特征的示例示意图。
34.图7示出了根据本说明书的实施例的缺陷检测规则的示例示意图。
35.图8示出了根据本说明书的实施例的知识库优化过程的示例流程图。
36.图9示出了字面匹配对模型查询结果的影响的示例示意图。
37.图10示出了根据本说明书的实施例的缺陷修复方法的示例流程图。
38.图11示出了根据本说明书的实施例的缺陷修复过程的示例示意图。
39.图12示出了根据本说明书的实施例的经过缺陷修复后的知识点的示例示意图。
40.图13示出了根据本说明书的实施例的知识点创建过程的示例流程图。
41.图14示出了根据本说明书的实施例的经过知识点创建后的知识点的示例示意图。
42.图15示出了根据本说明书的实施例的基于数据驱动的对话效果优化装置的示例方框图。
43.图16示出了根据本说明书的实施例的缺陷检测单元的示例方框图。
44.图17示出了根据本说明书的实施例的知识库优化单元的示例方框图。
45.图18示出了根据本说明书的实施例的缺陷修复模块的示例方框图。
46.图19示出了根据本说明书的实施例的知识点创建模块的示例方框图。
47.图20a-20c示出了根据实施例的用于提供对话服务的示例性硬件设备。
48.图21示出了根据本说明书的实施例的基于计算机系统实现的对话效果优化装置的示例示意图。
具体实施方式
49.现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。
50.如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。
51.本说明书中使用的流程图示出了根据本说明书中的一些实施例的系统实现的操作。应该清楚地理解，流程图的操作可以不按顺序实现。相反，操作可以以反转顺序或同时实现。此外，可以向流程图添加一个或多个其他操作。可以从流程图中移除一个或多个操
作。
52.对话机器人通常会维护知识数据，并且在执行对话任务时使用知识数据进行对话决策。知识数据是指对话任务的依赖数据和辅助数据，通常包括类别集合、知识库(标问/扩展问)、别名字典(实体-别名列表)、知识图谱等。不同的对话任务会依赖不同类型的知识数据，比如，意图/标签任务依赖类别集合，槽位/实体识别任务依赖类别集合和实体-别名列表、faq任务依赖标问集合和标问-扩展问列表等。
53.知识库可以包括多个知识点。针对每个知识点，可以维护一个标准问和对应的答案。例如，标准问可以是“你会干什么”，对应的答案可以是“我会编程序”。在进行对话时，对话机器人首先识别用户所提出的问题，并从知识库中找到与该用户问题所对应的标准问，然后找出与该标准问相匹配的答案。
54.然而，在用户提问时往往使用的不是标准问，而是标准问的一些变形形式，例如，用户会询问“你(会)唱歌吗”、“你(会)跳舞吗”等等。在这种情况下，对话机器人也需要识别出用户的意图是想询问“你会干什么”，由此需要将“你(会)唱歌吗”、“你(会)跳舞吗”作为标准问“你会干什么”的扩展问，并且列在标准问“你会干什么”的扩展问列表中。由此，在知识库中，针对每个知识点，可以维护“标准问集”、“标准问-答案对”以及“标准问-扩展问列表”等。
55.知识库的质量会影响对话机器人的对话效果，尤其是问答型对话机器人。为此，提出一种基于数据驱动的对话效果优化方案。在该对话效果优化方案中，从对话机器人所产生的人机对话日志中检测出缺陷对话，并根据所检测出的缺陷对话更新知识库，由此实现对话机器人效果优化。
56.图1示出了根据本说明书的实施例的对话机器人系统100的示例架构示意图。如图1所示，对话机器人系统100包括对话机器人模型110、知识库120、对话机器人130和对话效果优化装置140。
57.对话机器人模型110可以使用历史对话语料训练出，并且为对话机器人模型110维护知识库120。所训练出的对话机器人模型110可以部署在对话机器人130中。对话机器人130使用对话机器人模型110来基于知识库120中的知识点进行对话决策。对话机器人模型110也可以不部署在对话机器人130中。在这种情况下，对话机器人130可以将对话决策所需信息发送给对话机器人模型110(例如，存储对话机器人模型110的对话机器人模型存储装置或模型拥有方设备)，由对话机器人模型110基于知识库120中的知识点进行对话决策。对话效果优化装置140使用对话机器人130工作时所产生的人机对话日志(线上对话日志)来进行知识生产，并利用所生产的知识维护/更新知识库120，由此实现对话机器人130的对话效果优化。
58.图2示出了根据本说明书的实施例的对话效果优化方法200的示例流程图。
59.如图2所示，在210，在获取对话机器人的人机对话日志后，从对话机器人的人机对话日志中提取出对话片段。对话片段可以是针对用户发起的一个问题的完整会话内容。对话片段例如可以包括用户输入一个问题起到机器人完成针对该问题的答复止的多轮对话内容。对话片段例如可以包括用户输入问题、机器人回复答案和各种中间结果。
60.图3示出了根据本说明书的实施例的人机对话日志的示例示意图。
61.图3示出了用户与对话机器人的一通对话内容。在该通对话内容中，可以包括针对
两个用户问题的对话片段，即，针对用户问题“why i paid 98yuan”的对话片段1和针对用户问题“why etc is disabled after i retighten it？”的对话片段2。对话片段1由“why i paid 98yuan”、“you can pay through alipay and
…”
、“show me the charging policy of etc”和“charging includes membership fee 98yuan and
…”
组成，以及对话片段2由“why etc is disabled after i retighten it？”、“sorry，i don’t know”和“transfer to human service”组成。
62.要说明的是，对话片段也可以进一步包括多轮对话。在本说明书中，术语“对话”可以指每轮对话。每轮对话可以由用户问题和机器人回复答案组成。例如，对话片段1可以包括两轮对话，即，由“why i paid 98yuan”和“you can pay through alipay and
…”
组成的第1轮对话，以及由“show me the charging policy of etc”和“charging includes membership fee 98yuan and
…”
组成的第2轮对话。
63.在提取出对话片段后，在220，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话。要说明的是，在本说明书中，针对对话片段的缺陷检测可以是逐轮对话进行。
64.在本说明书中，缺陷对话通常包括两种类型。第一种类型是对话机器人未返回用户问题的正确答案(返回错误答案或没有返回答案)，但正确答案存在于对话机器人的知识库中(badcase1)。第二种类型是对话机器人未返回用户问题的正确答案，并且正确答案未存在于对话机器人的知识库中(badcase2)。
65.在一些实施例中，可以收集用户显式反馈信息，用户显式反馈信息用于显式反馈对话机器人的问题答案的正确与否。用户显式反馈信息例如可以包括用于肯定答案正确的点赞行为，用于否定答案正确的点踩行为等。然后，根据所收集的用户显式反馈信息进行缺陷对话检测。例如，可以根据所收集的用户显式反馈确定对话机器人的问题答案是否正确，在确定对话机器人的问题答案不正确时，确定该轮对话为缺陷对话。例如，在用户显式反馈为点踩时，确定该轮对话为缺陷对话。这种缺陷检测方式具有较强的用户依赖性，即，需要用户参与评价。
66.在一些实施例中，可以将对话缺陷检测建模成端到端的文本二分类模型，例如，dnn模型，然后使用所建模的dnn模型对每轮对话中的用户问题-机器回复答案对进行正确/错误的分类，由此完成缺陷对话检测。dnn模型的推理速度通常较慢，在大流量的情况下无法及时完成缺陷对话检测。
67.考虑到除了用户问题-机器人答案之外，对话片段中的每轮对话还可以包括各种上下文信息，比如，对话片段中的其它轮对话信息等。此外，每轮对话还可以包含用户行为信息、机器人行为信息等，比如，用户停顿行为、用户输入方式、用户结果反馈行为等。这些上下文信息和/或用户/机器人行为信息可以隐式反馈对话机器人的当前轮回复答案是否正确。例如，在用户被对话机器人错误地跳转到无关页面时，用户可能会迅速地返回(停留时间短)。当用户问题被对话机器人错误响应时，用户可能会试图对自己的问题输入进行修改复述(再次输入语句意思表达相近的用户问题)，例如，修正当前轮输入的用户问题中的错别字或使用另外的词汇语句来表达相同的含义，从而试图引导对话机器人进行正确回复。此外，对话机器人在处理不确定的用户问题时，会倾向于输出较低置信度，甚至拒绝回答，例如，输出兜底答案。在本说明书中，用于隐式反馈对话机器人当前轮回复答案正确与否的信息称为隐式反馈信息。
input”,“copy_input”)and content rlike“抱歉，我还在不断学习中，争取下次能回答上来
””
，其中，“user input”表示“手动输入”，“抱歉，我还在不断学习中，争取下次能回答上来”是兜底回复。图7示出了根据本说明书的实施例的缺陷检测规则的示例示意图。然后，使用所提取出的隐式反馈信息，基于所生成的缺陷对话规则来进行缺陷对话片段检测。
77.在一些实施例中，可以使用隐式反馈信息中定义的信息属性特征作为缺陷对话检测模型的模型特征进行建模，并使用历史数据训练出缺陷对话检测模型。在训练出缺陷对话检测模型后，将所提取出的隐式反馈信息提供给缺陷对话检测模型来进行缺陷对话预测，并根据预测值来进行缺陷对话检测。缺陷对话检测模型可以使用本领域的任何类型的机器学习模型或深度学习模型实现，比如，可以采用各种神经网络模型或者轻量级的树模型(比如，随机森林模型、决策树模型等)。
78.例如，可以对隐式反馈信息进行特征提取，得到隐式反馈信息的特征向量表示(embedding)，然后根据特征向量表示来进行缺陷对话预测，比如，利用特征向量表示来进行缺陷/非缺陷的二分类预测。
79.此外，为了提升缺陷对话检测模型的通用性，可以从隐式反馈信息中定义的信息属性中去除业务场景特定特征，并将去除后的信息属性作为对话缺陷检测模型的建模特征，或者从隐式反馈信息中定义的信息属性中筛选出与具体业务场景无关的信息属性作为对话缺陷检测模型的建模特征。
80.在如上检测去缺陷对话后，在230，根据所检测出的缺陷对话中的用户问题，优化对话机器人的知识库。
81.图8示出了根据本说明书的实施例的知识库优化过程800的示例流程图。
82.如图8所示，在810，确定缺陷对话的缺陷类型。
83.响应于缺陷类型为第一缺陷类型，在820，对缺陷对话进行缺陷修复，以将缺陷对话中的用户问题挂载到对应正确答案所在知识点的扩展问列表来完成知识库优化。
84.在一些实施例中，可以离线使用与对话机器人模型相同的模型(例如，bert表征匹配模型)来预测缺陷对话中的用户问题和知识库中的候选答案的匹配性，由此预测出正确答案来进行用户问题挂载。为了使得离线模型能够处理线上预测失败问题，可以使用模型结构相同但模型参数量更大的模型。这是因为离线不需要实时回复用户，有更充分的时间来进行模型推理。这种方式可以取得一定的效果，但仍然会遇到一些错误，其中，占比最大的错误是由于部分字面匹配导致的错误。
85.图9示出了字面匹配对模型查询结果的影响的示例示意图。如图9所示，在一些情况下，查询问题(query)和目标答案(gold)的字面匹配较多，但离线模型预测出字面匹配较少的预测答案(predict)。在一些情况下，查询问题和目标答案的字面匹配较小，但由于字面匹配干扰，离线模型预测出字面匹配较多的预测答案。
86.为了降低字面匹配导致的影响，提出了一种基于多模型融合的缺陷修复方案。在该缺陷修复方案中，使用对部分字面匹配存在不同敏感度的多种类型的文本匹配模型来分别预测用户问题与候选答案集中的各个候选答案之间的匹配结果，并对所得到的多种匹配结果进行融合来确定最终的目标答案来进行用户问题挂载，由此完成缺陷修复。
87.图10示出了根据本说明书的实施例的缺陷修复方法1000的示例流程图。
88.如图10所示，在1010，使用对字面匹配具有不同敏感度的至少两个文本匹配模型
来分别预测缺陷对话中的用户问题与知识库中的至少一个候选答案之间的匹配结果。
89.在一些实施例中，知识库中的至少一个候选答案可以包括知识库中的所有答案。在一些实施例中，还可以基于召回策略来从知识库的知识点的答案中召回至少一个候选答案。召回策略例如可以包括文本敏感召回策略和语义敏感召回策略的组合召回策略。召回结果中的候选答案数据量通常为100个。
90.在一些实施例中，所使用的文本匹配模型例如可以包括文本分类模型、文本表征模型和文本交互匹配模型的组合。
91.在如上得到多个文本匹配模型的匹配结果后，在1020，对所得到的多种匹配结果进行多模型融合来确定用户问题的正确答案。
92.在一些实施例中，多模型融合可以采用下述多模型融合策略中的一种：基于软投票(soft vote)的多模型融合；基于排名平均(ranking)的多模型融合；基于分层(stacking)的多模型融合；以及基于动态模型选择的多模型融合。
93.在基于软投票的多模型融合中，根据所有文本匹配模型的得分(匹配结果)计算得分加权平均值作为融合结果，其中，每个文本匹配模型的加权权重可以根据该文本匹配模型的模型精度确定。此外，由于不同文本匹配模型的输出结果取值范围不同，直接对匹配结果进行计算存在度量上的问题，从而在进行多模型融合时，可以对所有文本匹配模型的得分进行归一化处理，并根据归一化后的得分来进行得分加权平均。
94.在基于排名平均的多模型融合方式中，对各个文本匹配模型输出的候选答案的预测排名进行平均。例如，可以按照公式其中，n表示模型个数，weighti表示模型权重，rankingi表示样本在第i个模型中的升序排名。按照这种方式，可以较快地利用各个文本匹配模型中的答案预测排名来融合多个文本匹配模型之间的差异，而不需要加权融合各个文本匹配模型的匹配结果。此外，weighti可以设置为所有文本匹配模型都相同，从而实现排名平均融合。
95.在基于分层的多模型融合方式中，利用元模型(元分类器或者元回归器)来实现多模型融合。比如分类型模型、表征型模型和交互式文本匹配模型等的基础模型利用整个训练集训练出，以及元模型利用基础模型作为特征进行训练。元模型可以学习每个基础模型的模型权重，然后基于模型权重来进行多模型融合。此外，还可以执行基于特征级的stacking，比如，选择部分特征进行stacking；或者针对stacking结果再次进行stacking。例如，在基础模型的结果之外，还可以添加编辑距离等额外特征作为元模型的输入，以执行基于特征的stacking。
96.在动态模型选择方式中，在遇到新数据需要预测时，首先，从训练数据中搜寻与新数据临近的k个数据，该搜寻例如可以利用k-近邻搜索方式实现。在搜寻到临近数据后，在使用k个临近数据构成的训练数据集(局部数据空间)上，选择性能表现最好的模型(或选择性能表现好的多个模型再次进行集成)。按照这种融合方式，可以考虑不同模型在不同局部数据空间上的表现能力的差异，由此提升多模型融合的预测准确性。
97.图11示出了根据本说明书的实施例的缺陷修复过程的示例示意图。
98.如图11所示，针对用户问题u，存在k个候选答案ci，即，c1，c2，
…
，ck。所选择的模型包括文本分类模型、文本表征模型和文本交互匹配模型。
99.在文本分类模型中，将用户问题u的文本特征提供给编码器模型编码后得到文本表征hu，然后将文本表征hu提供给多分类打分模型进行多分类打分，由此得到用户问题u分类到c1，c2，
…
，ck的概率(即，分类得分)。多分类打分模型例如可以利用多层感知机和softmax层实现。
100.在文本表征模型中，将用户问题u和候选答案ci的文本特征级联后提供给编码器模型编码后得到文本表征然后将文本表征提供给分类打分模型进行分类打分，由此得到用户问题u分类到ci的概率(即，分类得分)。分类打分模型例如可以利用多层感知机和softmax层实现。表征模型例如可以采用按照cosent训练方式训练出的预训练mengzi模型。
101.在文本交互匹配模型中，将用户问题u和候选答案ci的文本特征提供给编码器模型编码后，得到用户问题u的文本表征hu和候选答案ci的文本表征然后计算用户问题u的文本表征hu和候选答案ci的文本表征的表征相似度(例如，余弦相似度)，由此得到匹配得分。交互式匹配模型例如可以利用bert-large模型实现。
102.在如上得到各个文本匹配模型的文本匹配结果后，对各个文本匹配模型的文本匹配结果进行多模型融合，由此得到最终的文本匹配结果。例如，各个文本匹配模型输出各个候选答案与用户问题的预测匹配度排名，然后根据匹配度排名进行基于排名平均的多模型融合，由此得到最终的答案匹配度排名。随后，根据最终的答案匹配度排名来确定用户问题的目标答案(正确答案)。
103.在如上从知识库的知识点的答案中确定出用户问题的正确答案后，在1030，将用户问题挂载到所确定出的正确答案所在知识点的扩展问列表来完成知识库优化。
104.图12示出了根据本说明书的实施例的经过缺陷修复后的知识点的示例示意图。如图12所示，用户问题为“why ipaid 98yuan”，从知识库中确定出的正确答案为“charging includes membership fee 98yuan and
…”
，该正确答案所对应的标准问为“etc charging policy”，由此，可以将用户问题“why ipaid 98yuan”作为正确答案“charging includes membership fee 98yuan and
…”
的扩展问，挂载到正确答案“charging includes membership fee 98yuan and
…”
所在知识点的扩展问列表中。
105.响应于缺陷类型为第二缺陷类型，在830，基于人人对话日志生成缺陷对话中的用户问题的答案，并且根据用户问题和所生成的答案创建知识点添加到知识库中，由此完成知识库优化。
106.图13示出了根据本说明书的实施例的知识点创建过程1300的示例流程图。
107.如图13所示，在1310，对所检测出的缺陷对话中的用户问题进行问题聚类，由此将语义相同或相似的用户问题聚类在一起。针对每个问题聚类，确定每个问题聚类的代表性问题。所确定出的代表性问题可以作为该问题聚类的标准问，其它问题可以作为扩展问。
108.在1320，根据人人对话日志，生成每个问题聚类的代表性问题的答案。例如，可以使用答案提取模型来从人人对话日志中提取出每个代表性问题的答案。答案提取模型例如可以使用历史对话日志数据预先训练出。
109.在1330，根据代表性问题和所生成的答案创建知识点，并将所创建的知识点添加到对话机器人的知识库，由此完成知识库优化。在一些实施例中，可以将代表性问题作为标
准问，将代表性问题所在问题聚类的其它问题作为扩展问，并且将所生成的答案作为正确答案，由此创建出知识点。
110.图14示出了根据本说明书的实施例的经过知识点创建后的知识点的示例示意图。
111.如图14所示，问题聚类的代表性问题为“etc disable after retighten”，扩展问为“why etc is disable after i retighten it”，以及正确答案为“you need to reactive it，following such instruction
…”
。
112.如上参照图1到图14描述了根据本说明书的实施例的对话效果优化方法。利用该对话效果优化方法，可以从对话机器人所产生的人机对话日志中检测出缺陷对话，并根据所检测出的缺陷对话中的用户问题更新对话机器人的知识库，由此实现对话机器人效果优化。
113.利用该对话效果优化方法，通过基于隐私反馈信息来进行缺陷对话检测，可以提升缺陷对话检测的精度和效率。
114.利用该对话效果优化方法，通过使用多模型融合方式来进行答案与用户问题之间的文本匹配，可以降低部分字面匹配对文本匹配造成的不利影响，由此提升答案匹配准确度，进而提升缺陷修复的准确性。
115.图15示出了根据本说明书的实施例的基于数据驱动的对话效果优化装置1500的示例方框图。如图15所示，对话效果优化装置1500包括对话片段提取单元1510、缺陷对话检测单元1520和知识库优化单元1530。
116.对话片段提取单元1510被配置为从对话机器人的人机对话日志中提取出对话片段，所提取出的对话片段包括针对用户发起问题的完整对话内容。对话片段提取单元1510的操作可以参考上面参照图2的210描述的操作。
117.缺陷对话检测单元1520被配置为对所提取出的对话片段进行缺陷检测，以检测出缺陷对话。缺陷对话检测单元1520的操作可以参考上面参照图2的220描述的操作。
118.知识库优化单元1530被配置为根据所检测出的缺陷对话中的用户问题，优化对话机器人的知识库。知识库优化单元1530的操作可以参考上面参照图2的230描述的操作。
119.图16示出了根据本说明书的实施例的缺陷检测单元1600的示例方框图。如图16所示，缺陷检测单元1600包括对话交互数据获取模块1610、隐式反馈信息提取模块1620和缺陷检测模块1630。
120.对话交互数据获取模块1610被配置为获取对话片段中每轮对话的对话交互数据。对话交互数据获取模块1610的操作可以参考上面参照图4的410描述的操作。
121.隐式反馈信息提取模块1620被配置为从每轮对话的对话交互数据中提取出隐式反馈信息，所提取出的隐式反馈信息用于隐式反馈对话机器人回复答案正确与否。隐式反馈信息提取模块1620的操作可以参考上面参照图4的420描述的操作。
122.缺陷检测模块1630被配置为使用隐式反馈信息来对所提取出的对话片段中的每轮对话进行缺陷检测。缺陷检测模块1630的操作可以参考上面参照图4的430描述的操作。
123.在一些实施例中，隐式反馈信息可以具有基于对话交互数据抽取出的信息属性特征。在一些实施例中，可以基于隐式反馈信息的信息属性特征创建缺陷检测规则，并且缺陷检测模块1630使用隐式反馈信息来基于缺陷检测规则对所提取出的对话片段中的每轮对话执行缺陷检测。在一些实施例中，可以基于隐式反馈信息的信息属性特征建模缺陷检测
模型，并且使用历史数据训练出缺陷检测模型。缺陷检测模块1630可以将隐式反馈信息提供给缺陷检测模型来对所提取的对话片段中的每轮对话执行缺陷检测。
124.图17示出了根据本说明书的实施例的知识库优化单元1700的示例方框图。如图17所示，知识库优化单元1700包括缺陷类型确定模块1710、缺陷修复模块1720和知识点创建模块1730。
125.缺陷类型确定模块1710被配置为确定缺陷对话的缺陷类型。缺陷类型可以包括第一缺陷类型和第二缺陷类型。第一缺陷类型指示对话机器人未返回正确答案且正确答案存在于所述知识库，以及第二缺陷类型指示对话机器人未返回正确答案且正确答案未存在于所述知识库。
126.缺陷修复模块1720被配置为响应于缺陷类型为第一缺陷类型，对缺陷对话进行缺陷修复，以将用户问题挂载到对应正确答案所在知识点的扩展问列表来完成知识库优化。
127.知识点创建模块1730被配置为响应于缺陷类型为第二缺陷类型，基于人人对话日志生成用户问题的答案，并且根据用户问题和所生成的答案创建知识点添加到知识库中，由此完成知识库优化。
128.图18示出了根据本说明书的实施例的缺陷修复模块1800的示例方框图。如图18所示，缺陷修复模块1800包括模型预测子模块1810、多模型融合子模块1820和缺陷修复子模块1830。
129.模型预测子模块1810被配置为使用对字面匹配具有不同敏感度的至少两个文本匹配模型来分别预测用户问题与知识库中的至少一个候选答案之间的匹配结果。模型预测子模块1810的操作可以参考上面参照图10的1010描述的操作。
130.多模型融合子模块1820被配置为对所得到的多种匹配结果进行多模型融合来确定用户问题的正确答案。多模型融合子模块1820的操作可以参考上面参照图10的1020描述的操作。
131.缺陷修复子模块1830被配置为将用户问题挂载到所确定出的正确答案所在知识点的扩展问列表来完成知识库优化。缺陷修复子模块1830的操作可以参考上面参照图10的1030描述的操作。
132.可选地，在一些实施例中，缺陷修复模块1800还可以包括答案召回子模块(未示出)。答案召回子模块被配置为基于召回策略来从知识库的知识点的答案中召回至少一个候选答案，以供进行缺陷修复。
133.图19示出了根据本说明书的实施例的知识点创建模块1900的示例方框图。如图19所示，知识点创建模块1900包括问题聚类子模块1910、答案生成子模块1920和知识点创建子模块1930。
134.问题聚类子模块1910被配置为对所检测出的缺陷对话中的用户问题进行问题聚类，由此将语义相同或相似的用户问题聚类在一起。针对每个问题聚类，问题聚类子模块1910可以确定出每个问题聚类的代表性问题。所确定出的代表性问题可以作为该问题聚类的标准问，其它问题可以作为扩展问。
135.答案生成子模块1920被配置为根据人人对话日志，生成每个问题聚类的代表性问题的答案。例如，答案生成子模块1920可以使用答案提取模型来从人人对话日志中提取出每个代表性问题的答案。答案提取模型可以使用历史对话日志数据预先训练出。
136.知识点创建子模块1930被配置为根据代表性问题和所生成的答案创建知识点，并将所创建的知识点添加到对话机器人的知识库，由此完成知识库优化。例如，知识点创建子模块1930可以将代表性问题作为标准问，将代表性问题所在问题聚类的其它问题作为扩展问，并且将所生成的答案作为正确答案，由此创建出知识点。
137.上述对话效果优化装置可以作为组件集成在对话机器人，以供对话机器人来实现对话效果优化。集成有对话效果优化装置的对话机器人可以应用于各种应用场景。
138.图20a-20c示出了根据实施例的用于提供对话服务的示例性硬件设备2010、2020和2030。根据本公开的实施例的对话机器人可以在硬件设备2010、2020和2030中实现。
139.设备2010是在用户所处的位置处提供和使用的智能终端。设备2010可以包括：至少一个相机，用于捕捉用户的图像或捕捉用户视野中的物品的图像；屏幕，其可向用户呈现视觉信息或者可触摸以与用户交互；麦克风和扬声器，用于通过语音与用户进行通信；用于发声的语音按钮，用于切换到纯语音模式；电源按钮；和对话机器人客户端。根据实际需求，设备2010可以包括更多或更少的组件。设备2010可以放置在固定位置或者可以由用户携带。例如，可以将设备2010放置在建筑物等的入口或某一位置处，用于引导用户访问，可以将设备2010放置在某个展出物品附近，以便当用户在展出物品附近时与用户进行通信，或者可以由用户携带，以便在用户携带期间提供对话服务。
140.设备2020是包括至少一个屏幕、至少一个相机、发声器、麦克风等的可穿戴装置。虽然装置2020被示出为与眼镜相似，但其可以是任何其他类型的可穿戴装置，例如，智能手表。
141.设备2030是用户拥有的智能终端。设备2030可以是智能手机、平板电脑、膝上型电脑、台式计算机等。通过设备2030，用户可以与对话机器人进行通信而不受位置的限制。
142.应该理解，设备2010、2020和2030是示例性的，并且根据本公开的实施例的对话机器人可以以任何其他类型的硬件设备来实现。
143.如上参照图1到图20c，对根据本说明书实施例的对话效果优化方法及对话效果优化装置进行了描述。上面的对话效果优化装置可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。
144.图21示出了根据本说明书的实施例的基于计算机系统实现的对话效果优化装置2100的示例示意图。如图21所示，对话效果优化装置2100可以包括至少一个处理器2110、存储器(例如，非易失性存储器)2120、内存2130和通信接口2140，并且至少一个处理器2110、存储器2120、内存2130和通信接口2140经由总线2160连接在一起。至少一个处理器2110执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。
145.在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器2110：从对话机器人的人机对话日志中提取出对话片段，所提取出的对话片段包括针对用户发起问题的完整会话内容；对所提取的对话片段进行缺陷检测，以检测出缺陷对话；以及根据所检测出的缺陷对话中的用户问题，优化对话机器人的知识库。
146.应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器2110进行本说明书的各个实施例中以上结合图1-图20c描述的各种操作和功能。
147.根据一个实施例，提供了一种比如机器可读介质(例如，非暂时性机器可读介质)的程序产品。机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机
器执行时，使得机器执行本说明书的各个实施例中以上结合图1-图20c描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
148.在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。
149.可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd-rw)、磁带、非易失性存储卡和rom。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。
150.根据一个实施例，提供一种计算机程序产品，该计算机程序产品包括计算机程序，该计算机程序当被处理器执行时，使得处理器执行本说明书的各个实施例中以上结合图1-图20c描述的各种操作和功能。
151.本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。
152.需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。
153.以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，fpga或asic)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
154.上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。
155.本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。

技术特征：
1.一种基于数据驱动的对话效果优化方法，包括：从对话机器人的人机对话日志中提取出对话片段，所述对话片段包括针对用户发起问题的完整会话内容；对所提取出的对话片段进行缺陷检测，以检测出缺陷对话；以及根据所检测出的缺陷对话中的用户问题，优化所述对话机器人的知识库。2.如权利要求1所述的对话效果优化方法，其中，根据所检测出的缺陷对话中的用户问题，优化所述对话机器人的知识库包括：确定所述缺陷对话的缺陷类型；响应于所述缺陷类型为第一缺陷类型，对所述缺陷对话进行缺陷修复，以将所述用户问题挂载到对应正确答案所在知识点的扩展问列表来完成所述知识库的优化，响应于所述缺陷类型为第二缺陷类型，基于人人对话日志生成所述用户问题的答案，并且根据所述用户问题和所生成的答案创建知识点添加到所述知识库中，其中，所述第一缺陷类型指示对话机器人未返回正确答案且正确答案存在于所述知识库，所述第二缺陷类型指示对话机器人未返回正确答案且正确答案未存在于所述知识库。3.如权利要求1所述的对话效果优化方法，其中，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话包括：使用隐式反馈信息，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否。4.如权利要求3所述的对话效果优化方法，其中，使用隐式反馈信息，对所提取出的对话片段进行缺陷检测包括：获取所述对话片段中每轮对话的对话交互数据；从所述每轮对话的对话交互数据中提取出隐式反馈信息；以及使用所述隐式反馈信息来对所述对话片段中的每轮对话进行缺陷检测。5.如权利要求4所述的对话效果优化方法，其中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征。6.如权利要求5所述的对话效果优化方法，其中，所述信息属性特征包括下述属性特征中的至少一种：用户问题重复性、用户停留时间、用户结果反馈、用户输入特性、机器人回复重复性、机器人回复兜底性、机器人状态属性。7.如权利要求5所述的对话效果优化方法，其中，使用所述隐式反馈信息来对所述对话片段中的每轮对话进行缺陷检测包括：使用所述隐式反馈信息来基于缺陷检测规则对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测规则基于所述隐式反馈信息的信息属性特征创建，或者将所述隐式反馈信息提供给缺陷检测模型来对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测模型基于所述隐式反馈信息的信息属性特征进行建模。8.如权利要求7所述的对话效果优化方法，其中，所述缺陷检测模型建模时使用的特征包括所述隐式反馈信息的信息属性特征中的与应用场景无关的信息属性特征。9.如权利要求2所述的对话效果优化方法，其中，响应于所述缺陷类型为第一缺陷类型，对所述缺陷对话进行缺陷修复，以将所述用户问题挂载到对应正确答案所在知识点的扩展问列表来完成所述知识库的优化包括：
使用对字面匹配具有不同敏感度的至少两个文本匹配模型来分别预测所述用户问题与所述知识库中的至少一个候选答案之间的匹配结果；对所得到的多种匹配结果进行多模型融合来确定所述用户问题的正确答案；以及将所述用户问题挂载到所确定出的正确答案所在知识点的扩展问列表来完成所述知识库的优化。10.如权利要求9所述的对话效果优化方法，其中，所述至少两个文本匹配模型包括文本分类模型、文本表征模型和文本交互匹配模型。11.如权利要求9所述的对话效果优化方法，其中，所述多模型融合包括下述多模型融合中的一种：基于软投票的多模型融合；基于排名平均的多模型融合；基于分层的多模型融合；基于动态模型选择的多模型融合。12.如权利要求9所述的对话效果优化方法，其中，所述至少一个候选答案基于召回策略来从所述知识库的知识点的答案中召回。13.如权利要求12所述的对话效果优化方法，其中，所述召回策略包括文本敏感召回策略和语义敏感召回策略的组合召回策略。14.一种基于数据驱动的对话效果优化装置，包括：对话片段提取单元，从对话机器人的人机对话日志中提取出对话片段，所述对话片段包括针对用户发起问题的完整对话内容；缺陷对话检测单元，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话；以及知识库优化单元，根据所检测出的缺陷对话中的用户问题，优化所述对话机器人的知识库。15.如权利要求14所述的对话效果优化装置，其中，所述知识库优化单元包括：缺陷类型确定模块，确定所述缺陷对话的缺陷类型；缺陷修复模块，响应于所述缺陷类型为第一缺陷类型，对所述缺陷对话进行缺陷修复，以将所述用户问题挂载到对应正确答案所在知识点的扩展问列表来完成所述知识库的优化；以及知识点创建模块，响应于所述缺陷类型为第二缺陷类型，基于人人对话日志生成所述用户问题的答案，并且根据所述用户问题和所生成的答案创建知识点添加到所述知识库中，其中，所述第一缺陷类型指示对话机器人未返回正确答案且正确答案存在于所述知识库，所述第二缺陷类型指示对话机器人未返回正确答案且正确答案未存在于所述知识库。16.如权利要求14所述的对话效果优化装置，其中，所述缺陷检测单元包括：对话交互数据获取模块，获取所述对话片段中每轮对话的对话交互数据；隐式反馈信息提取模块，从所述每轮对话的对话交互数据中提取出隐式反馈信息，所述隐式反馈信息用于隐式反馈对话机器人回复答案正确与否；以及缺陷检测模块，使用所述隐式反馈信息来对所述对话片段中的每轮对话进行缺陷检测。
17.如权利要求16所述的对话效果优化装置，其中，所述隐式反馈信息具有基于所述对话交互数据抽取出的信息属性特征，所述缺陷检测模块使用所述隐式反馈信息来基于缺陷检测规则对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测规则基于所述隐式反馈信息的信息属性特征创建，或者所述缺陷检测模块将所述隐式反馈信息提供给缺陷检测模型来对所述对话片段中的每轮对话执行缺陷检测，所述缺陷检测模型基于所述隐式反馈信息的信息属性特征进行建模。18.如权利要求15所述的对话效果优化装置，其中，所述缺陷修复模块包括：模型预测子模块，使用对字面匹配具有不同敏感度的至少两个文本匹配模型来分别预测所述用户问题与所述知识库中的至少一个候选答案之间的匹配结果；多模型融合子模块，对所得到的多种匹配结果进行多模型融合来确定所述用户问题的正确答案；以及缺陷修复子模块，将所述用户问题挂载到所确定出的正确答案所在知识点的扩展问列表来完成所述知识库的优化。19.如权利要求18所述的对话效果优化装置，其中，所述缺陷修复模块还包括：答案召回子模块，基于召回策略来从所述知识库的知识点的答案中召回所述至少一个候选答案。20.一种对话机器人，包括如权利要求14到19中任一所述的对话效果优化装置。21.一种基于数据驱动的对话效果优化装置，包括：至少一个处理器；与所述至少一个处理器耦合的存储器；以及存储在所述存储器中的计算机程序，所述至少一个处理器执行所述计算机程序来实现如权利要求1到13中任一所述的基于数据驱动的对话效果优化方法。

技术总结
本说明书实施例提供基于数据驱动的对话效果优化方法、装置及对话机器人。在进行对话效果优化时，从对话机器人的人机对话日志中提取出对话片段，所提取的对话片段包括针对用户发起问题的完整会话内容。随后，对所提取出的对话片段进行缺陷检测，以检测出缺陷对话，并根据所检测出的缺陷对话中的用户问题，优化对话机器人的知识库。话机器人的知识库。话机器人的知识库。


技术研发人员：胡森 王春锋 杨昌林 许腾
受保护的技术使用者：支付宝（杭州）信息技术有限公司
技术研发日：2023.07.19
技术公布日：2023/10/7