执行机器学习任务的方法和装置与流程

1.本发明涉及机器学习领域，更具体地讲，执行机器学习任务的方法和装置。


背景技术：

2.随着海量数据的出现，人工智能技术迅速发展，而机器学习是人工智能发展到一定阶段的必然产物，其致力于通过计算的手段，从大量数据中挖掘有价值的潜在信息。
3.然而，目前的机器学习交互不够友好，仍需要用户进行比较复杂的操作，这使得用户的体验较差。


技术实现要素：

4.本发明的目的在于提供一种执行机器学习任务的方法和装置。
5.在一个总体的方面，提供一种执行机器学习任务的方法，所述方法包括：接收用户的第一自然语言指令；通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；执行所述机器学习任务，并以自然语言的方式反馈所述机器学习任务的执行信息。
6.可选地，第一自然语言指令包括即时通信消息，其中，即时通信消息包括语音消息和文本消息中的一个或多个。
7.可选地，第一自然语言指令包括语音消息和文本消息中的一个或多个。
8.可选地，用户通过移动终端发送第一自然语言指令，所述方法由不同于所述移动终端的计算设备执行，所述移动终端将第一自然语言指令发送给所述计算设备。
9.可选地，所述机器学习任务包括机器学习模型训练任务和机器学习模型应用任务中的至少一个，其中，执行所述机器学习任务的步骤包括：执行机器学习模型的训练；和/或调用已训练的机器学习模型进行分类、预测和/或决策。
10.可选地，以自然语言的方式反馈所述机器学习任务的执行信息包括：在执行所述机器学习任务的过程中，反馈所述机器学习任务的执行状态，其中，执行状态包括执行进度、执行机器学习任务所需的总时间和提示信息中的至少一个；和/或在所述机器学习任务完成时或者在所述机器学习任务完成之后，反馈所述机器学习任务的执行结果。
11.可选地，以自然语言的方式反馈所述机器学习任务的执行信息的步骤包括：发送与所述机器学习任务的执行信息相关的自然语言消息；和/或向用户提供显示所述机器学习任务的执行信息的窗口。
12.可选地，发送与所述机器学习任务的执行信息相关的自然语言消息的步骤包括：发送与所述机器学习任务的执行信息相关的语音消息，或发送与所述机器学习任务的执行信息相关的语音消息同时提供语音消息对应的文本信息。
13.可选地，以自然语言的方式反馈所述机器学习任务的执行信息的步骤包括：发送提供所述机器学习任务的执行信息的时间；在所述时间以自然语言的方式反馈所述机器学习任务的执行信息。
14.可选地，所述机器学习任务的执行信息包括所述机器学习任务的执行状态和执行结果中的至少一个。
15.可选地，所述方法还包括：接收用户的第二自然语言指令；通过解析第二自然语言指令，确定与第二自然语言指令对应的与机器学习无关的非机器学习任务；执行所述非机器学习任务，并以自然语言的方式反馈所述非机器学习任务的执行信息。
16.可选地，所述方法还包括：在执行所述机器学习任务之前，以自然语言的方式反馈关于所述机器学习任务的确认信息、执行所述机器学习任务所需的资源信息和关于可用计算资源的信息中的至少一个。
17.可选地，所述方法还包括：以自然语言的方式反馈交互信息，其中，交互信息包括问候语信息和向用户请求指令的信息中的一个或多个。
18.可选地，所述机器学习任务包括多目标预测任务，其中，执行所述机器学习任务的步骤包括：使用基于待优化的多个目标从多个候选机器学习模型中选择的至少一个目标机器学习模型执行多目标预测任务。
19.可选地，多个候选机器学习模型具有不同的训练初始参数，并使用相同的训练数据针对相同的多目标预测任务被训练。
20.可选地，至少一个目标机器学习模型通过以下步骤来选择：使用第一验证数据验证多个候选机器学习模型中的第一数量的候选机器学习模型；基于第一数量的候选机器学习模型的验证结果，从第一数量的候选机器学习模型中淘汰第一预定数量的候选机器学习模型，以从多个候选机器学习模型获得第一剩余数量的候选机器学习模型；使用第二验证数据验证第一剩余数量的候选机器学习模型中的第二数量的候选机器学习模型，其中，第二验证数据的数据量大于第一验证数据的数据量；基于第二数量的候选机器学习模型的验证结果，从第二数量的候选机器学习模型中淘汰第二预定数量的候选机器学习模型，以从第一剩余数量的候选机器学习模型获得第二剩余数量的候选机器学习模型；从第二剩余数量的候选机器学习模型选择至少一个目标机器学习模型。
21.可选地，第一预定数量的候选机器学习模型的验证结果被第一剩余数量的候选机器学习模型的验证结果支配或者部分支配，第二预定数量的候选机器学习模型的验证结果被第二剩余数量的候选机器学习模型的验证结果支配或者部分支配。
22.可选地，淘汰的步骤被迭代地执行，直到剩余数量的候选机器学习模型之间不存在帕累托占优的情况、剩余数量的候选机器学习模型的数量达到预定数量或者淘汰的步骤被执行预定次数。
23.在一个总体的方面，提供一种执行机器学习任务的装置，所述装置包括：自然语言指令接收单元，接收用户的第一自然语言指令；任务确定单元，通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；任务执行单元，执行所述机器学习任务，并以自然语言的方式反馈所述机器学习任务的执行信息。
24.可选地，第一自然语言指令包括即时通信消息，其中，即时通信消息包括语音消息和文本消息中的一个或多个。
25.可选地，第一自然语言指令包括语音消息和文本消息中的一个或多个。
26.可选地，用户通过移动终端发送第一自然语言指令，所述装置是不同于所述移动终端的计算设备，所述移动终端将第一自然语言指令发送给所述计算设备。
27.可选地，所述机器学习任务包括机器学习模型训练任务和机器学习模型应用任务中的至少一个，其中，任务执行单元被配置为：执行机器学习模型的训练；和/或调用已训练的机器学习模型进行分类、预测和/或决策。
28.可选地，任务执行单元被配置为：在执行所述机器学习任务的过程中，反馈所述机器学习任务的执行状态，其中，执行状态包括执行进度、执行机器学习任务所需的总时间和提示信息中的至少一个；和/或在所述机器学习任务完成时或者在所述机器学习任务完成之后，反馈所述机器学习任务的执行结果。
29.可选地，任务执行单元被配置为：发送与所述机器学习任务的执行信息相关的自然语言消息；和/或向用户提供显示所述机器学习任务的执行信息的窗口。
30.可选地，任务执行单元被配置为：发送与所述机器学习任务的执行信息相关的语音消息，或发送与所述机器学习任务的执行信息相关的语音消息同时提供语音消息对应的文本信息。
31.可选地，任务执行单元被配置为：发送提供所述机器学习任务的执行信息的时间；在所述时间以自然语言的方式反馈所述机器学习任务的执行信息。
32.可选地，所述机器学习任务的执行信息包括所述机器学习任务的执行状态和执行结果中的至少一个。
33.可选地，自然语言指令接收单元还接收用户的第二自然语言指令；任务确定单元还通过解析第二自然语言指令，确定与第二自然语言指令对应的与机器学习无关的非机器学习任务；任务执行单元还执行所述非机器学习任务，并以自然语言的方式反馈所述非机器学习任务的执行信息。
34.可选地，任务确定单元还被配置为：在执行所述机器学习任务之前，以自然语言的方式反馈关于所述机器学习任务的确认信息、执行所述机器学习任务所需的资源信息和关于可用计算资源的信息中的至少一个。
35.可选地，任务确定单元还被配置为：以自然语言的方式反馈交互信息，其中，交互信息包括问候语信息和向用户请求指令的信息中的一个或多个。
36.可选地，所述机器学习任务包括多目标预测任务，其中，任务确定单元还被配置为：使用基于待优化的多个目标从多个候选机器学习模型中选择的至少一个目标机器学习模型执行多目标预测任务。
37.可选地，多个候选机器学习模型具有不同的训练初始参数，并使用相同的训练数据针对相同的多目标预测任务被训练。
38.可选地，至少一个目标机器学习模型通过以下步骤来选择：使用第一验证数据验证多个候选机器学习模型中的第一数量的候选机器学习模型；基于第一数量的候选机器学习模型的验证结果，从第一数量的候选机器学习模型中淘汰第一预定数量的候选机器学习模型，以从多个候选机器学习模型获得第一剩余数量的候选机器学习模型；使用第二验证数据验证第一剩余数量的候选机器学习模型中的第二数量的候选机器学习模型，其中，第二验证数据的数据量大于第一验证数据的数据量；基于第二数量的候选机器学习模型的验证结果，从第二数量的候选机器学习模型中淘汰第二预定数量的候选机器学习模型，以从第一剩余数量的候选机器学习模型获得第二剩余数量的候选机器学习模型；从第二剩余数量的候选机器学习模型选择至少一个目标机器学习模型。
39.可选地，第一预定数量的候选机器学习模型的验证结果被第一剩余数量的候选机器学习模型的验证结果支配或者部分支配，第二预定数量的候选机器学习模型的验证结果被第二剩余数量的候选机器学习模型的验证结果支配或者部分支配。
40.可选地，淘汰的步骤被迭代地执行，直到剩余数量的候选机器学习模型之间不存在帕累托占优的情况、剩余数量的候选机器学习模型的数量达到预定数量或者淘汰的步骤被执行预定次数。
41.在一个总体的方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被一个或多个计算装置执行时使得所述一个或多个计算装置实现如上所述的任一方法。
42.在一个总体的方面，提供一种包括一个或多个计算装置和一个或多个存储装置的系统，所述一个或多个存储装置上记录有计算机程序，所述计算机程序在被所述一个或多个计算装置执行时使得所述一个或多个计算装置实现如上所述的任一方法。
43.根据本发明的示例实施例的执行机器学习任务的方法，可响应于用户的第一自然语言指令而执行与第一自然语言指令对应的机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。因此，用户只需要执行简易的操作就可以执行机器学习任务并获得机器学习任务的执行信息，从而提升了用户体验。
44.根据本发明的示例实施例的执行机器学习任务的方法可由移动终端执行。由于用户可以随时操作移动终端来执行根据本发明的示例实施例的执行机器学习任务的方法，因此，大大提升了用户的便利性。
45.根据本发明的示例实施例的执行机器学习任务的方法，由于用户可通过方便携带的移动终端向具有较大的存储空间和较强的计算能力的计算设备发送第一自然语言指令，并通过计算设备确定与第一自然语言指令对应的机器学习任务，执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息，因此，一方面提升了用户对于执行机器学习任务的便利性的要求，另一方面提升了用户对于执行机器学习任务的有效性(例如，仅作为示例，效率、准确性、速度)的要求。
46.根据本发明的示例实施例的执行机器学习任务的方法可在多目标预测任务中支持基于待优化的多个目标的多目标优化，因此，扩展了用户可执行机器学习任务的类型，同时增强了执行多目标预测任务的能力。
47.根据本发明的示例实施例的执行机器学习任务的方法可以以在预定时间向用户提供机器学习任务的执行信息。因此，可智能向用户提供机器学习任务的执行信息，满足客户对执行信息的需求。
48.根据本发明的示例实施例的执行机器学习任务的方法，可不在确定与第一自然语言指令对应的机器学习任务之后就立即执行机器学习任务，而是执行机器学习任务的相关信息以供用户参考或者做决定(例如，是否执行机器学习任务)。因此，可与用户形成良好的互动，提升用户体验。
49.在根据本发明的示例实施例的执行机器学习任务的方法中，不仅可以执行机器学习任务，而且还可以执行非机器学习任务，因此，可以执行各种类型的任务，满足用户的各种需求。
50.在根据本发明的示例实施例的执行机器学习任务的方法中，由于使用帕累托前沿
或帕累托最优来判定不同候选机器学习模型的好坏，因此，可以简化淘汰处理并合理地淘汰不好的候选机器学习模型。
51.在根据本发明的示例实施例的从多个候选机器学习模型选择至少一个目标机器学习模型的方法中，通过多步采样或验证(即，依次增大验证数据的数据量，然后衡量候选机器学习模型的好坏，并淘汰不好的候选机器学习模型)选择至少一个目标机器学习模型，因此，可由降低求解的代价并可以快速得到良好的目标机器学习模型。
附图说明
52.通过下面结合示例性地示出一例的附图进行的描述，本发明的上述和其他目的和特点将会变得更加清楚，其中：
53.图1示出根据本发明的示例实施例的执行机器学习任务的方法的流程图。
54.图2示出根据本发明的示例实施例的执行机器学习任务的方法的流程图。
55.图3示出根据本发明的示例实施例的从多个候选机器学习模型选择至少一个目标机器学习模型的方法的流程图。
56.图4示出了二维最小化问题的帕累托前沿。
57.图5示出根据本发明的示例实施例的执行机器学习任务的装置的框图。
具体实施方式
58.提供以下参照附图进行的描述，以帮助全面理解由权利要求及其等同物限定的本发明的示例性实施例。所述描述包括各种特定细节以帮助理解，但这些细节被认为仅是示例性的。因此，本领域的普通技术人员将认识到：在不脱离本发明的范围和精神的情况下，可对这里描述的实施例进行各种改变和修改。此外，为了清楚和简明，可省略已知功能和构造的描述。
59.图1示出根据本发明的示例实施例的执行机器学习任务的方法的流程图。
60.参照图1，在步骤s110中，可接收用户的第一自然语言指令。
61.在一个示例中，第一自然语言指令可包括即时通信消息，其中，即时通信消息包括语音消息和文本消息中的一个或多个。即时通讯消息又可以称为实时通讯信息，并且可以是和/或计算装置使用网络进行文字、文件、语音和视频中的至少一个的交流的信息。在另一个示例中，第一自然语言指令可包括语音消息和文本消息中的一个或多个。
62.虽然上面示出了第一自然语言指令的示例，但是本发明的第一自然语言指令不限于此，并且可以是来自用户的其他信息。
63.在步骤s120中，可通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务。
64.在一个示例中，当第一自然语言指令包括语音消息时，可通过语音识别技术来解析第一自然语言指令，以确定与第一自然语言指令对应的机器学习任务。在另一个示例中，当第一自然语言指令包括文本消息时，可通过文本识别技术来解析第一自然语言指令，以确定与第一自然语言指令对应的机器学习任务。可选地，也可使用自然语言处理技术来解析第一自然语言指令。
65.虽然上面示出了使用不同的技术解析第一自然语言指令的示例，但是本发明的解
析第一自然语言指令的技术不限于此，并且可以是任意其他现有的解析技术或识别技术。
66.另外，机器学习任务可包括机器学习模型训练任务和机器学习模型应用任务中的至少一个。机器学习模型训练任务可对应于机器学习模型的训练。机器学习模型应用任务可对应于已训练的机器学习模型的应用。
67.例如，仅作为示例，当第一自然语言指令对应于“今年双十一销量预计有多少”时，可将与第一自然语言指令对应的机器学习任务确定为“应用预测双十一销量的模型”。又例如，当第一自然语言指令对应于“帮我训练一个语音识别模型”时，可将与第一自然语言指令对应的机器学习任务确定为“训练语音识别模型”。在例如，当第一自然语言指令对应于“帮我识别图片中的物体”时，可将与第一自然语言指令对应的机器学习任务确定为“应用图像识别模型”。虽然上面示出了通过解析第一自然语言指令确定与第一自然语言指令对应的示例以帮助本领域技术人员理解第一自然语言指令和与第一自然语言指令对应的机器学习任务，但是本发明的通过解析第一自然语言指令确定与第一自然语言指令对应的方案不限于此，并且可以是任意第一自然语言指令和与第一自然语言指令对应的机器学习任务。
68.在步骤s130中，可执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。
69.也就是说，在根据本发明的示例实施例的执行机器学习任务的方法中，可响应于用户的第一自然语言指令而执行与第一自然语言指令对应的机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。因此，用户只需要执行简易的操作就可以执行机器学习任务并获得机器学习任务的执行信息，从而提升了用户体验。
70.在一个实施例中，根据本发明的示例实施例的执行机器学习任务的方法可由移动终端执行。在该实施例中，由于用户可以随时操作移动终端来执行根据本发明的示例实施例的执行机器学习任务的方法，因此，大大提升了用户的便利性。
71.在另一个实施例中，用户可通过移动终端发送第一自然语言指令，根据本发明的示例实施例的执行机器学习任务的方法可由不同于移动终端的计算设备执行，移动终端将第一自然语言指令发送给计算设备。也就是说，移动终端可首先从用户接收第一自然语言指令，然后可将第一自然语言指令发送到计算设备，计算设备可接收用户的第一自然语言指令，通过解析第一自然语言指令来确定与第一自然语言指令对应的机器学习任务，执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。例如，计算设备可以以自然语言的方式向移动终端发送机器学习任务的执行信息，然后移动终端以自然语言的方式向用户反馈机器学习任务的执行信息。
72.通常，移动终端(例如，仅作为示例，智能手机、平板等)具有有限的存储空间和计算资源，因此，难以有效执行机器学习任务。相比于移动终端，计算设备(例如，仅作为示例，计算机、服务器等)通常具有较大的存储空间和较强的计算能力，因此，具有较强的解析能力和/或执行机器学习任务的能力。
73.在该实施例中，由于用户可通过方便携带的移动终端向具有较大的存储空间和较强的计算能力的计算设备发送第一自然语言指令，并通过计算设备确定与第一自然语言指令对应的机器学习任务，执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息，因此，一方面提升了用户对于执行机器学习任务的便利性的要求，另一方面提升了
用户对于执行机器学习任务的有效性(例如，仅作为示例，效率、准确性、速度)的要求。
74.另外，在一个实施例中，机器学习任务包括多目标预测任务。在该实施例中，可使用基于待优化的多个目标从多个候选机器学习模型中选择的至少一个目标机器学习模型执行多目标预测任务。也就是说，根据本发明的示例实施例的执行机器学习任务的方法可在多目标预测任务中支持基于待优化的多个目标的多目标优化，因此，扩展了用户可执行机器学习任务的类型，同时增强了执行多目标预测任务的能力。后面将参照图3进行更具体地描述选择至少一个目标机器学习模型的方法。
75.此外，可选地，确定与第一自然语言指令对应的机器学习任务可在移动终端上被执行，而机器学习任务的执行的操作可以在计算设备上被执行。
76.如上所述，机器学习任务可包括机器学习模型训练任务和机器学习模型应用任务中的至少一个。仅作为示例，执行机器学习任务的步骤包括：执行机器学习模型的训练；和/或调用已训练的机器学习模型进行分类、预测和/或决策。也就是说，已训练的机器学习模型可以是分类模型、预测模型和/或决策模型。
77.虽然这里示出了分类模型、预测模型和/或决策模型，但是本发明不限于此，本发明的机器学习模型可以是使用任意机器学习算法实现的模型。
78.执行信息可包括机器学习任务的执行状态和执行结果中的至少一个。下面将进行更具体地描述可通过各种方式以自然语言的方式反馈机器学习任务的各种执行信息。
79.在一个示例中，在执行机器学习任务的过程中，可反馈机器学习任务的执行状态，其中，执行状态包括执行进度、执行机器学习任务所需的时间和预警信息中的至少一个。例如，执行进度可包括但不限于执行机器学习任务已花的时间、完成机器学习任务所剩余的时间、执行机器学习任务已花的时间与预计执行机器学习任务将花的时间之间的比值和/或执行机器学习任务已处理的数量和执行机器学习任务将处理的总数据量之间的比值。提示信息可包括但不限于关于存在新的可用的计算资源的信息、关于是否需要加速机器学习任务的执行的信息和/或关于目前的机器学习任务的执行是否正常的信息。
80.在另一个示例中，在机器学习任务完成时或者在机器学习任务完成之后，反馈机器学习任务的执行结果。例如，当机器学习任务可包括机器学习模型训练任务时，机器学习任务的执行结果可包括但不限于训练好的机器学习模型、训练机器学习模型的相关信息(例如，时间等)。例如，当机器学习任务可包括机器学习模型应用任务时，机器学习任务的执行结果可包括但不限于分类结果、预测结果和/或决策结果。
81.虽然上面示出了以自然语言的方式反馈机器学习任务的各种执行信息的示例，但是本发明不限于此，并可包括上面示例的任何组合和/或其他示例。
82.此外，可通过各种方式以自然语言的方式反馈机器学习任务的执行信息。
83.在一个示例中，可通过发送与机器学习任务的执行信息相关的自然语言消息来反馈机器学习任务的执行信息。例如，可通过发送与机器学习任务的执行信息相关的语音消息来发送与机器学习任务的执行信息相关的自然语言消息。也就是，语音消息可作为提供执行信息的方式。又例如，可通过发送与机器学习任务的执行信息相关的语音消息同时提供语音消息对应的文本信息来发送与机器学习任务的执行信息相关的自然语言消息。也就是说，语音消息和文本消息可共同作为提供执行信息的方式。在例如，可通过发送与机器学习任务的执行信息相关的文本消息来发送与机器学习任务的执行信息相关的自然语言消
息。也就是说，文本消息可作为提供执行信息的方式。
84.在另一个示例中，可向用户提供显示机器学习任务的执行信息的窗口来反馈机器学习任务的执行信息。例如，窗口可以供用户查看和/或操作的窗口。虽然上面示例示出了通过示例方式以自然语言的方式反馈机器学习任务的示例，但是本发明不限于此，并可包括上面示例的任何组合和/或其他示例。
85.在一个示例中，可发送提供机器学习任务的执行信息的时间，并在该时间以自然语言的方式反馈机器学习任务的执行信息。也就是说，可以以在预定时间向用户提供机器学习任务的执行信息。因此，可智能向用户提供机器学习任务的执行信息，满足客户对执行信息的需求。
86.可选地，根据本发明的示例实施例的执行机器学习任务的方法还可包括：在执行机器学习任务之前，以自然语言的方式反馈关于机器学习任务的确认信息、执行机器学习任务所需的资源信息和关于可用计算资源的信息中的至少一个。也就是说，在这种情况下，不是在确定与第一自然语言指令对应的机器学习任务之后就立即执行机器学习任务，而是执行机器学习任务的相关信息以供用户参考或者做决定(例如，是否执行机器学习任务)。因此，可与用户形成良好的互动，提升用户体验。
87.另外，可选地，根据本发明的示例实施例的执行机器学习任务的方法还可包括：以自然语言的方式反馈交互信息，其中，交互信息包括问候语信息和向用户请求指令的信息中的一个或多个。仅作为示例，问候语信息包括但不限于“您好”、“早上好”、“中午好”、“下午好”和“晚上好”等。向用户请求指令的信息包括但不限于“您希望我做什么”、“我能为您做什么”和“请您下达任务”等。
88.下面结合示例描述根据本发明的示例实施例的执行机器学习任务的方法，但是请注意，下面的示例是示例性的，仅出于便于本领域技术人员理解而被示出，而根据本发明的示例实施例的执行机器学习任务的方法不限于此。例如，机器学习任务不限于与自动商业智能分析系统相关的机器学习任务，而是包括任意其他机器学习任务。
89.例如，与执行机器学习任务的方法对应的系统可在显示屏幕(诸如，移动终端的显示屏幕或计算设备的显示屏幕)显示欢迎界面。例如，仅作为示例，在期望的机器学习任务涉及商业智能分析时，可将欢迎界面或者首页设置为与自动商业智能分析系统对应的界面。自动商业智能分析系统可实现包括但不限于对店铺的自动异常检测与预警、销量预估和归因分析等。
90.当自动商业智能分析系统接收到用户的第一自然语言指令(例如，仅作为示例，“今年双十一销量预计有多少？”时，自动商业智能分析系统可通过解析第一自然语言指令，将与第一自然语言指令对应的机器学习任务确定为例如双十一销量预测模型。自动商业智能分析系统可直接执行双十一销量预测模型的运行或者可向用户发起问询以在用户的再次确认下执行双十一销量预测模型的运行。此外，自动商业智能分析系统可以以自然语言的方式反馈机器学习任务的执行信息。例如，仅作为示例，自动商业智能分析系统可以以自然语言的方式反馈“预测任务还在运行中，进度80％，预计还需1小时”作为机器学习任务的执行信息。之后，例如，自动商业智能分析系统接收到用户的第二自然语言指令(例如，仅作为示例，“太慢了，帮我加速一下”，在这种情况下，自动商业智能分析系统可通过解析第二自然语言指令，将与第二自然语言指令对应的与机器学习无关的非机器学习任务确定为“加速双十一销量预测模型的运行”，并采用一些方法(例如，使用更多的计算资源执行双十一销量预测模型)来加速双十一销量预测模型的运行。自动商业智能分析系统可以以自然语言的方式反馈“好的，监测到还有八台空余机器，全部用上只需要二十分钟即可出结果”作为“加速双十一销量预测模型的运行”的执行信息。另外，当用户要求立即给出一个结果时，自动商业智能分析系统会使用自适应的自动机器学习策略，迅速得到粗略的结果。当扩充资源后，自动商业智能分析系统系统会自动将调度任务，以加速运行。
91.在另一个示例中，当自动商业智能分析系统接收到用户的第一自然语言指令(例如，仅作为示例，“我想今年双十一销量是a公司的两倍，有什么建议吗？”时，自动商业智能分析系统可通过解析第一自然语言指令，将与第一自然语言指令对应的机器学习任务确定为例如双十一销量方案推荐模型。自动商业智能分析系统可直接执行双十一销量方案推荐模型的运行或者可向用户发起问询以在用户的再次确认下执行双十一销量方案推荐模型的运行。此外，自动商业智能分析系统可以以自然语言的方式反馈机器学习任务的执行信息。例如，仅作为示例，自动商业智能分析系统可以以自然语言的方式反馈“根据历史数据，a公司去年双十一销量是四万人民币，预测a公司今年的销量是三点二万人民币”作为机器学习任务的执行信息，并反馈“如果想达到a公司的两倍，这是推荐的方案，请注意供应链压力和人力成本的安全阈值”作为机器学习任务的执行信息。之后，例如，自动商业智能分析系统接收到用户的第二自然语言指令(例如，仅作为示例，“就是这个方案，我想要更具体的方案”，在这种情况下，自动商业智能分析系统可通过解析第二自然语言指令，将与第二自然语言指令对应的与机器学习无关的非机器学习任务确定为“详细推荐方案”。自动商业智能分析系统可以以自然语言的方式反馈“好的，当前的方案各项指标都在安全阈值内。详细方案将在明天九点推送给您”作为“加速双十一销量预测模型的运行”的执行信息。之后，在明天九点，自动商业智能分析系统可以以自然语言的方式反馈“老板，这是今年双十一营销方案的详细报告”，并提供详细报告的链接或者界面。
92.图2示出根据本发明的示例实施例的执行机器学习任务的方法的流程图。
93.在图2的实施例中，除了包括参照图1描述的执行机器学习任务的方法中的一个或多个之外，还包括步骤s210、s220和s230。
94.在步骤s210中，可接收用户的第二自然语言指令。第二自然语言指令可与第一自然语言指令具有相同或者不同的形式。因此，参照图1进行的第一自然语言指令的描述也可以全部或者部分地应用到第二自然语言指令。
95.在步骤s220中，可通过解析第二自然语言指令，确定与第二自然语言指令对应的与机器学习无关的非机器学习任务。这里，非机器学习任务可不同于涉及机器学习(例如，直接使用机器学习)的机器学习任务，并且可包括除机器学习任务之外的任务。例如，非机器学习任务可不包括机器学习模型训练任务和机器学习模型应用任务，而是包括一些常规任务(诸如，但不限于，对当前执行的任务的反馈、用户发起的问询任务(例如，问询任务的执行进度或者执行结果)或者对机器学习任务的辅助任务(例如，加速机器学习任务的执行、用户发起的搜索任务)等)。
96.在一个示例中，当非机器学习任务包括对当前执行的任务的反馈时，可根据对当前执行的任务的反馈执行当前任务和/或反馈当前任务的执行信息。例如，当用户的第二自然语言指令包括“帮我加速下”时，可根据用户的反馈“加速任务”来使用更多的计算资源加
速任务的执行。又例如，当用户的第二自然语言指令包括“帮我加速下”时，可根据用户的非机器学习任务“加速任务”反馈任务的执行信息(例如，“当前速度已是最快速度”)。虽然上面示例示出了通过示例方式执行非机器学习任务的示例，但是本发明不限于此，并可包括上面示例的任何组合和/或其他示例。
97.在步骤s230中，可执行非机器学习任务，并以自然语言的方式反馈非机器学习任务的执行信息。参照图1的步骤s130描述的内容也可以应用于在此描述的步骤s230。因此，为了简洁，将省略冗余的描述。
98.也就是说，在根据本发明的示例实施例的执行机器学习任务的方法中，不仅可以执行机器学习任务，而且还可以执行非机器学习任务，因此，可以执行各种类型的任务，满足用户的各种需求。
99.图3示出根据本发明的示例实施例的从多个候选机器学习模型选择至少一个目标机器学习模型的方法的流程图。
100.这里，多个候选机器学习模型可具有不同的训练初始参数，并使用相同的训练数据针对相同的多目标预测任务被训练。例如，训练初始参数可包括但不限于学习率、神经网络的层数等。换言之，多个候选机器学习模型可以是已经训练好的机器学习模型。
101.参照图3，在步骤s310中，可使用第一验证数据验证多个候选机器学习模型中的第一数量的候选机器学习模型。第一验证数据可以是不同于训练数据的用于输入到候选机器学习模型的输入数据。验证可以是指示获得候选机器学习模型的与输入数据对应的输出数据的过程。第一数量可以被任意地设置。
102.在步骤s320中，可基于第一数量的候选机器学习模型的验证结果，从第一数量的候选机器学习模型中淘汰第一预定数量的候选机器学习模型，以从多个候选机器学习模型获得第一剩余数量的候选机器学习模型。换言之，可通过第一数量的候选机器学习模型的验证结果来从衡量第一数量的候选机器学习模型的好坏，继而从多个候选机器学习模型中淘汰第一预定数量的候选机器学习模型，并保留剩下的候选机器学习模型(即，第一剩余数量的候选机器学习模型)继续进行验证。
103.例如，淘汰的第一预定数量的候选机器学习模型的验证结果可被第一剩余数量的候选机器学习模型的验证结果支配或者部分支配。支配可以是帕累托前沿中的术语。图4示出了二维最小化问题的帕累托前沿：黑色粗线即为帕累托前沿。方案a、b为前沿面上的点，而方案c不是，因此方案c在可以在不伤害目标函数f1的情况下，得到更好的目标函数f2(对应a点)；也可以在不伤害目标函数f2的情况下，得到更好的目标函数f1(对应b点)，此时称c点被a/b支配。而对于a、b点，均不可能在不伤害目标函数f1(f2)的情况下，得到更好的目标函数f2(f1)。在这种情况下，由于使用帕累托前沿或帕累托最优来判定不同候选机器学习模型的好坏，因此，可以简化淘汰处理并合理地淘汰不好的候选机器学习模型。
104.在步骤s330中，可使用第二验证数据验证第一剩余数量的候选机器学习模型中的第二数量的候选机器学习模型，其中，第二验证数据的数据量大于第一验证数据的数据量。第二验证数据可以是不同于训练数据的用于输入到候选机器学习模型的输入数据。也就是说，步骤s330中使用的验证数据的数据量大于步骤s310中使用的验证数据的数据量。
105.在步骤s340中，可基于第二数量的候选机器学习模型的验证结果，从第二数量的候选机器学习模型中淘汰第二预定数量的候选机器学习模型，以从第一剩余数量的候选机
器学习模型获得第二剩余数量的候选机器学习模型。换言之，步骤s340可与步骤s320类似，均是用于淘汰一些候选机器学习模型。通过步骤s340，可进一步缩减候选机器学习模型的数量。
106.例如，淘汰的第二预定数量的候选机器学习模型的验证结果可被第二剩余数量的候选机器学习模型的验证结果支配或者部分支配。
107.在步骤s350中，可从第二剩余数量的候选机器学习模型选择至少一个目标机器学习模型。
108.在求解多目标优化时，性能要求比较高，而且不要求严格的最优解。一方面，方案需要能够比较及时给用户反馈，另一方面，最优解未必存在，可以通过及时返回一系列不错的结果，通过和供用户交互，吸取人的良好经验，更快的得到较好的结果。在根据本发明的示例实施例的从多个候选机器学习模型选择至少一个目标机器学习模型的方法中，通过多步采样或验证(即，依次增大验证数据的数据量，然后衡量候选机器学习模型的好坏，并淘汰不好的候选机器学习模型)选择至少一个目标机器学习模型，因此，可由降低求解的代价并可以快速得到良好的目标机器学习模型。
109.此外，可选地，淘汰的步骤被迭代地执行，直到剩余数量的候选机器学习模型之间不存在帕累托占优的情况、剩余数量的候选机器学习模型的数量达到预定数量或者淘汰的步骤被执行预定次数。在一个示例中，在步骤s350中，可继续执行淘汰的步骤。例如，可使用第三验证数据验证第二剩余数量的候选机器学习模型中的第三数量的候选机器学习模型，其中，第三验证数据的数据量大于第二验证数据的数据量。然后，可基于第三数量的候选机器学习模型的验证结果，从第三数量的候选机器学习模型中淘汰第三预定数量的候选机器学习模型，以从第二剩余数量的候选机器学习模型获得第三剩余数量的候选机器学习模型。最后可从第三剩余数量的候选机器学习模型选择至少一个目标机器学习模型。
110.图5示出根据本发明的示例实施例的执行机器学习任务的装置的框图。
111.参照图5，执行机器学习任务的装置500可包括自然语言指令接收单元510、任务确定单元520和任务执行单元530。
112.自然语言指令接收单元510可接收用户的第一自然语言指令。例如，自然语言指令接收单元510可直接从用户接收第一自然语言指令，或者可从另一源接收用户的第一自然语言指令。
113.任务确定单元520可通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务。上面参照图1至图3中的至少一个描述了确定与第一自然语言指令对应的机器学习任务的方法，这里不再重复冗余的描述。
114.任务执行单元530可执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。上面参照图1至图4中的至少一个描述了执行机器学习任务的方法和/或以自然语言的方式反馈机器学习任务的执行信息的方法，这里不再重复冗余的描述。
115.此外，可选地，自然语言指令接收单元510可接收用户的第二自然语言指令。任务确定单元520可通过解析第二自然语言指令，确定与第二自然语言指令对应的与机器学习无关的非机器学习任务。任务执行单元530可执行非机器学习任务，并以自然语言的方式反馈非机器学习任务的执行信息。
116.此外，上述方法可通过记录在计算可读存储介质上的计算机程序来实现。例如，根
据本发明的示例性实施例，可提供一计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被一个或多个计算装置执行时使得所述一个或多个计算装置实现本技术中所公开的任一方法。
117.例如，在所述计算机程序被一个或多个计算装置执行时使得所述一个或多个计算装置执行以下步骤：接收用户的第一自然语言指令；通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。
118.上述计算机可读存储介质中的计算机程序可在诸如客户端、主机、代理装置、服务器等计算机设备中部署的环境中运行，应注意，所述计算机程序在被运行时还可用于执行除了上述步骤以外的附加步骤或者在执行上述步骤时执行更为具体的处理，这些附加步骤和进一步处理的内容已经在参照图1到图4进行相关方法的描述过程中提及，因此这里为了避免重复将不再进行赘述。
119.应注意，根据本发明的示例性实施例的执行机器学习任务的方法和装置，可完全依赖计算机程序的运行来实现相应的功能，其中，装置或系统的各个单元在计算机程序的功能架构中与各步骤相应，使得整个装置或系统通过专门的软件包(例如，lib库)而被调用，以实现相应的功能。
120.另一方面，当图1至图5所提及的各个单元或装置以软件、固件、中间件或微代码实现时，用于执行相应操作的程序代码或者代码段可以存储在诸如存储介质的计算机可读存储介质中，使得计算装置(如处理器)可通过读取并运行相应的程序代码或者代码段来执行相应的操作。
121.例如，根据本发明的实施例的一种包括一个或多个计算装置和一个或多个存储装置的系统，其中，所述一个或多个存储装置中存储有计算机程序，在所述计算机程序被所述一个或多个计算装置执行时使得所述一个或多个计算装置实现本技术中所公开的任一方法。例如，使得所述一个或多个计算装置执行以下步骤：接收用户的第一自然语言指令；通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。
122.具体说来，上述计算装置可以部署在服务器中，也可以部署在分布式网络环境中的节点装置上。此外，所述计算装置设备还可包括视频显示器(诸如，液晶显示器)和用户交互接口(诸如，键盘、鼠标、触摸输入装置等)。计算装置设备的所有组件可经由总线和/或网络而彼此连接。
123.这里，所述计算装置并非必须是单个装置，还可以是任何能够单独或联合执行上述指令(或指令集)的装置或电路的集合体。所述计算装置还可以是集成控制计算装置或计算装置管理器的一部分，或者可被配置为与本地或远程(例如，经由无线传输)以接口互联的便携式电子装置。
124.用于执行根据本发明的示例性实施例的神经网络的训练方法或命名实体识别方法的计算装置可以是处理器，这样的处理器可包括中央处理器(cpu)、图形处理器(gpu)、可编程逻辑装置、专用处理器、微控制器或微处理器。作为示例而非限制，所述处理器还可包括模拟处理器、数字处理器、微处理器、多核处理器、处理器阵列、网络处理器等。处理器可运行存储在存储装置之一中的指令或代码，其中，所述存储装置还可以存储数据。指令和数
据还可经由网络接口装置而通过网络被发送和接收，其中，所述网络接口装置可采用任何已知的传输协议。
125.存储装置可与处理器集成为一体，例如，将ram或闪存布置在集成电路微处理器等之内。此外，存储装置可包括独立的装置，诸如，外部盘驱动、存储阵列或任何数据库计算装置可使用的其他存储装置。存储装置和处理器可在操作上进行耦合，或者可例如通过i/o端口、网络连接等互相通信，使得处理器能够读取存储在存储装置中的文件。
126.根据本发明的示例实施例的执行机器学习任务的方法，可响应于用户的第一自然语言指令而执行与第一自然语言指令对应的机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息。因此，用户只需要执行简易的操作就可以执行机器学习任务并获得机器学习任务的执行信息，从而提升了用户体验。
127.根据本发明的示例实施例的执行机器学习任务的方法可由移动终端执行。由于用户可以随时操作移动终端来执行根据本发明的示例实施例的执行机器学习任务的方法，因此，大大提升了用户的便利性。
128.根据本发明的示例实施例的执行机器学习任务的方法，由于用户可通过方便携带的移动终端向具有较大的存储空间和较强的计算能力的计算设备发送第一自然语言指令，并通过计算设备确定与第一自然语言指令对应的机器学习任务，执行机器学习任务，并以自然语言的方式反馈机器学习任务的执行信息，因此，一方面提升了用户对于执行机器学习任务的便利性的要求，另一方面提升了用户对于执行机器学习任务的有效性(例如，仅作为示例，效率、准确性、速度)的要求。
129.根据本发明的示例实施例的执行机器学习任务的方法可在多目标预测任务中支持基于待优化的多个目标的多目标优化，因此，扩展了用户可执行机器学习任务的类型，同时增强了执行多目标预测任务的能力。
130.根据本发明的示例实施例的执行机器学习任务的方法可以以在预定时间向用户提供机器学习任务的执行信息。因此，可智能向用户提供机器学习任务的执行信息，满足客户对执行信息的需求。
131.根据本发明的示例实施例的执行机器学习任务的方法，可不在确定与第一自然语言指令对应的机器学习任务之后就立即执行机器学习任务，而是执行机器学习任务的相关信息以供用户参考或者做决定(例如，是否执行机器学习任务)。因此，可与用户形成良好的互动，提升用户体验。
132.在根据本发明的示例实施例的执行机器学习任务的方法中，不仅可以执行机器学习任务，而且还可以执行非机器学习任务，因此，可以执行各种类型的任务，满足用户的各种需求。
133.在根据本发明的示例实施例的执行机器学习任务的方法中，由于使用帕累托前沿或帕累托最优来判定不同候选机器学习模型的好坏，因此，可以简化淘汰处理并合理地淘汰不好的候选机器学习模型。
134.在根据本发明的示例实施例的从多个候选机器学习模型选择至少一个目标机器学习模型的方法中，通过多步采样或验证(即，依次增大验证数据的数据量，然后衡量候选机器学习模型的好坏，并淘汰不好的候选机器学习模型)选择至少一个目标机器学习模型，因此，可由降低求解的代价并可以快速得到良好的目标机器学习模型。
135.以上描述了本技术的各示例性实施例，应理解，上述描述仅是示例性的，并非穷尽性的，本技术不限于所披露的各示例性实施例。在不偏离本技术的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。因此，本技术的保护范围应该以权利要求的范围为准。

技术特征：
1.一种执行机器学习任务的方法，包括：接收用户的第一自然语言指令；通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；执行所述机器学习任务，并以自然语言的方式反馈所述机器学习任务的执行信息。2.如权利要求1所述的方法，其中，第一自然语言指令包括即时通信消息，其中，即时通信消息包括语音消息和文本消息中的一个或多个。3.如权利要求1所述的方法，其中，第一自然语言指令包括语音消息和文本消息中的一个或多个。4.如权利要求1所述的方法，其中，用户通过移动终端发送第一自然语言指令，所述方法由不同于所述移动终端的计算设备执行，所述移动终端将第一自然语言指令发送给所述计算设备。5.如权利要求1所述的方法，其中，以自然语言的方式反馈所述机器学习任务的执行信息包括：在执行所述机器学习任务的过程中，反馈所述机器学习任务的执行状态，其中，执行状态包括执行进度、执行机器学习任务所需的总时间和提示信息中的至少一个；和/或在所述机器学习任务完成时或者在所述机器学习任务完成之后，反馈所述机器学习任务的执行结果。6.如权利要求1所述的方法，其中，以自然语言的方式反馈所述机器学习任务的执行信息的步骤包括：发送与所述机器学习任务的执行信息相关的自然语言消息；和/或向用户提供显示所述机器学习任务的执行信息的窗口。7.如权利要求1所述的方法，其中，所述机器学习任务包括多目标预测任务，其中，执行所述机器学习任务的步骤包括：使用基于待优化的多个目标从多个候选机器学习模型中选择的至少一个目标机器学习模型执行多目标预测任务。8.一种执行机器学习任务的装置，包括：自然语言指令接收单元，接收用户的第一自然语言指令；任务确定单元，通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；任务执行单元，执行所述机器学习任务，并以自然语言的方式反馈所述机器学习任务的执行信息。9.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序在被一个或多个计算装置执行时使得所述一个或多个计算装置实现如权利要求1-7中任一项所述的方法。10.一种包括一个或多个计算装置和一个或多个存储装置的系统，所述一个或多个存储装置上记录有计算机程序，所述计算机程序在被所述一个或多个计算装置执行时使得所述一个或多个计算装置实现如权利要求1-7中任一项所述的方法。

技术总结
本申请提供一种执行机器学习任务的方法和装置。所述方法包括：接收用户的第一自然语言指令；通过解析第一自然语言指令，确定与第一自然语言指令对应的机器学习任务；执行所述机器学习任务，并以自然语言的方式反馈所述机器学习任务的执行信息。本申请可以应用于机器学习构建和应用的多种场景。学习构建和应用的多种场景。学习构建和应用的多种场景。


技术研发人员：罗远飞 谭欢 刘扬 王靖淞 邵丽玲 涂威威
受保护的技术使用者：第四范式（北京）技术有限公司
技术研发日：2021.12.31
技术公布日：2023/7/13