多场景模型训练方法、装置、计算机设备及存储介质与流程

1.本技术实施例涉及机器学习技术领域，特别涉及一种多场景模型训练方法、装置、计算机设备及存储介质。


背景技术：

2.应用程序的信息流推荐通常细分为不同的业务场景，例如关注流、热门流、热点流、小视频流等不同的推荐业务场景，以为用户提供多元化的个性化推荐体验。不同业务场景下的优化目标是类似的，比如以点击率、互动率、消费时长等目标量化评估用户对物料的偏好程度。
3.在相关技术中，提出了多场景建模的方案以适应不同业务场景下的同一个优化目标的需求，在训练时，模型接收多个场景的混合样本集合，通过捕捉不同场景的共性和差异性提高数据拟合程度；在推荐模型服务时，做到单个模型服务多个场景，实时输出某些场景中的物料预测分值，综合排序之后向用户呈现推荐内容。
4.然而，在现有的多场景模型主要关注不同场景之间的共享特征，比如共享的用户特征或者物料特征，在物料推荐领域中，训练获得的模型预测得到各个场景下的物料预测分值的准确性较低，从而使得物料推荐效果较差。


技术实现要素：

5.本技术实施例提供了一种多场景模型训练方法、装置、计算机设备及存储介质，充分考虑了不同场景下的特征贡献度的差异性，可以提高模型训练的准确性，进而提高多场景模型在不同业务场景下的预测效果。该技术方案如下：
6.一方面，提供了一种多场景模型训练方法，所述方法包括：
7.获取训练样本集，所述训练样本集中包含至少两个与业务场景相对应的训练样本子集，所述训练样本子集中每个训练样本包含场景特征样本以及所述场景特征样本在对应业务场景下的第一优化目标标签，所述场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；所述场景特征样本的对应业务场景为采集所述场景特征样本的业务场景；
8.使用所述训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中：
9.从各个训练样本子集中分别选取至少一个场景特征样本，针对选取的多个场景特征样本中任一场景特征样本，根据所述场景特征样本中的各个特征的特征向量，生成与所述场景特征样本相对应的目标特征向量，将所述目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的所述场景特征样本在至少两个业务场景下各自的优化目标预测值，其中，所述目标特征向量用于表征在所述场景特征样本的对应业务场景中所述场景特征样本中的各个特征的重要程度；
10.基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、所述各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整
所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
11.另一方面，提供了一种消息推送装置，所述装置包括：
12.样本集获取模块，用于获取训练样本集，所述训练样本集中包含至少两个与业务场景相对应的训练样本子集，所述训练样本子集中每个训练样本包含场景特征样本以及所述场景特征样本在对应业务场景下的第一优化目标标签，所述场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；所述场景特征样本的对应业务场景为采集所述场景特征样本的业务场景；
13.迭代训练模块，用于使用所述训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中：从各个训练样本子集中分别选取至少一个场景特征样本，针对选取的多个场景特征样本中任一场景特征样本，根据所述场景特征样本中的各个特征的特征向量，生成与所述场景特征样本相对应的目标特征向量，将所述目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的所述场景特征样本在至少两个业务场景下各自的优化目标预测值，其中，所述目标特征向量用于表征在所述场景特征样本的对应业务场景中所述场景特征样本中的各个特征的重要程度；基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、所述各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
14.在一种可能的实现方式中，所述迭代训练模块，包括：
15.向量拼接子模块，用于对所述场景特征样本中的各个特征的特征向量进行拼接，获得原始特征向量；
16.向量处理子模块，用于通过所述初始多场景模型的动态参数网络对所述至少两个特征中的标识类特征的特征向量进行处理，获得目标权重向量，所述目标权重向量包含各个标识类特征对应的目标权重；所述目标权重用于指示标识类特征对应的特征类型的特征在对应业务场景下的重要程度；
17.向量加权子模块，用于基于所述目标权重向量对所述原始特征向量进行加权处理，获得所述目标特征向量。
18.在一种可能的实现方式中，所述迭代训练模块，包括：
19.函数计算子模块，用于基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、以及所述各个场景特征样本在对应业务场景下的第一优化目标标签，以业务场景为单位计算各个业务场景的第一损失函数的函数值，以及，以业务场景为单位计算各个业务场景的第二损失函数的函数值；
20.参数调整子模块，用于基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
21.在一种可能的实现方式中，所述函数计算子模块，用于，
22.基于每个目标场景特征样本在对应业务场景下的优化目标预测值，以及所述每个目标场景特征样本在对应业务场景下的第一优化目标标签，计算所述每个目标场景特征样本的第一损失函数的函数值；所述目标场景特征样本是从与目标业务场景对应的训练样本
子集中采样获得的场景特征样本；所述目标业务场景是至少两个业务场景中的任意一个；
23.将所有目标场景特征样本的第一损失函数的函数值的均值确定为所述目标业务场景对应的第一损失函数的函数值。
24.在一种可能的实现方式中，所述函数计算子模块，用于，
25.以所述每个目标场景特征样本在对应业务场景下的优化目标预测值为第二优化目标标签，基于所述每个目标场景特征样本在其他业务场景下的优化目标预测值，计算获得所述每个目标场景特征样本在其他业务场景下的第二损失函数的函数值；
26.将所有目标场景特征样本在其他业务场景下的第二损失函数的函数值的均值确定为所述目标业务场景对应的第二损失函数的函数值。
27.在一种可能的实现方式中，所述参数调整子模块，用于，
28.基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，计算总损失函数的函数值；
29.基于所述总损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
30.在一种可能的实现方式中，多场景模型的预测网络包括对应于各个所述业务场景的专家层、门控单元、以及对应于各个所述业务场景的预测层；
31.所述迭代训练模块，用于，
32.通过各个专家层分别对所述目标特征向量进行特征抽取处理，获得各个专家层的输出结果；所述专家层的输出结果为所述目标特征向量的高层表征；
33.通过门控单元对所述目标特征向量进行权重提取处理，获得分别与各个专家层相对应的融合权重；
34.通过各个专家层对应的融合权重，对各个专家层的输出结果进行加权求和，获得融合特征向量；
35.将所述融合特征向量输入到各个业务场景的预测层中，获得所述场景特征样本在至少两个业务场景下各自的优化目标预测值。
36.另一方面，提供了一种计算机设备，所述计算机设备包含处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现上述的多场景模型训练方法。
37.另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述的多场景模型训练方法。
38.另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一条计算机程序，所述计算机程序由处理器加载并执行以实现上述各种可选实现方式中提供的多场景模型训练方法。
39.本技术提供的技术方案可以包括以下有益效果：
40.本技术实施例提供的多场景模型训练方法，获取包含至少两个与业务场景相对应的训练样本子集的训练样本集，基于训练样本集中的场景特征样本对初始多场景模型进行迭代训练，以在满足设定的训练完成条件后获得训练后的多场景模型；其中，在迭代训练过程中，从各个训练样本子集中分别选取的至少一个场景特征样本，对于其中任意一个场景
特征样本，基于场景特征样本对应的各个特征的特征向量，生成该场景特征样本的对应业务场景中关注度更高的特征对应的目标特征样本之后，将场景特征样本的目标特征向量输入到初始多场景模型的预测网络中，获得该初始多场景模型涉及的各个业务场景分别对应的优化目标预测值，基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、各个场景特征样本在对应业务场景下的第一优化目标标签以及预设的损失函数，对初始多场景模型的模型参数进行调整，直至满足预设的训练完成条件，得到训练后的多场景模型。通过对参与模型训练的特征基于与业务场景的相关性强弱进行筛选，使得进行模型训练的目标特征向量更有利于对应业务场景的特征提取和学习，充分考虑了不同场景下的特征贡献度的差异性，可以提高模型训练的准确性，进而提高多场景模型在不同业务场景下的预测效果。
41.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本技术。
附图说明
42.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
43.图1示出了本技术一示例性实施例提供的多场景模型训练方法的流程图；
44.图2示出了本技术一示例性实施例提供的多场景模型训练方法的流程图；
45.图3示出了本技术一示例性实施例提供的优化目标预测值获取过程的架构图；
46.图4示出了本技术一示例性实施例提供的多场景模型训练装置的方框图；
47.图5是根据一示例性实施例示出的计算机设备的结构框图；
48.图6是根据一示例性实施例示出的计算机设备的结构框图。
具体实施方式
49.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
50.如前所述，现有的多场景模型主要关注不同场景之间的共享特征，比如共享的用户特征或者物料特征，发明人在发明过程中发现，由于未考虑到不同场景下的特征贡献度的差异性，在物料推荐领域中，导致训练获得的模型预测得到各个场景下的物料预测分值的准确性较低，从而使得物料推荐效果较差。有鉴于此，本技术实施例提供了一种多场景模型，该多场景模型由共享层和场景独立塔构成，共享层使得不同场景之间的知识可以共享迁移，场景独立塔的数量则与场景数量一致，不同场景的混合数据在神经网络中前向传播时，首先经过共享层(share layer)提取出低维特征向量，然后进入各自的场景独立塔(tower layer)，最后不同的场景独立塔给出该场景下的优化目标预测值。
51.为提高训练获得的多场景模型的预测准确性，本技术实施例提供的一种多场景模型训练方法，图1示出了本技术一示例性实施例提供的多场景模型训练方法的流程图，该多场景模型训练方法可以由计算机设备执行，该计算机设备可以实现为服务器或者终端，如
图1所示，该多场景模型训练方法可以包括以下步骤：
52.步骤110，获取训练样本集，该训练样本集中包含至少两个与业务场景相对应的训练样本子集，该训练样本子集中每个训练样本包含场景特征样本以及场景特征样本在对应业务场景下的第一优化目标标签，该场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；该场景特征样本的对应业务场景为采集场景特征样本的业务场景。
53.在本技术实施例中，计算机设备基于训练样本集的训练样本进行模型迭代训练，每个场景特征样本对应有在其来源业务场景中的优化目标标签，即第一优化目标标签。各个训练样本子集中的场景特征样本数量可以相同也可以不同；示意性的，训练样本集中可以包含100个场景特征样本，其中，50个场景特征样本来源于第一业务场景，组成第一训练样本子集；30个场景特征样本来源于第二业务场景，组成第二训练样本子集；20个场景特征样本来源于第三业务场景，组成第三训练样本子集；第一训练样本子集中的各个场景特征样本具有与第一业务场景对应的第一优化目标标签，第二训练样本子集中的各个场景特征样本具有与第二业务场景对应的第一优化目标标签，第三训练样本子集中的各个场景特征样本具有与第三业务场景对应的第一优化目标标签；在本技术实施例中，该优化目标可以基于实际需求进行设定，比如，该优化目标可以是点击率、互动率、消费时长等等，本技术不对优化目标的设定进行限制。
54.步骤120，使用训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中：从各个训练样本子集中分别选取至少一个场景特征样本，针对选取的多个场景特征样本中任一场景特征样本，根据场景特征样本中的各个特征的特征向量，生成与场景特征样本相对应的目标特征向量，将目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的场景特征样本在至少两个业务场景下各自的优化目标预测值，其中，该目标特征向量用于表征在场景特征样本的对应业务场景中场景特征样本中的各个特征的重要程度。
55.在本技术实施例中，每次迭代训练使用的场景特征样本中可以包含来源于不同业务场景的训练样本子集，也就是说，单次迭代训练时的场景特征样本的数量至少与业务场景的数量相同，且单次迭代训练选取的多个场景特征样本的来源数量与业务场景数量相同。在不同的迭代训练过程中，可以选取不同的场景特征样本的组合对多场景模型进行训练，其中，该场景特征样本的组合中的各个场景特征样本可以是随机从对应的训练样本子集中抽取的，或者，也可以是按照预设的抽取顺序从对应的训练样本子集中抽取的，本技术对此不进行限制。
56.由于业务场景间具有共享特征和独立特征，手工挑选工序较为复杂，并不能覆盖到所有的特征，因此，在本技术实施例中，计算机设备可以从场景特征样本中的各个特征中自动筛选适合某一业务场景的特征，在本技术实施例中表现为对特征对应的特征向量的筛选、整合、生成与对应业务场景相适应的目标特征向量，因此，该目标特征向量用于表征在场景特征样本的对应业务场景中，场景特征样本中的各个特征的重要程度。
57.在模型训练过程中，计算机设备基于参与模型训练的特征的特征向量与业务场景的相关性强弱，对参与模型训练的特征的特征向量进行了自动筛选，从而可以使得不同业务场景选择有利于本业务场景学习的特征集合，可以使多场景模型在模型训练过程中学习到各个业务场景中的有效信息，进而提高模型训练的准确性。
58.在将场景特征样本的目标特征向量输入到初始多场景模型的预测网络中进行处理后，初始多场景模型可以输出多场景模型涉及的各个场景的优化目标预测值，其中，多场景模型涉及的场景数量可以基于实际需求进行设置；以多场景模型涉及物料推荐领域的三个场景，且优化目标为点击率为例，物料推荐领域的三个场景示意为热门推荐场景，热点推荐场景以及频道推荐场景，那么在经过多场景模型处理之后，可以获得该场景特征样本对应在热门推荐场景中的第一点击率预测值，该场景特征样本对应在热点推荐场景中的第二点击率预测值以及该场景特征样本对应在频道推荐场景中的第三点击率预测值；若该场景特征样本是从热门推荐场景中采集的样本，那么，该场景特征样本对应有热门推荐场景下的第一优化目标标签(即热门推荐场景下的点击率标签)。需要说明的是，上述对物料推荐领域的场景示例仅为示意性的，本技术对多场景模型的应用领域，对应领域中的场景数量以及场景类型不进行限制。
59.步骤130，基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
60.在本技术实施例中，在选取的各个场景特征样本均获得对应的至少两个优化目标预测值之后，计算机设备综合选取的各个场景特征样本各自的至少两个优化目标预测值以及各个训练样本在对应业务场景下的第一优化目标标签进行预设损失函数的计算，并基于损失函数的计算结果调整待训练模型(即初始多场景模型)的模型参数，直至满足设定训练完成条件，得到训练后的多场景模型；其中，该训练完成条件可以包括训练后的多场景模型的各个优化目标预测值的准确度达到各自的准确度阈值，训练后的多场景模型收敛，或者迭代次数达到次数阈值中的至少一种。其中，综合选取的各个场景特征样本的训练结果进行模型训练，可以缩短模型训练周期，提高多场景模型的适用性。
61.综上所述，本技术实施例提供的多场景模型训练方法，获取包含至少两个与业务场景相对应的训练样本子集的训练样本集，基于训练样本集中的场景特征样本对初始多场景模型进行迭代训练，以在满足设定的训练完成条件后获得训练后的多场景模型；其中，在迭代训练过程中，从各个训练样本子集中分别选取的至少一个场景特征样本，对于其中任意一个场景特征样本，基于场景特征样本对应的各个特征的特征向量，生成该场景特征样本的对应业务场景中关注度更高的特征对应的目标特征样本之后，将场景特征样本的目标特征向量输入到初始多场景模型的预测网络中，获得该初始多场景模型涉及的各个业务场景分别对应的优化目标预测值，基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、各个场景特征样本在对应业务场景下的第一优化目标标签以及预设的损失函数，对初始多场景模型的模型参数进行调整，直至满足预设的训练完成条件，得到训练后的多场景模型。通过对参与模型训练的特征基于与业务场景的相关性强弱进行筛选，使得进行模型训练的目标特征向量更有利于对应业务场景的特征提取和学习，充分考虑了不同场景下的特征贡献度的差异性，可以提高模型训练的准确性，进而提高多场景模型在不同业务场景下的预测效果。
62.图2示出了本技术一示例性实施例提供的多场景模型训练方法的流程图，该多场景模型训练方法可以由计算机设备执行，该计算机设备可以实现为服务器或者终端，如图2
所示，该多场景模型训练方法可以包括以下步骤：
63.步骤210，获取训练样本集，该训练样本集中包含至少两个与业务场景相对应的训练样本子集，该训练样本子集中每个训练样本包含场景特征样本以及场景特征样本在对应业务场景下的第一优化目标标签，该场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；该场景特征样本的对应业务场景为采集场景特征样本的业务场景。
64.训练样本集中的场景特征样本用于在模型训练设备上训练多场景模型，以供后续进行模型使用；从场景特征上进行区分，一个场景特征样本的特征可以包含场景共享特征，场景独立特征，场景标识特征以及优化目标对应的操作特征等等；以物料推荐领域为例，该场景共享特征用于表征用户属性以及物料属性；该场景独立特征包括用户在对应业务场景中的行为特征。当优化目标为点击率时，该优化目标对应的操作特征可以用于表征用户是否进行了点击操作；当优化目标为收藏率时，该优化目标对应的操作特征可以用于表征用户是否进行了收藏操作等等，本技术对此不进行限制。
65.用户属性可以包括但不限于年龄、性别、所处地域、职业等信息；物料属性可以包括但不限于物料类型、主题、作者信息等；场景标识特征用于表示场景，以确保神经网路内部场景路由机制的实现。
66.在本技术实施例中，计算机设备在获取到场景特征样本的各个特征后，可以对各个特征进行哈希映射，每个特征可以哈希映射为指定位数的二进制编码，并基于该二进制编码生成指定维度的各个特征的特征向量。示意性的，对特征进行哈希映射的过程可以实现为：在哈希空间中为每个特征分配对应的槽位，槽位号由第一位数的二进制编码表示，将该特征的特征值哈希映射为第二位数的二进制编码，将两组二进制编码拼接后得到第三位数的二进制编码以表示“特征-特征值”的组合，其中，第三位数的取值为第一位数与第二位数之和；示意性的，若第一位数为10，第二位数为54，则可以获得64位二进制编码以表示“特征-特征值”的组合，本技术对各部分的二进制编码的位数不进行限制。
67.在对特征进行二进制编码之后，对二进制编码进行转化，获得该特征对应的索引号，基于该索引号进行矩阵查表，获得该特征对应的特征向量；以64位二进制编码为例，将64位二进制编码转化为十进制的索引号后，通过该索引号对嵌入矩阵查表，将特征及其特征值共同映射为一个低维稠密向量，即特征向量；通过查表的方式进行特征向量的转化可以有效降低模型的计算开销。
68.需要说明的是，获取特征向量的方式包括但不限于上述的查表方式，示意性的，计算机设备也可以通过训练好的特征提取网络获得各个特征对应的特征向量等等。
69.步骤220，使用训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中，从各个训练样本子集中分别选取至少一个场景特征样本，针对选取的多个场景特征样本中任一场景特征样本，根据场景特征样本中的各个特征的特征向量，生成与场景特征样本相对应的目标特征向量，将目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的场景特征样本在至少两个业务场景下各自的优化目标预测值，其中，该目标特征向量用于表征在场景特征样本的对应业务场景中场景特征样本中的各个特征的重要程度。
70.场景特征样本包含的至少两个特征中包含标识类特征以及非标识类特征；其中，该标识类特征是具有标识能力的特征，用于指代对应的特征类型；示意性的，该标识类特征
可以包括用户标识特征，物料标识特征以及场景标识特征；其中，用户标识特征是基于用户id生成的特征向量，物料特征是基于物料id生成的特征向量，场景标识向量是基于业务场景的场景类型生成的特征向量；非标识类特征是指至少两个特征中除标识类特征之前的其他特征。
71.在本技术实施例中，通过对各个特征的特征向量进行加权的方式进行特征筛选，各个特征对应的权重值用于表征当前业务场景下对该特征的重要程度；根据场景特征样本中的各个特征的特征向量，生成与场景特征样本相对应的目标特征向量的过程可以实现为：
72.对场景特征样本中的各个特征的特征向量进行拼接，获得原始特征向量；
73.通过初始多场景模型的动态参数网络对至少两个特征中的标识类特征的特征向量进行处理，获得目标权重向量，该目标权重向量包含各个标识类特征对应的目标权重；该目标权重用于指示标识类特征对应的特征类型的特征在对应业务场景下的重要程度；
74.基于目标权重向量对原始特征向量进行加权处理，获得目标特征向量。
75.示意性的，一个场景特征样本的特征集合为f＝{f1，f2，
…
，fd}，其中，d表示特征的数量，每个特征都有一个对应的特征向量vi。在生成该场景特征样本对应的目标特征向量时，首先，将每个特征的特征向量拼接为原始特征向量，表示为x＝||vi；之后，将特征集合中的标识类特征的特征向量输入到动态参数网络中，获得动态参数网络输出的目标权重向量，该动态参数网络的处理过程可以表示为：
76.w＝sigmoid[fc(v
uid
||v
mid
||vd)]
[0077]
其中，目标权重向量w∈rd，其中的每个权重值表示相应特征的重要程度。基于目标权重向量对原始特征向量进行加权处理之后，可以获得目标特征向量x
′
＝||wi*vi；从而实现对各个特征在对应场景下的贡献度的自动量化，避免人工筛选的过程。
[0078]
在本技术实施例中，该多场景模型可以采用mmoe(multi-gate mixture-of-experts)结构搭建，对应的，该多场景模型的预测网络包括对应于各个业务场景的专家层、门控单元、对应于各个业务场景的预测层；以初级多场景模型对输入的目标特征向量的处理过程为例，该多场景网络模型对目标特征向量的处理过程可以实现为：
[0079]
通过各个专家层分别对目标特征向量进行特征抽取处理，获得各个专家层的输出结果；专家层的输出结果为目标特征向量的高层表征；
[0080]
通过门控单元对目标特征向量进行权重提取处理，获得分别与各个专家层相对应的融合权重；
[0081]
基于各个专家层对应的融合权重，对各个专家层的输出结果进行加权求和，获得融合特征向量；
[0082]
将融合特征向量输入到各个业务场景的预测层中，获得场景特征样本在至少两个业务场景下各自的优化目标预测值。
[0083]
其中，该专家层可以是dnn(deep neural networks，深度神经网络)，用于抽取目标特征向量的高层表征，专家层对目标特征向量的处理过程可以表示为：
[0084]fi
＝experti(x)，i＝1，2，3
…
，k
[0085]
其中，fi表示专家层的输出结果。
[0086]
门控单元用于自动进行权重提取以获得各个专家称对应的融合权重，一个门控单
元生成加权融合所需的一组权重，与各个专家层生成的向量加权求和，其结果作为该场景特征样本的高层表征。门控单元生成融合权重的过程可以表示为：
[0087]
g＝sigmoid(fc(σ[fc(x)]))
[0088]
其中，g表示融合特征向量，包含各个专家层对应的融合权重，融合权重的数量与专家层的数量保持一致，即融合权重的数量与业务场景的数量保持一致。该门控单元堆叠了两个全连接层(full connected，fc)，在层间使用了非线性激活函数，为门控单元引入非线性，用以提高其表达能力，在输出端使用sigmoid函数进行归一缩放，用以避免专家极化的现象。
[0089]
基于各个专家层对应的融合权重对各个专家层的输出结果进行加权求和的过程可以表示为：
[0090]
md＝∑gi*fi[0091]
其中，md表示场景特征样本d的表征向量，即融合特征向量。
[0092]
将md输入到各个业务场景对应的塔层(即预测层)中进行优化目标预测，塔层是由两个fc层堆叠构成的结构，经由塔层输出该场景特征样本的优化目标预测值yd，该过程可以表示为：
[0093]
yd＝p(x)＝sigmoid(fc(σ[fc(x)]))
[0094]
其中，sigmoid函数可以将神经网络输出值压缩到[0，1]的值域内，表示用户执行该优化目标对应的操作的概率值。
[0095]
图3示出了本技术一示例性实施例提供的优化目标预测值获取过程的架构图，以三个业务场景为例，如图3所示，首先获取场景特征样本310的特征，包括场景共享特征，场景独立特征、场景标识特征以及优化目标对应的操作特征等，将上述各个特征输入到共享层(即嵌入层320)，提取出各个特征的特征向量；将标识类特征的特征向量输入到动态参数网络330中，获得动态参数网络输出的目标权重向量，该目标权重向量中包含对应于各个标识类特征指示的特征类型的权重；通过该目标权重向量对由场景特征样本中的各个特征的特征向量拼接生成的原始特征向量进行加权，获得加权后的目标特征向量340，从而完成对特征的筛选，使得目标特征向量中的信息与该场景特征样本对应的业务场景相适应，即目标特征向量中的信息在该业务场景的优化目标预测中更为重要；将该目标特征向量分别输入到预测网络350的三个专家层以及门控单元中，基于门控单元输出的对应于各个专家层的融合向量对专家层各自的输出结果进行加权求和，获得融合特征向量；将该融合特征向量输入到三个业务场景各自对应的塔层，以获得各个塔层输出的该场景特征样本在各个业务场景下的优化目标预测值。
[0096]
步骤230，基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、以及各个场景特征样本在对应业务场景下的第一优化目标标签，以业务场景为单位计算各个业务场景的第一损失函数的函数值，以及，以业务场景为单位计算各个业务场景的第二损失函数的函数值。
[0097]
本技术实施例中，损失函数的计算分为两个部分，一部分是对多场景模型的预测准确性进行评估的第一损失函数，另一部分是对多场景模型的知识迁移和知识共享能力进行评估的第二损失函数；其中，该第一损失函数可以是交叉熵损失函数。
[0098]
由于在本技术中是以选取的各个场景特征样本为单位进行迭代训练的，选取的各
个场景特征样本分别来源于不同的训练样本子集，因此，在一次迭代训练过程中，可以基于选取的各个场景特征样本在对应业务场景下的优化目标预测值，以及场景特征样本在对应业务场景下的第一优化目标标签，对各个业务场景对应的网络的预测准确性进行评估，进而确定该多场景模型的预测准确性；其中，计算一个业务场景对应的第一损失函数的函数值的过程可以实现为：
[0099]
基于每个目标场景特征样本在对应业务场景下的优化目标预测值，以及每个目标场景特征样本在对应业务场景下的第一优化目标标签，计算每个目标场景特征样本的第一损失函数的函数值；该目标场景特征样本是从与目标业务场景对应的训练样本子集中采样获得的场景特征样本；该目标业务场景是至少两个业务场景中的任意一个；
[0100]
将所有目标场景特征样本的第一损失函数的函数值的均值确定为目标业务场景对应的第一损失函数的函数值。
[0101]
以第一损失函数是交叉熵损失函数为例，目标业务场景的第一损失函数的函数值的计算过程可以表示为：
[0102][0103]
其中，nd表示从目标业务场景中选取的场景特征样本的数量，d表示目标业务场景，y
true
表示场景特征样本的第一优化目标标签，yd表示场景特征样本在目标业务场景下的优化目标预测值。
[0104]
在多场景模型中存在知识迁移和知识共享，可以实现任意两个场景间的信息共享，从而实现不同场景间的知识迁移；在本技术实施例中，在损失函数计算中，引入教师-学生网络的概念，由教师网络向学生网络传输知识，本技术中，不同业务场景之间互为教师和学生，既能使场景特征样本数量较多的大业务场景带动场景特征样本数量较少的小业务场景，也能使得小业务场景弥补大业务场景的不足。其中，对于各个场景特征样本而言，可以将该场景特征样本的对应业务场景下的优化目标预测值作为教师网络的输出，对该场景特征样本在其他业务场景下的优化目标预测值作为学生网络的输出，通过教师网络对学生网络进行指导；比如，以优化目标为点击率为例，若当前场景特征样本的对应业务场景为业务场景1，即当前场景特征样本是从业务场景1中采集的，对应有业务场景1的第一点击率标签，那么在获得多场景模型输出的该场景特征样本在各个业务场景下的优化目标预测值后，可以将业务场景1对应的优化目标预测值作为教师网络的输出，将该优化目标预测值获取为业务场景1的第二优化目标标签，将除业务场景1之外的其他场景对应的优化目标预测值作为学生网络的输出，从而实现教师网络对学生网络的指导。
[0105]
在一次迭代过程中，可以以选取的各个场景特征样本为单位计算各个业务场景的第二损失函数的函数值；示意性的，计算一个业务场景对应的第二损失函数的函数值的过程可以实现为：
[0106]
以每个目标场景特征样本在对应业务场景下的优化目标预测值为第二优化目标标签，基于每个目标场景特征样本在其他业务场景下的优化目标预测值，计算获得每个目标场景特征样本在其他业务场景下的第二损失函数的函数值；
[0107]
将所有目标场景特征样本在其他业务场景下的第二损失函数的函数值的均值确定为目标业务场景对应的第二损失函数的函数值。
[0108]
该第二损失函数用于计算知识匹配损失；在多场景模型涉及两个业务场景时，目标业务场景的第二损失函数的函数值的计算过程可以表示为：
[0109][0110]
其中，p(x)表示场景特征样本x在目标业务场景下的优化目标预测值，q(x)表示场景特征样本x在另一业务场景下的优化目标预测值。
[0111]
对于多场景模型涉及两个以上业务场景的情况，在计算场景特征样本的第二损失函数的函数值时，可以将该场景特征样本在目标业务场景下的优化目标预测值分别与其他业务场景下的优化目标预测值计算第二损失函数的函数值；示意性，若多场景模型涉及三个业务场景，在计算场景特征样本的第二损失函数的函数值时，可以基于业务场景1下的优化目标预测值与业务场景2下的优化目标预测值计算一个第二损失函数的函数值，业务场景1为该场景特征样本的对应业务场景；基于业务场景1下的优化目标预测值与业务场景3下的优化目标预测值计算一个第二损失函数的函数值，以获得该场景特征样本在其他业务场景下的两个第二损失函数的函数值。
[0112]
对于目标业务场景下的各个目标场景特征样本基于上述损失函数计算方式，计算各个目标场景特征样本的在其他业务场景下的第二损失函数的函数值之后，将其均值确定为目标业务场景对应的第二损失函数的函数值，即，在以目标业务场景下的优化目标预测值作为教师网络的输出的情况下，计算获得的第二损失函数的函数值。
[0113]
步骤240，基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，调整初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
[0114]
在本技术实施例中，计算机设备可以基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，计算总损失函数的函数值；
[0115]
基于总损失函数的函数值，调整初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
[0116]
其中，总损失函数包含两个部分，第一部分用于表示多场景模型的预测准确性，另一部分用于表示多场景模型的知识迁移和知识共享能力；其中，第一部分可以是至少两个业务场景各自对应的第一损失函数的函数值之和，即：
[0117][0118]
第二部分可以是至少两个业务场景各自对应的第二损失函数的函数值加权求和，即：
[0119][0120]
其中，u
pq
表示教师-学生网络的加权权重，不同的教师-学生网络组合对应的加权
权重可以相同也可以不同，该加权权重的数值可以基于实际情况进行调整。
[0121]
该总损失函数可以表示为：
[0122]
loss
total
＝l
bce
+l
kt
[0123]
以基于该总损失函数的函数值对初始多场景模型的参数进行调整，即对初始多场景模型中的动态参数网络以及预测网络中的网络参数进行调整，直至满足设定的收敛条件，获得训练好的多场景网络模型；该多场景网络模型可以执行多场景预测任务，示意性的，该过程可以包括：
[0124]
获取场景特征集合；该场景特征集合包含场景共享特征，场景独立特征，场景标识特征；
[0125]
将该场景特征集合输入到多场景网络模型中，获得该多场景网络模型输出的至少两个业务场景对应的优化目标预测值。
[0126]
其中，该场景共享特征中包含用户属性以及物料属性。在此情况下，至少两个业务场景对应的优化目标预测值可以表征在各个业务场景中，该用户对该物料进行优化目标对应的操作的概率；之后，可以基于至少两个业务场景对应的优化目标预测值对各个业务场景下的物料推荐进行指导。
[0127]
综上所述，本技术实施例提供的多场景模型训练方法，获取包含至少两个与业务场景相对应的训练样本子集的训练样本集，基于训练样本集中的场景特征样本对初始多场景模型进行迭代训练，以在满足设定的训练完成条件后获得训练后的多场景模型；其中，在迭代训练过程中，从各个训练样本子集中分别选取的至少一个场景特征样本，对于其中任意一个场景特征样本，基于场景特征样本对应的各个特征的特征向量，生成该场景特征样本的对应业务场景中关注度更高的特征对应的目标特征样本之后，将场景特征样本的目标特征向量输入到初始多场景模型的预测网络中，获得该初始多场景模型涉及的各个业务场景分别对应的优化目标预测值，基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、各个场景特征样本在对应业务场景下的第一优化目标标签以及预设的损失函数，对初始多场景模型的模型参数进行调整，直至满足预设的训练完成条件，得到训练后的多场景模型。通过对参与模型训练的特征基于与业务场景的相关性强弱进行筛选，使得进行模型训练的目标特征向量更有利于对应业务场景的特征提取和学习，充分考虑了不同场景下的特征贡献度的差异性，可以提高模型训练的准确性，进而提高多场景模型在不同业务场景下的预测效果。
[0128]
图4示出了本技术一示例性实施例提供的多场景模型训练装置的方框图，该装置可以执行如图1或图2所示实施例中的全部或部分步骤，如图4所示，该多场景模型训练装置可以包括：
[0129]
样本集获取模块410，用于获取训练样本集，所述训练样本集中包含至少两个与业务场景相对应的训练样本子集，所述训练样本子集中每个训练样本包含场景特征样本以及所述场景特征样本在对应业务场景下的第一优化目标标签，所述场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；所述场景特征样本的对应业务场景为采集所述场景特征样本的业务场景；
[0130]
迭代训练模块420，用于使用所述训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中：从各个训练样本子集中分别选取至少一个场景特征样本，针对选取
的多个场景特征样本中任一场景特征样本，根据所述场景特征样本中的各个特征的特征向量，生成与所述场景特征样本相对应的目标特征向量，将所述目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的所述场景特征样本在至少两个业务场景下各自的优化目标预测值，其中，所述目标特征向量用于表征在所述场景特征样本的对应业务场景中所述场景特征样本中的各个特征的重要程度；基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、所述各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
[0131]
在一种可能的实现方式中，所述迭代训练模块420，包括：
[0132]
向量拼接子模块，用于对所述场景特征样本中的各个特征的特征向量进行拼接，获得原始特征向量；
[0133]
向量处理子模块，用于通过所述初始多场景模型的动态参数网络对所述至少两个特征中的标识类特征的特征向量进行处理，获得目标权重向量，所述目标权重向量包含各个标识类特征对应的目标权重；所述目标权重用于指示标识类特征对应的特征类型的特征在对应业务场景下的重要程度；
[0134]
向量加权子模块，用于基于所述目标权重向量对所述原始特征向量进行加权处理，获得所述目标特征向量。
[0135]
在一种可能的实现方式中，所述迭代训练模块420，包括：
[0136]
函数计算子模块，用于基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、以及所述各个场景特征样本在对应业务场景下的第一优化目标标签，以业务场景为单位计算各个业务场景的第一损失函数的函数值，以及，以业务场景为单位计算各个业务场景的第二损失函数的函数值；
[0137]
参数调整子模块，用于基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
[0138]
在一种可能的实现方式中，所述函数计算子模块，用于，
[0139]
基于每个目标场景特征样本在对应业务场景下的优化目标预测值，以及所述每个目标场景特征样本在对应业务场景下的第一优化目标标签，计算所述每个目标场景特征样本的第一损失函数的函数值；所述目标场景特征样本是从与目标业务场景对应的训练样本子集中采样获得的场景特征样本；所述目标业务场景是至少两个业务场景中的任意一个；
[0140]
将所有目标场景特征样本的第一损失函数的函数值的均值确定为所述目标业务场景对应的第一损失函数的函数值。
[0141]
在一种可能的实现方式中，所述函数计算子模块，用于，
[0142]
以所述每个目标场景特征样本在对应业务场景下的优化目标预测值为第二优化目标标签，基于所述每个目标场景特征样本在其他业务场景下的优化目标预测值，计算获得所述每个目标场景特征样本在其他业务场景下的第二损失函数的函数值；
[0143]
将所有目标场景特征样本在其他业务场景下的第二损失函数的函数值的均值确定为所述目标业务场景对应的第二损失函数的函数值。
[0144]
在一种可能的实现方式中，所述参数调整子模块，用于，
[0145]
基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，计算总损失函数的函数值；
[0146]
基于所述总损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。
[0147]
在一种可能的实现方式中，多场景模型的预测网络包括对应于各个所述业务场景的专家层、门控单元、以及对应于各个所述业务场景的预测层；
[0148]
所述迭代训练模块，用于，
[0149]
通过各个专家层分别对所述目标特征向量进行特征抽取处理，获得各个专家层的输出结果；所述专家层的输出结果为所述目标特征向量的高层表征；
[0150]
通过门控单元对所述目标特征向量进行权重提取处理，获得分别与各个专家层相对应的融合权重；
[0151]
通过各个专家层对应的融合权重，对各个专家层的输出结果进行加权求和，获得融合特征向量；
[0152]
将所述融合特征向量输入到各个业务场景的预测层中，获得所述场景特征样本在至少两个业务场景下各自的优化目标预测值。
[0153]
综上所述，本技术实施例提供的多场景模型训练装置，通过获取包含至少两个与业务场景相对应的训练样本子集的训练样本集，基于训练样本集中的场景特征样本对初始多场景模型进行迭代训练，以在满足设定的训练完成条件后获得训练后的多场景模型；其中，在迭代训练过程中，从各个训练样本子集中分别选取的至少一个场景特征样本，对于其中任意一个场景特征样本，基于场景特征样本对应的各个特征的特征向量，生成该场景特征样本的对应业务场景中关注度更高的特征对应的目标特征样本之后，将场景特征样本的目标特征向量输入到初始多场景模型的预测网络中，获得该初始多场景模型涉及的各个业务场景分别对应的优化目标预测值，基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、各个场景特征样本在对应业务场景下的第一优化目标标签以及预设的损失函数，对初始多场景模型的模型参数进行调整，直至满足预设的训练完成条件，得到训练后的多场景模型。通过对参与模型训练的特征基于与业务场景的相关性强弱进行筛选，使得进行模型训练的目标特征向量更有利于对应业务场景的特征提取和学习，充分考虑了不同场景下的特征贡献度的差异性，可以提高模型训练的准确性，进而提高多场景模型在不同业务场景下的预测效果。
[0154]
图5示出了本技术一示例性实施例示出的计算机设备500的结构框图。该计算机设备可以实现为本技术上述方案中的服务器。所述计算机设备500包括中央处理单元(central processing unit，cpu)501、包括随机存取存储器(random access memory，ram)502和只读存储器(read-only memory，rom)503的系统存储器504，以及连接系统存储器504和中央处理单元501的系统总线505。所述计算机设备500还包括用于存储操作系统509、应用程序510和其他程序模块511的大容量存储设备506。
[0155]
不失一般性，所述计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以用于存储诸如计算机可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机存储介质包括ram、rom、可擦除可编程只读寄存器(erasable programmable read only memory，eprom)、
电子抹除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)闪存或其他固态存储其技术，cd-rom、数字多功能光盘(digital versatiledisc，dvd)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知所述计算机存储介质不局限于上述几种。上述的系统存储器504和大容量存储设备506可以统称为存储器。
[0156]
根据本技术的各种实施例，所述计算机设备500还可以通过诸如因特网等网络连接到网络上的远程计算机运行。也即计算机设备500可以通过连接在所述系统总线505上的网络接口单元507连接到网络508，或者说，也可以使用网络接口单元507来连接到其他类型的网络或远程计算机系统(未示出)。
[0157]
所述存储器还包括至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集存储于存储器中，中央处理器501通过执行该至少一条指令、至少一段程序、代码集或指令集来实现上述各个实施例所示的多场景模型训练方法中的全部或部分步骤。
[0158]
图6示出了本技术一个示例性实施例示出的计算机设备600的结构框图。该计算机设备600可以实现为上述的终端，比如：智能手机、平板电脑、笔记本电脑、台式电脑、智能手表及电视等。计算机设备600还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0159]
通常，计算机设备600包括有：处理器601和存储器602。
[0160]
在一些实施例中，计算机设备600还可选包括有：外围设备接口603和至少一个外围设备。处理器601、存储器602和外围设备接口603之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口603相连。具体地，外围设备包括：射频电路604、显示屏605、摄像头组件606、音频电路607和电源608中的至少一种。
[0161]
在一些实施例中，计算机设备600还包括有一个或多个传感器609。该一个或多个传感器609包括但不限于：加速度传感器610、陀螺仪传感器611、压力传感器612、光学传感器613以及接近传感器614。
[0162]
本领域技术人员可以理解，图6中示出的结构并不构成对计算机设备600的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0163]
在一示例性实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条计算机程序，该计算机程序由处理器加载并执行以实现上述多场景模型训练方法中的全部或部分步骤。例如，该计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、只读光盘(compact disc read-onlymemory，cd-rom)、磁带、软盘和光数据存储设备等。
[0164]
在一示例性实施例中，还提供了一种计算机程序产品，该计算机程序产品包括至少一条计算机程序，该计算机程序由处理器加载并执行上述图1或图2任一实施例所示的多场景模型训练方法的全部或部分步骤。
[0165]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的
权利要求指出。
[0166]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求来限制。

技术特征：
1.一种多场景模型训练方法，其特征在于，所述方法包括：获取训练样本集，所述训练样本集中包含至少两个与业务场景相对应的训练样本子集，所述训练样本子集中每个训练样本包含场景特征样本以及所述场景特征样本在对应业务场景下的第一优化目标标签，所述场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；所述场景特征样本的对应业务场景为采集所述场景特征样本的业务场景；使用所述训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中：从各个训练样本子集中分别选取至少一个场景特征样本，针对选取的多个场景特征样本中任一场景特征样本，根据所述场景特征样本中的各个特征的特征向量，生成与所述场景特征样本相对应的目标特征向量，将所述目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的所述场景特征样本在至少两个业务场景下各自的优化目标预测值，其中，所述目标特征向量用于表征在所述场景特征样本的对应业务场景中所述场景特征样本中的各个特征的重要程度；基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、所述各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。2.根据权利要求1所述的方法，其特征在于，所述根据所述场景特征样本中的各个特征的特征向量，生成与所述场景特征样本相对应的目标特征向量，包括：对所述场景特征样本中的各个特征的特征向量进行拼接，获得原始特征向量；通过所述初始多场景模型的动态参数网络对所述至少两个特征中的标识类特征的特征向量进行处理，获得目标权重向量，所述目标权重向量包含各个标识类特征对应的目标权重；所述目标权重用于指示标识类特征对应的特征类型的特征在对应业务场景下的重要程度；基于所述目标权重向量对所述原始特征向量进行加权处理，获得所述目标特征向量。3.根据权利要求1所述的方法，其特征在于，所述基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、所述各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型，包括：基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、以及所述各个场景特征样本在对应业务场景下的第一优化目标标签，以业务场景为单位计算各个业务场景的第一损失函数的函数值，以及，以业务场景为单位计算各个业务场景的第二损失函数的函数值；基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。4.根据权利要求3所述的方法，其特征在于，所述以业务场景为单位计算各个业务场景的第一损失函数的函数值，包括：基于每个目标场景特征样本在对应业务场景下的优化目标预测值，以及所述每个目标场景特征样本在对应业务场景下的第一优化目标标签，计算所述每个目标场景特征样本的第一损失函数的函数值；所述目标场景特征样本是从与目标业务场景对应的训练样本子集中采样获得的场景特征样本；所述目标业务场景是至少两个业务场景中的任意一个；
将所有目标场景特征样本的第一损失函数的函数值的均值确定为所述目标业务场景对应的第一损失函数的函数值。5.根据权利要求4所述的方法，其特征在于，所述以业务场景为单位计算各个业务场景的第二损失函数的函数值，包括：以所述每个目标场景特征样本在对应业务场景下的优化目标预测值为第二优化目标标签，基于所述每个目标场景特征样本在其他业务场景下的优化目标预测值，计算获得所述每个目标场景特征样本在其他业务场景下的第二损失函数的函数值；将所有目标场景特征样本在其他业务场景下的第二损失函数的函数值的均值确定为所述目标业务场景对应的第二损失函数的函数值。6.根据权利要求3所述的方法，其特征在于，所述基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型，包括：基于各个业务场景的第一损失函数的函数值以及第二损失函数的函数值，计算总损失函数的函数值；基于所述总损失函数的函数值，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。7.根据权利要求1所述的方法，其特征在于，多场景模型的预测网络包括对应于各个业务场景的专家层、门控单元、以及对应于各个业务场景的预测层；所述将所述目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的所述场景特征样本在至少两个业务场景下各自的优化目标预测值，包括：通过各个专家层分别对所述目标特征向量进行特征抽取处理，获得各个专家层的输出结果；所述专家层的输出结果为所述目标特征向量的高层表征；通过门控单元对所述目标特征向量进行权重提取处理，获得分别与各个专家层相对应的融合权重；通过各个专家层对应的融合权重，对各个专家层的输出结果进行加权求和，获得融合特征向量；将所述融合特征向量输入到各个业务场景的预测层中，获得所述场景特征样本在至少两个业务场景下各自的优化目标预测值。8.一种多场景模型的训练装置，其特征在于，所述装置包括：样本集获取模块，用于获取训练样本集，所述训练样本集中包含至少两个与业务场景相对应的训练样本子集，所述训练样本子集中每个训练样本包含场景特征样本以及所述场景特征样本在对应业务场景下的第一优化目标标签，所述场景特征样本中包含至少两个特征，每个特征具有对应的特征向量；所述场景特征样本的对应业务场景为采集所述场景特征样本的业务场景；迭代训练模块，用于使用所述训练样本集对初始多场景模型进行迭代训练，在每次迭代训练过程中：从各个训练样本子集中分别选取至少一个场景特征样本，针对选取的多个场景特征样本中任一场景特征样本，根据所述场景特征样本中的各个特征的特征向量，生成与所述场景特征样本相对应的目标特征向量，将所述目标特征向量输入到初始多场景模型的预测网络中进行优化目标预测处理，获得输出的所述场景特征样本在至少两个业务场
景下各自的优化目标预测值，其中，所述目标特征向量用于表征在所述场景特征样本的对应业务场景中所述场景特征样本中的各个特征的重要程度；基于选取的各个场景特征样本在至少两个业务场景下各自的优化目标预测值、所述各个场景特征样本在对应业务场景下的第一优化目标标签、以及预设的损失函数，调整所述初始多场景模型的模型参数，直至满足设定的训练完成条件得到训练后的多场景模型。9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器，所述存储器存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行以实现如权利要求1至7任一所述的多场景模型训练方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条计算机程序，所述计算机程序由处理器加载并执行以实现如权利要求1至7任一所述的多场景模型训练方法。

技术总结
本申请涉及一种多场景模型训练方法、装置、计算机设备及存储介质，涉及机器学习技术领域。该方法包括：获取包含至少两个与业务场景相对应的训练样本子集的训练样本集；使用训练样本集对模型进行迭代训练，在每次迭代过程中：从各个训练样本子集中分别选取至少一个场景特征样本，针对任一场景特征样本，根据场景特征样本中的各个特征的特征向量，生成与场景特征样本相对应的目标特征向量，将目标特征向量输入到模型的预测网络中，获得至少两个优化目标预测值；基于各个场景特征样本的第一优化目标标签、在各个业务场景下的优化目标预测值、以及损失函数，调整模型参数，以得到训练后的多场景模型。通过上述方法，可以提高模型训练的准确性。练的准确性。练的准确性。


技术研发人员：林中平 李亚辉 高家华
受保护的技术使用者：微梦创科网络科技（中国）有限公司
技术研发日：2023.06.05
技术公布日：2023/8/24