一种数据的处理方法、装置以及存储介质与流程

未命名 07-23 阅读:65 评论:0


1.本技术涉及计算机技术领域,尤其涉及一种数据的处理方法、装置以及存储介质。


背景技术:

2.随着深度学习算法技术的演进,模型训练优化的迭代时间成本、算力消耗成本也显著提高,而实际应用场景中、难免会发现产生新的坏例(badcase)样本是现有模型能力所不能覆盖的,为此如何迭代优化出适配于badcase的模型版本,成为一个亟待解决的问题。
3.一般,可以模型原有训练数据集的基础上,通过正负匹配样本对的扩充,对模型进行重训练。
4.但是,由于重训练的过程对应的训练数据规模庞大、且会不断增加,会浪费较大的算力资源和时间资源,影响训练优化的效率。


技术实现要素:

5.有鉴于此,本技术提供一种数据的处理方法,可以有效提高训练优化的效率。
6.本技术第一方面提供一种数据的处理方法,可以应用于终端设备中包含数据的处理功能的系统或程序中,具体包括:获取推荐模型在执行推荐任务时指示的坏例样本;根据所述坏例样本生成对应的正样本与负样本,以结合所述坏例样本、所述正样本和所述负样本生成样本三元组;对所述推荐模型的主干网络进行参数冻结,所述主干网络包括多个处理分支,所述处理分支分别关联了相应的投影矩阵;根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵;响应于所述推荐任务中的目标内容输入所述推荐模型,获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,所述输出特征用于指示所述推荐任务的执行。
7.可选的,在本技术一些可能的实现方式中,所述根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵,包括:将所述样本三元组中的样本输入所述推荐模型中的主干网络,以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量;确定所述第一向量和所述第二向量之间的正向距离,以及所述第一向量和所述第三向量之间的反向距离;将所述正向距离和所述反向距离作为距离参数,配置所述投影矩阵对应的距离损失函数;获取所述投影矩阵对应的训练目标,所述训练目标用于指示通过减小所述正向距离,并增大所述反向距离,将所述第一向量指示的排序位置调整到预设位置;基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练,得到所述目
标矩阵。
8.可选的,在本技术一些可能的实现方式中,所述通过减小所述第一向量和所述第二向量之间的距离,并增大所述第一向量和所述第三向量之间的距离配置距离损失函数,包括:获取针对于所述样本三元组配置的边缘项;基于所述边缘项对正向距离和反向距离之间的差值进行约束,以配置所述距离损失函数,所述正向距离为所述第一向量和所述第二向量之间的距离,所述反向距离为所述第一向量和所述第三向量之间的距离。
9.可选的,在本技术一些可能的实现方式中,所述基于所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵,包括:基于所述投影矩阵与所述主干网络对应的单位矩阵的差异配置正则化因子;根据所述正则化因子对所述距离损失函数进行调整,以基于调整后的所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵。
10.可选的,在本技术一些可能的实现方式中,所述方法还包括:获取用于对所述推荐模型进行验证的验证集;响应于对所述投影矩阵进行参数调整,基于预设周期调用所述推荐模型对所述验证集进行识别,以得到结果统计信息;若所述结果统计信息中的统计参数达到停止阈值,则停止对所述投影矩阵进行参数调整。
11.可选的,在本技术一些可能的实现方式中,所述获取推荐模型在执行推荐任务时指示的坏例样本,包括:对所述推荐模型在执行所述推荐任务时对应的内容匹配度进行检测;若所述内容匹配度低于预设匹配度,则获取所述内容匹配度对应的任务样本至坏例集合;基于所述坏例集合中任务样本的数量,从所述坏例集合中获取所述任务样本,以得到所述坏例样本。
12.可选的,在本技术一些可能的实现方式中,所述方法还包括:获取所述推荐模型配置的多个任务平台;响应于召回操作,从所述任务平台中进行样本召回,以得到扩展样本;基于所述扩展样本对所述坏例集合进行更新。
13.可选的,在本技术一些可能的实现方式中,所述响应于召回操作,从所述任务平台中进行样本召回,以得到扩展样本,包括:获取所述推荐模型在执行推荐任务时收集的媒体内容的统计参数;若所述统计参数低于统计阈值,则触发所述召回操作;响应于所述召回操作,从所述任务平台中进行样本召回,以得到扩展样本。
14.可选的,在本技术一些可能的实现方式中,所述主干网络中的处理分支为第一内容分支和第二内容分支,所述获取所述推荐模型的主干网络输出的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,包括:获取所述推荐模型在所述第一内容分支输出的第一内容向量;
获取所述推荐模型在所述第二内容分支输出的第二内容向量;将所述第一内容向量和所述第一内容分支对应的目标矩阵进行矩阵计算,以得到第一输出特征;将所述第二内容向量和所述第二内容分支对应的目标矩阵进行矩阵计算,以得到第二输出特征;对所述第一输出特征和所述第二输出特征的余弦相似度进行计算,以得到匹配信息,所述匹配信息用于指示所述推荐任务的执行。
15.可选的,在本技术一些可能的实现方式中,所述获取所述推荐模型在所述第一内容分支输出的第一内容向量,包括:将待处理文本输入所述推荐模型中的第一内容分支,以确定所述待处理文本中的文本标题和文本内容;对所述文本标题进行编码,以得到第一文本向量;对所述文本内容进行编码,以得到第二文本向量;将所述第一文本向量和所述第二文本向量进行融合,以得到所述第一内容向量。
16.可选的,在本技术一些可能的实现方式中,所述获取所述推荐模型在所述第二内容分支输出的第二内容向量,包括:将待处理广告输入所述推荐模型中的第二内容分支,以确定所述待处理广告中的广告文本和广告图片;对所述广告文本进行编码,以得到第三文本向量;对所述广告图片进行编码,以得到图片向量;将所述第三文本向量和所述图片向量进行融合,以得到所述第二内容向量。
17.可选的,在本技术一些可能的实现方式中,所述方法还包括:将目标矩阵配置在推荐任务的链路侧;响应于所述目标矩阵在所述链路侧的配置,将所述推荐任务对应的存量特征接入所述目标矩阵,以执行所述存量特征对应的推荐操作。
18.本技术第二方面提供一种数据的处理装置,包括:获取单元,用于获取推荐模型在执行推荐任务时指示的坏例样本;生成单元,用于根据所述坏例样本生成对应的正样本与负样本,以结合所述坏例样本、所述正样本和所述负样本生成样本三元组;处理单元,用于对所述推荐模型的主干网络进行参数冻结,所述主干网络包括多个处理分支,所述处理分支分别关联了相应的投影矩阵;所述处理单元,还用于根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵;所述处理单元,还用于响应于所述推荐任务中的目标内容输入所述推荐模型,获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,所述输出特征用于指示所述推荐任务的执行。
19.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于将所述样本三元组中的样本输入所述推荐模型中的主干网络,以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量;
所述处理单元,具体用于确定所述第一向量和所述第二向量之间的正向距离,以及所述第一向量和所述第三向量之间的反向距离;所述处理单元,具体用于将所述正向距离和所述反向距离作为距离参数,配置所述投影矩阵对应的距离损失函数;所述处理单元,具体用于获取所述投影矩阵对应的训练目标,所述训练目标用于指示通过减小所述正向距离,并增大所述反向距离,将所述第一向量指示的排序位置调整到预设位置;所述处理单元,具体用于基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练,得到所述目标矩阵。
20.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于获取针对于所述样本三元组配置的边缘项;所述处理单元,具体用于基于所述边缘项对正向距离和反向距离之间的差值进行约束,以配置所述距离损失函数,所述正向距离为所述第一向量和所述第二向量之间的距离,所述反向距离为所述第一向量和所述第三向量之间的距离。
21.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于基于所述投影矩阵与所述主干网络对应的单位矩阵的差异配置正则化因子;所述处理单元,具体用于根据所述正则化因子对所述距离损失函数进行调整,以基于调整后的所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵。
22.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于获取用于对所述推荐模型进行验证的验证集;所述处理单元,具体用于响应于对所述投影矩阵进行参数调整,基于预设周期调用所述推荐模型对所述验证集进行识别,以得到结果统计信息;所述处理单元,具体用于若所述结果统计信息中的统计参数达到停止阈值,则停止对投影矩阵进行参数调整。
23.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于对所述推荐模型在执行所述推荐任务时对应的内容匹配度进行检测;所述处理单元,具体用于若所述内容匹配度低于预设匹配度,则获取所述内容匹配度对应的任务样本至坏例集合;所述处理单元,具体用于基于所述坏例集合中任务样本的数量,从所述坏例集合中获取所述任务样本,以得到所述坏例样本。
24.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于获取所述推荐模型配置的多个任务平台;所述处理单元,具体用于响应于召回操作,从所述任务平台中进行样本召回,以得到扩展样本;所述处理单元,具体用于基于所述扩展样本对所述坏例集合进行更新。
25.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于获取所述推荐模型在执行推荐任务时收集的媒体内容的统计参数;所述处理单元,具体用于若所述统计参数低于统计阈值,则触发所述召回操作;所述处理单元,具体用于响应于所述召回操作,从所述任务平台中进行样本召回,
以得到扩展样本。
26.可选的,在本技术一些可能的实现方式中,所述主干网络包含第一内容分支和第二内容分支,所述处理单元,具体用于获取所述推荐模型在所述第一内容分支输出的第一内容向量;所述处理单元,具体用于获取所述推荐模型在所述第二内容分支输出的第二内容向量;所述处理单元,具体用于将所述第一内容向量和所述第一内容分支对应的目标矩阵进行矩阵计算,以得到第一输出特征;所述处理单元,具体用于将所述第二内容向量和所述第二内容分支对应的目标矩阵进行矩阵计算,以得到第二输出特征;所述处理单元,具体用于对所述第一输出特征和所述第二输出特征的余弦相似度进行计算,以得到匹配信息,所述匹配信息用于指示所述推荐任务的执行。
27.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于将待处理文本输入所述推荐模型中的第一内容分支,以确定所述待处理文本中的文本标题和文本内容;所述处理单元,具体用于对所述文本标题进行编码,以得到第一文本向量;所述处理单元,具体用于对所述文本内容进行编码,以得到第二文本向量;所述处理单元,具体用于将所述第一文本向量和所述第二文本向量进行融合,以得到所述第一内容向量。
28.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于将待处理广告输入所述推荐模型中的第二内容分支,以确定所述待处理广告中的广告文本和广告图片;所述处理单元,具体用于对所述广告文本进行编码,以得到第三文本向量;所述处理单元,具体用于对所述广告图片进行编码,以得到图片向量;所述处理单元,具体用于将所述第三文本向量和所述图片向量进行融合,以得到所述第二内容向量。
29.可选的,在本技术一些可能的实现方式中,所述处理单元,具体用于将目标矩阵配置在推荐任务的链路侧;所述处理单元,具体用于响应于所述目标矩阵在所述链路侧的配置,将所述推荐任务对应的存量特征接入所述目标矩阵,以执行所述存量特征对应的推荐操作。
30.本技术第三方面提供一种计算机设备,包括:存储器、处理器以及总线系统;所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的数据的处理方法。
31.本技术第四方面提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面或第一方面任一项所述的数据的处理方法。
32.根据本技术的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的数据的处理方法。
33.从以上技术方案可以看出,本技术实施例具有以下优点:通过获取推荐模型在执行推荐任务时指示的坏例样本;然后根据坏例样本生成对应的正样本与负样本,以结合坏例样本、正样本和负样本生成样本三元组;并对推荐模型的主干网络进行参数冻结,该主干网络包括多个处理分支,该处理分支分别关联了相应的投影矩阵;然后根据样本三元组对投影矩阵进行训练,以得到目标矩阵;进而响应于推荐任务中的目标内容输入推荐模型,获取推荐模型的主干网络输出的特征向量,以基于特征向量和目标矩阵确定输出特征,输出特征用于指示推荐任务的执行。从而实现推荐模型基于坏例样本进行快速调整的过程,由于在对推荐模型调整过程中对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。
附图说明
34.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
35.图1为数据的处理系统运行的网络架构图;图2为本技术实施例提供的一种数据的处理的流程架构图;图3为本技术实施例提供的一种数据的处理方法的流程图;图4为本技术实施例提供的一种数据的处理方法的场景示意图;图5为本技术实施例提供的另一种数据的处理方法的场景示意图;图6为本技术实施例提供的另一种数据的处理方法的场景示意图;图7为本技术实施例提供的另一种数据的处理方法的场景示意图;图8为本技术实施例提供的另一种数据的处理方法的场景示意图;图9为本技术实施例提供的另一种数据的处理方法的场景示意图;图10为本技术实施例提供的另一种数据的处理方法的流程图;图11为本技术实施例提供的一种数据的处理装置的结构示意图;图12为本技术实施例提供的一种终端设备的结构示意图;图13为本技术实施例提供的一种服务器的结构示意图。
实施方式
36.本技术实施例提供了一种数据的处理方法以及相关装置,可以应用于终端设备中包含数据的处理功能的系统或程序中,通过获取推荐模型在执行推荐任务时指示的坏例样本;然后根据坏例样本生成对应的正样本与负样本,以结合坏例样本、正样本和负样本生成样本三元组;并对推荐模型的主干网络进行参数冻结,该主干网络包括多个处理分支,该处理分支分别关联了相应的投影矩阵;然后根据样本三元组对投影矩阵进行训练,以得到目标矩阵;进而响应于推荐任务中的目标内容输入推荐模型,获取推荐模型的主干网络输出的特征向量,以基于特征向量和目标矩阵确定输出特征,输出特征用于指示推荐任务的执行,从而实现推荐模型基于坏例样本进行快速调整的过程。由于在对推荐模型调整过程中
对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。
37.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本技术的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“对应于”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
38.应理解,本技术提供的数据的处理方法可以应用于终端设备中包含数据的处理功能的系统或程序中,例如广告管理应用,具体的,数据的处理系统可以运行于如图1所示的网络架构中,如图1所示,是数据的处理系统运行的网络架构图,如图可知,数据的处理系统可以提供与多个信息源的数据的处理过程,即通过终端侧的触发操作使得服务器对配置的推荐模型进行针对于坏例样本的优化;可以理解的是,图1中示出了多种终端设备,终端设备可以为计算机设备,在实际场景中可以有更多或更少种类的终端设备参与到数据的处理的过程中,具体数量和种类因实际场景而定,此处不做限定,另外,图1中示出了一个服务器,但在实际场景中,也可以有多个服务器的参与,具体服务器数量因实际场景而定。
39.本实施例中,服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、智能语音交互设备、智能家电、车载终端等,但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接,终端以及服务器可以连接组成区块链网络,本技术在此不做限制。
40.可以理解的是,上述数据的处理系统可以运行于个人移动终端,例如:作为广告管理应用这样的应用,也可以运行于服务器,还可以作为运行于第三方设备以提供数据的处理,以得到信息源的数据的处理处理结果;具体的数据的处理系统可以是以一种程序的形式在上述设备中运行,也可以作为上述设备中的系统部件进行运行,还可以作为云端服务程序的一种,本实施例可应用于云技术、自动驾驶等场景,具体运作模式因实际场景而定,此处不做限定。
41.随着深度学习算法技术的演进,模型训练优化的迭代时间成本、算力消耗成本也显著提高,而实际应用场景中、难免会发现产生新的坏例(badcase)样本是现有模型能力所不能覆盖的,为此如何迭代优化出适配于badcase的模型版本,成为一个亟待解决的问题。
42.一般,可以模型原有训练数据集的基础上,通过正负匹配样本对的扩充,对模型进行重训练。
43.但是,由于重训练的过程对应的训练数据规模庞大、且会不断增加,会浪费较大的算力资源和时间资源,影响训练优化的效率。
44.为了解决上述问题,本技术提出了一种数据的处理方法,该方法应用于图2所示的数据的处理的流程框架中,如图2所示,为本技术实施例提供的一种数据的处理的流程架构
图,通过终端侧对于推荐内容的交互操作,使得服务器可以收集到坏例样本,从而进行三元组的构建,以得到小样本训练数据集,然后通过冻结多模态匹配模型的主干网络参数,新增训练学习特征向量的投影矩阵;并在多模态匹配模型推理阶段,将投影矩阵衔接到主干网络的尾部,实现了多模态匹配模型特征矫正,进而实现了模型针对坏例样本的性能优化。
45.可以理解的是,本技术所提供的方法可以为一种程序的写入,以作为硬件系统中的一种处理逻辑,也可以作为一种数据的处理装置,采用集成或外接的方式实现上述处理逻辑。作为一种实现方式,该数据的处理装置通过获取推荐模型在执行推荐任务时指示的坏例样本;然后根据坏例样本生成对应的正样本与负样本,以结合坏例样本、正样本和负样本生成样本三元组;并对推荐模型的主干网络进行参数冻结,该主干网络包括多个处理分支,该处理分支分别关联了相应的投影矩阵;然后根据样本三元组对投影矩阵进行训练,以得到目标矩阵;进而响应于推荐任务中的目标内容输入推荐模型,获取推荐模型的主干网络输出的特征向量,以基于特征向量和目标矩阵确定输出特征,输出特征用于指示推荐任务的执行。从而实现推荐模型基于坏例样本进行快速调整的过程,由于在对推荐模型调整过程中对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。
46.本技术实施例提供的方案涉及人工智能的深度学习技术,具体通过如下实施例进行说明:结合上述流程架构,下面将对本技术中数据的处理方法进行介绍,请参阅图3,图3为本技术实施例提供的一种数据的处理方法的流程图,该处理方法可以是由服务器或终端执行的,本技术实施例至少包括以下步骤:301、获取推荐模型在执行推荐任务时指示的坏例样本。
47.本实施例中,推荐任务可以是广告推荐任务,例如在文本或视频中插入广告;也可以是内容匹配任务,例如基于用户的历史播放记录进行相关媒体内容的推荐;具体的推荐内容因实际场景而定,此处以广告推荐为例进行说明。
48.具体的,搭载推荐任务的推荐模型包括用于输入层、特征提取层以及输出层,该输入层用于内容数据的输入,特征提取层可以称为主干网络,用于对输入的内容数据进行特征提取,而输出层则用于输出根据提取特征所得的匹配结果或相似度。
49.可以理解的是,由于推荐模型处理的样本数据量巨大,在这些处理样本数据中可能出现模型无法输出合适的匹配结果或排序结果,例如输出的推荐结果与输入内容不相关,此时的输入样本即为坏例样本。
50.在一种可能的场景中,对于坏例样本的获取,可以是通过坏例集合进行的,即对坏例样本进行实时的收集以及整理;即首先对推荐模型在执行推荐任务时对应的内容匹配度进行检测;若内容匹配度低于预设匹配度,则获取内容匹配度对应的任务样本至坏例集合;进而基于坏例集合中任务样本的数量,从坏例集合中获取任务样本,以得到坏例样本。例如坏例集合中任务样本的数量大于500时,说明推荐模型的错误率过高,此时需要进行参数调整。
51.另外,由于推荐模型可以执行不同任务平台的推荐任务,故在需要对推荐模型进行更新时,可以获取推荐模型配置的多个任务平台;然后响应于召回操作,从任务平台中进行样本召回,以得到扩展样本;进而基于扩展样本对坏例集合进行更新,从而在坏例样本少
量的前提下,尽量的获取可用的坏例样本。
52.在另一种可能的场景中,当基于推荐模型执行的推荐任务的统计参数出现异常时,说明推荐模型无法适配于当前任务,需要主动的进行参数调整,此时获取推荐模型在执行推荐任务时收集的媒体内容的统计参数,该统计参数包括点击率或转化率;若统计参数低于统计阈值,则触发召回操作,例如点击率低于50;然后响应于召回操作,从任务平台中进行样本召回,以得到扩展样本,该扩展样本即作为坏例样本,从而及时基于坏例样本进行本实施例中推荐模型的优化过程。
53.302、根据坏例样本生成对应的正样本与负样本,以结合坏例样本、正样本和负样本生成样本三元组。
54.本实施例中,由于坏例样本的数量较少,为小样本,故可以构建三元组,以扩展对于坏例样本的学习程度。
55.具体的,对于小样本的训练数据(坏例样本)准备,可以使用收集的badcase(正负样本三元组)进行训练,三元组的表示方式如下:
56.其中,三元组包括一个原匹配模型不能较好进行相关性匹配的badcase样本di、一个与样本di内容相关匹配的样本a
i+
、一个与样本di内容不相关匹配的样本a
i-。
57.303、对推荐模型的主干网络进行参数冻结。
58.本实施例中,推荐模型包括主干网络和投影矩阵,该主干网络包括多个处理分支,且处理分支分别关联了相应的投影矩阵,即通过对投影矩阵的参数调整对推荐模型进行训练。
59.本实施例由于采用坏例样本进行基于小样本的学习,故需要尽量的减少参数的调整规模,此时可以对推荐模型的主干网络进行参数冻结,并在推荐模型主干网络的编码器(encoder)后面添加投影矩阵,该投影矩阵初始化时为单位矩阵,单位矩阵为一个方阵,其从左上角到右下角的对角线(主对角线)上的元素均为1,除此以外全都为0,其行数和列数与主干网络中编码器对输入内容编码所得的特征向量相对应,因此可以保持推荐模型中配置投影矩阵后主干网络输出的初始化时特征与未配置投影矩阵时主干网络输出的原特征一致。
60.在一些可能的场景中,推荐模型可能包括多个处理分支,此时可以在各个分支的编码器后配置与编码器对应的投影矩阵,例如对于两个处理分支的场景,即配置投影矩阵(w1,w2),具体的投影矩阵的数量因分支数量而定,此处不作限定。
61.因此,本实施例即通过坏例样本实现小样本的投影矩阵训练过程,如图4所示,图4为本技术实施例提供的一种数据的处理方法的场景示意图;即通过冻结多模态匹配模型的主干网络参数,新增训练学习特征向量的投影矩阵,其中对于主干网络参数的冻结,可以是为主干网络中指示梯度值的参数(requires_grad)的属性设置非真运算符(false),false用于指示相应的参数在训练时的不会进行梯度反向传播,从而使得主干网络参数在参与推荐模型训练时的不会进行梯度反向传播,进而实现主干网络参数冻结;进一步的,在多模态匹配模型推理阶段,将投影矩阵衔接到主干网络的尾部,实现了多模态匹配模型特征矫正,进而实现了通过投影矩阵对推荐模型针对坏例样本的性能优化。
62.304、根据样本三元组对投影矩阵进行训练,以得到目标矩阵。
63.本实施例中,根据样本三元组对投影矩阵进行训练的过为对推荐模型的微调,微调是指使用推荐模型中主干网络参数作为初始参数,即在冻结的主干网络参数基础上,在基于样本三元组配置的数据集上对主干网络关联的投影矩阵进行少量的训练,即对投影矩阵进行参数调整,从而获得更好的性能。
64.具体的,对于投影矩阵的训练过程,为基于样本三元组进行的,即首先将样本三元组中的样本输入推荐模型中的主干网络,以得到坏例样本对应的第一向量、正样本对应的第二向量以及负样本对应的第三向量;然后执行训练过程,即训练过程对主干网络encoder参数冻结,通过仅更新投影矩阵的参数,来改变badcase的排序位置,改变后的排序位置即为训练目标指示的预设位置,该训练目标即相关人员对坏例样本配置的符合推荐期望的推荐次序;具体的训练过程基于距离损失函数进行,首先确定第一向量和第二向量之间的正向距离,以及第一向量和第三向量之间的反向距离;然后将正向距离和反向距离作为距离参数,配置投影矩阵对应的距离损失函数;进一步获取投影矩阵对应的训练目标,该训练目标用于指示通过减小正向距离,并增大反向距离,将第一向量指示的排序位置调整到预设位置;该过程可以理解为通过拉近第一向量和第二向量之间的距离,并拉远第一向量和第三向量之间的距离配置距离损失函数;进而基于距离损失函数参照训练目标对投影矩阵进行训练得到目标矩阵。
65.在一种可能的场景中,三元组的训练过程还可以配置边缘项(margin),即对三元组的训练过程中的损失函数添加指示正向距离(第一向量和第二向量之间的距离)和反向距离(第一向量和第三向量之间的距离)之间差值的约束参数。通过该边缘项迫使推荐模型中的投影矩阵进一步的学习,能让第一向量和第三向量的距离值更大,同时让第一向量和第二向量的距离值更小,具体如图5所示,图5为本技术实施例提供的另一种数据的处理方法的场景示意图;图中示出了针对于样本三元组配置的边缘项;可以基于边缘项对正向距离和反向距离之间的差值进行约束,以配置距离损失函数,该正向距离为第一向量和第二向量之间的距离,该反向距离为第一向量和第三向量之间的距离。
66.另外,对于上述距离损失函数,还可以配置正则项,这是由于在不加正则项的情况下,模型的最优解应该在损失函数的中心点处。加了正则项后,模型的目标函数为损失项和正则项之和,因此当损失项增大时,正则项减小;损失项减小时,正则项增大,实现两者相互制约,从而避免推荐模型的过拟合。
67.具体的,对于正则项的配置过程,首先基于投影矩阵与主干网络对应的单位矩阵的差异配置正则化因子,该正则化因子用于对投影矩阵与单位矩阵的差异进行约束,由于训练过程中会对投影矩阵的参数进行调整,通过正则化因子可以使得投影矩阵进行参数调整过程中不会偏移过大,从而避免对投影矩阵训练的过拟合;然后根据正则化因子对距离损失函数进行调整,以基于调整后的距离损失函数对投影矩阵进行训练得到目标矩阵。由于正则项相当于一个约束向,该约束项的作用是将目标函数的最优解往原点方向减小,从而使模型权值越趋向于0,这意味着对应特征对系统输出的影响越小。由于减小模型权值,意味着降低了模型的复杂程度,相当于对损失函数做了平滑处理,减小了训练误差和验证误差的差距,从而减轻了推荐模型过拟合的程度。
68.在另一种可能的场景中,为了进一步的避免模型的过拟合,还可以进行早停法
(early stop)的训练过程,即首先获取用于对推荐模型进行验证的验证集,该验证集由坏例样本划分所得,即坏例样本中标记了期望推荐(匹配)内容的样本;然后响应于投影矩阵进行参数调整的进行,基于预设周期调用当前的推荐模型对验证集进行识别,以得到结果统计信息;若结果统计信息中的统计参数达到停止阈值,则停止对投影矩阵进行参数调整。
69.可以理解的是,早停法是在训练中计算模型在验证集上的表现,当模型在验证集上的表现开始下降的时候,停止训练,这样就能避免继续训练导致过拟合的问题。另外,对于验证集可以由坏例样本划分而得的场景,即将坏例样本集划分成训练集和验证集;然后只在训练集上进行训练,并每隔一个周期计算模型在验证集上的误差;当模型在验证集上(权重的更新低于某个阈值;预测的错误率低于某个阈值;达到一定的迭代次数),则停止训练;进而使用上一次迭代结果中的参数作为模型的最终参数,从而避免推荐模型中对投影矩阵训练过拟合。
70.在一种可能的场景中,本实施例的推荐模型的处理分支可以配置为内容分支,即不同的处理分支用于不同的内容处理,并在各个内容分支参照上述投影矩阵的方式进行配置,如图6所示,图6为本技术实施例提供的另一种数据的处理方法的场景示意图;即推荐模型包括用于处理第一内容向量的第一内容分支和用于处理第二内容向量的第二内容分支,并分别配置对应的第一投影矩阵和第二投影矩阵,分别进行训练。
71.综上,本实施例对于投影矩阵的训练阶段使用三重(triplet)损失函数,并额外引入单位矩阵正则项因子,以及early stop的训练微调方案,防止在小样本训练集上过拟合,其总体的损失函数如下:
72.其中,ω表示样本三元组,w1表示第一内容分支的投影矩阵,w2表示第二内容分支的投影矩阵,m表示边缘项,d表示坏例样本,a+表示正样本,a-表示负样本,i表示正则化因子。
73.在一种可能的场景中,对于训练完成后的投影矩阵,可以得到如图7所示的矩阵可视化热力图,图7为本技术实施例提供的另一种数据的处理方法的场景示意图;图中的可视化热力图示出了投影矩阵w1和w2在单位矩阵附近,目标实现对模型排序的长尾微调,从而使得推荐模型适配于坏例数据。
74.305、响应于推荐任务中的目标内容输入推荐模型,获取推荐模型的主干网络输出的对应于目标内容的特征向量,以基于特征向量和目标矩阵确定输出特征,输出特征用于指示推荐任务的执行。
75.本实施例中,通过训练后的投影矩阵实现对推荐模型的微调,从而在推荐任务中的目标内容输入推荐模型时,对推荐模型的主干网络输出的对应于目标内容的特征向量进行向量调整,以基于调整后的输出特征执行推荐任务,从而实现推荐模型对于坏例样本的适配。
76.在一种可能的场景中,推荐模型用于文本与广告的匹配场景中,即对于图6所示的第一内容分支用于文本向量的处理,而第二内容分支用于广告向量的处理,即当用户阅读一篇网络咨询类文章时,希望基于当前文章的语义内容,可以给用户推荐和文章内容相关联的广告。例如:用户正在阅读一篇汽车性能对比评测相关内容的文章、可以在文章底部插
放一条新款性能家用车的广告。一方面,文章与广告内容的一致性关联、从感官上可以显著提升用户对广告推荐的体验,不会产生唐突、突兀的感受;另一方面,用户阅读此类文章、往往代表用户对文章内容相关领域的较高关注与兴趣喜好,推荐与之相关的广告,可以同时提升用户对此类广告的点击与转化。
77.具体的,对于文本广告的匹配场景,如图8所示,图8为本技术实施例提供的另一种数据的处理方法的场景示意图;即首先获取推荐模型在第一内容分支输出的第一内容向量;然后获取推荐模型在第二内容分支输出的第二内容向量;然后将第一内容向量和第一内容分支对应的目标矩阵进行矩阵计算,以得到第一输出特征,即文本向量;并将第二内容向量和第二内容分支对应的目标矩阵进行矩阵计算,以得到第二输出特征,即广告向量;进而对第一输出特征和第二输出特征的余弦相似度进行计算,以得到匹配信息,匹配信息用于指示推荐任务的执行。通过对文章文本内容、广告文本&图像的多模态内容分别进行特征编码,根据文章特征、广告特征的余弦相似度计算,得到其内容的关联匹配程度,进而为广告推荐提供相关性排序因子,实现广告排序的优化。
78.具体的,对于文本向量的确定过程,可以将待处理文本输入推荐模型中的第一内容分支,以确定待处理文本中的文本标题和文本内容;然后对文本标题进行编码,以得到第一文本向量;并对文本内容进行编码,以得到第二文本向量;进而将第一文本向量和第二文本向量进行融合,以得到第一内容向量,其中对文本标题进行编码和对文本内容进行编码采用不同的编码器,以体现不同文本结构的特征差异。
79.另外,对于广告向量的确定过程,可以首先将待处理广告输入推荐模型中的第二内容分支,以确定待处理广告中的广告文本和广告图片;然后对广告文本进行编码,以得到第三文本向量;并对广告图片进行编码,以得到图片向量;进而将第三文本向量和图片向量进行融合,以得到第二内容向量。从而实现多模态融合的特征表示,提高广告的表征性能。
80.由于广告推荐一般采用线上进行,在线上对整个多模态匹配模型所有参数进行更新,由于参数量巨大、并不能集成到推荐链路在线模块,因此每一次模型优化后的新特征需单独走上线流程,需要进行特征生成、特征注册、样本积累等流程,整体时耗约十天,且大量占用存储空间;否则,会导致线上存在不同的文章、广告新旧版本特征共存混淆的状态,导致推荐系统错乱。
81.针对线上的效率需求,本实施例只对投影矩阵进行小样本的学习,故可以将投影矩阵配置在不同推荐任务的链路侧,即训练完成后的投影矩阵w1和w2,仅需将投影矩阵轻量化部署到内容相关性广告推荐链路侧,进行在线预测生效,就可以统一的将在线的所有特征进行实时更新;这是由于投影矩阵的参数规模相较于推荐模型较小,在部署过程中使用的处理资源少,故将投影矩阵部署到内容相关性广告推荐链路侧的过程为轻量化部署过程。
82.通过本实施例对投影矩阵进行微调,可以快速优化长尾badcase,通过根据数量较少的badcase生成样本三元组进行针对性的投影矩阵训练,在本实施例一种可能的训练场景中,训练时间只需要1天,并且不会造成知识的灾难性遗忘;同时,在相关性推荐链路在线部署阶段轻量化集成小参数投影矩阵、无需重刷存量特征,无需样本积累,可以在1天内快速部署,将原流程由14天缩短至2天内,极大地节省了从模型优化到落地的时间。
83.可以理解的是,长尾badcase为一种长尾分布数据,长尾分布数据是一种偏态分布
的数据,长尾分布数据的头部数据包含大量的样本,而长尾分布数据的尾部数据只有非常少量的样本,且尾部数据分布分散,本实施例通过对尾部数据针对性的构建样本三元组,并通过对配置的投影矩阵进行训练,可以快速的基于不同类型的badcase进行投影矩阵的参数调整,从而优化推荐模型。
84.具体的,对于链路配置目标矩阵的过程,如图9所示,图9为本技术实施例提供的另一种数据的处理方法的场景示意图;即将目标矩阵配置在推荐任务的链路侧,并与文章或广告链路进行对应;进而响应于目标矩阵在链路侧的配置,将推荐任务对应的存量特征接入目标矩阵,以执行存量特征对应的推荐操作,即广告与文章的相似度排序过程。
85.在一种可能的场景中,通过上述实施例对于badcase优化可以达到测试集匹配正确率由68.64%提升到90.72%;另外,基于链路更新效率优化由14天缩减至1~2天;且模型训练过程对于长尾badcase优化训练时间由3~4天缩短至1天内;对于链路部署过程只需轻量化部署1天,只需将轻量的投影(projection)矩阵部署集成到链路推荐模型侧(精排、召回),可以节省重刷特征和特征注册入样本时间共计10天(特征链路更新存量特征数据库表重刷7天+特征注册入样本流程3天),实现快速更新。
86.以内容相关性广告推荐场景,对实施例发明主要原理和实现方式进行说明。但可以理解的是,本实施例发明使用场景不仅仅局限在广告推荐中,诸如涉及自然语言处理/计算机视觉多模态特征融合场景,各种推荐场景(如电商商品推荐等)。
87.结合上述实施例可知,通过获取推荐模型在执行推荐任务时指示的坏例样本;然后根据坏例样本生成对应的正样本与负样本,以结合坏例样本、正样本和负样本生成样本三元组;并对推荐模型的主干网络进行参数冻结,该主干网络包括多个处理分支,该处理分支分别关联了相应的投影矩阵;然后根据样本三元组对投影矩阵进行训练,以得到目标矩阵;进而响应于推荐任务中的目标内容输入推荐模型,获取推荐模型的主干网络输出的特征向量,以基于特征向量和目标矩阵确定输出特征,输出特征用于指示推荐任务的执行。从而实现推荐模型基于坏例样本进行快速调整的过程,由于在对推荐模型调整过程中对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。
88.由于推荐模型中主干网络是统一的,因此本实施例的推荐模型可以同时服务于不同的多个推荐任务,下面对该场景进行说明。请参阅图10,图10为本技术实施例提供的另一种数据的处理方法的流程图,本技术实施例至少包括以下步骤:1001、获取推荐模型对应的多个推荐任务。
89.本实施例中,推荐模型对应的多个推荐任务即不同的平台的推荐内容,即在推荐模型侧进行统一的大规模预训练,然后再不同链路上的推荐任务执行适应性的微调。
90.1002、确定推荐任务对应媒体内容的内容链路。
91.本实施例中,推荐任务对应媒体内容的内容链路可以是网络传输路径中配置的处理装置,也可以是用户侧接入的处理装置,具体的内容链路中配置本实施例的投影矩阵的位置因实际场景而定。
92.1003、基于目标矩阵进行内容链路的调整,以进行媒体内容的相似度匹配。
93.本实施例中,通过不同链路进行基于坏例样本的微调,可以扩大推荐模型的适用范围,即该实施例可应用于多模态内容语义理解匹配模型、在内容相关性广告推荐链路中
的模型版本迭代,高效的优化解决新发现的坏例样本,并大幅缩减由于模型更新造成的新特征上线实验的时间成本与存储资源成本。
94.为了更好的实施本技术实施例的上述方案,下面还提供用于实施上述方案的相关装置。请参阅图11,图11为本技术实施例提供的一种数据的处理装置的结构示意图,数据的处理装置1100包括:获取单元1101,用于获取推荐模型在执行推荐任务时指示的坏例样本;生成单元1102,用于根据所述坏例样本生成对应的正样本与负样本,以结合所述坏例样本、所述正样本和所述负样本生成样本三元组;处理单元1103,用于对所述推荐模型的主干网络进行参数冻结,所述主干网络包括多个处理分支,所述处理分支分别关联了相应的投影矩阵;所述处理单元1103,还用于根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵;所述处理单元1103,还用于响应于所述推荐任务中的目标内容输入所述推荐模型,获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,所述输出特征用于指示所述推荐任务的执行。
95.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于将所述样本三元组中的样本输入所述推荐模型中的主干网络,以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量;所述处理单元1103,具体用于确定所述第一向量和所述第二向量之间的正向距离,以及所述第一向量和所述第三向量之间的反向距离;所述处理单元1103,具体用于将所述正向距离和所述反向距离作为距离参数,配置所述投影矩阵对应的距离损失函数;所述处理单元1103,具体用于获取所述投影矩阵对应的训练目标,所述训练目标用于指示通过减小所述正向距离,并增大所述反向距离,将所述第一向量指示的排序位置调整到预设位置;所述处理单元1103,具体用于基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练,得到所述目标矩阵。
96.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于获取针对于所述样本三元组配置的边缘项;所述处理单元1103,具体用于基于所述边缘项对正向距离和反向距离之间的差值进行约束,以配置所述距离损失函数,所述正向距离为所述第一向量和所述第二向量之间的距离,所述反向距离为所述第一向量和所述第三向量之间的距离。
97.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于基于所述投影矩阵与所述主干网络对应的单位矩阵的差异配置正则化因子;所述处理单元1103,具体用于根据所述正则化因子对所述距离损失函数进行调整,以基于调整后的所述距离损失函数对所述投影矩阵进行训练得到所述目标矩阵。
98.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于获取用于对所述推荐模型进行验证的验证集;所述处理单元1103,具体用于响应于对所述投影矩阵进行参数调整,基于预设周
期调用所述推荐模型对所述验证集进行识别,以得到结果统计信息;所述处理单元1103,具体用于若所述结果统计信息中的统计参数达到停止阈值,则停止对投影矩阵进行参数调整。
99.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于对所述推荐模型在执行所述推荐任务时对应的内容匹配度进行检测;所述处理单元1103,具体用于若所述内容匹配度低于预设匹配度,则获取所述内容匹配度对应的任务样本至坏例集合;所述处理单元1103,具体用于基于所述坏例集合中任务样本的数量,从所述坏例集合中获取所述任务样本,以得到所述坏例样本。
100.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于获取所述推荐模型配置的多个任务平台;所述处理单元1103,具体用于响应于召回操作,从所述任务平台中进行样本召回,以得到扩展样本;所述处理单元1103,具体用于基于所述扩展样本对所述坏例集合进行更新。
101.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于获取所述推荐模型在执行推荐任务时收集的媒体内容的统计参数;所述处理单元1103,具体用于若所述统计参数低于统计阈值,则触发所述召回操作;所述处理单元1103,具体用于响应于所述召回操作,从所述任务平台中进行样本召回,以得到扩展样本。
102.可选的,在本技术一些可能的实现方式中,所述主干网络包含第一内容分支和第二内容分支,所述处理单元1103,具体用于获取所述推荐模型在所述第一内容分支输出的第一内容向量;所述处理单元1103,具体用于获取所述推荐模型在所述第二内容分支输出的第二内容向量;所述处理单元1103,具体用于将所述第一内容向量和所述第一内容分支对应的目标矩阵进行矩阵计算,以得到第一输出特征;所述处理单元1103,具体用于将所述第二内容向量和所述第二内容分支对应的目标矩阵进行矩阵计算,以得到第二输出特征;所述处理单元1103,具体用于对所述第一输出特征和所述第二输出特征的余弦相似度进行计算,以得到匹配信息,所述匹配信息用于指示所述推荐任务的执行。
103.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于将待处理文本输入所述推荐模型中的第一内容分支,以确定所述待处理文本中的文本标题和文本内容;所述处理单元1103,具体用于对所述文本标题进行编码,以得到第一文本向量;所述处理单元1103,具体用于对所述文本内容进行编码,以得到第二文本向量;所述处理单元1103,具体用于将所述第一文本向量和所述第二文本向量进行融合,以得到所述第一内容向量。
104.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于将待处理
广告输入所述推荐模型中的第二内容分支,以确定所述待处理广告中的广告文本和广告图片;所述处理单元1103,具体用于对所述广告文本进行编码,以得到第三文本向量;所述处理单元1103,具体用于对所述广告图片进行编码,以得到图片向量;所述处理单元1103,具体用于将所述第三文本向量和所述图片向量进行融合,以得到所述第二内容向量。
105.可选的,在本技术一些可能的实现方式中,所述处理单元1103,具体用于将目标矩阵配置在推荐任务的链路侧;所述处理单元1103,具体用于响应于所述目标矩阵在所述链路侧的配置,将所述推荐任务对应的存量特征接入所述目标矩阵,以执行所述存量特征对应的推荐操作。
106.通过获取推荐模型在执行推荐任务时指示的坏例样本;然后根据坏例样本生成对应的正样本与负样本,以结合坏例样本、正样本和负样本生成样本三元组;并对推荐模型的主干网络进行参数冻结,该主干网络包括多个处理分支,该处理分支分别关联了相应的投影矩阵;然后根据样本三元组对投影矩阵进行训练,以得到目标矩阵;进而响应于推荐任务中的目标内容输入推荐模型,获取推荐模型的主干网络输出的特征向量,以基于特征向量和目标矩阵确定输出特征,输出特征用于指示推荐任务的执行。从而实现推荐模型基于坏例样本进行快速调整的过程,由于在对推荐模型调整过程中对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。
107.本技术实施例还提供了一种终端设备,如图12所示,是本技术实施例提供的另一种终端设备的结构示意图,为了便于说明,仅示出了与本技术实施例相关的部分,具体技术细节未揭示的,请参照本技术实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant,pda)、销售终端(point of sales,pos)、车载电脑等任意终端设备,以终端为手机为例:图12示出的是与本技术实施例提供的终端相关的手机的部分结构的框图。参考图12,手机包括:射频(radio frequency,rf)电路1210、存储器1220、输入单元1230、显示单元1240、传感器1250、音频电路1260、无线保真(wireless fidelity,wifi)模块1270、处理器1280、以及电源1290等部件。本领域技术人员可以理解,图12中示出的手机结构并不构成对手机的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。
108.下面结合图12对手机的各个构成部件进行具体的介绍:rf电路1210可用于收发信息或通话过程中,信号的接收和发送,特别地,将基站的下行信息接收后,给处理器1280处理;另外,将设计上行的数据发送给基站。通常,rf电路1210包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noise amplifier,lna)、双工器等。此外,rf电路1210还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议,包括但不限于全球移动通讯系统(global system of mobile communication,gsm)、通用分组无线服务(general packet radio service,gprs)、码分多址(code division multiple access,cdma)、宽带码分多址(wideband code division multiple access, wcdma)、长期演进(long term evolution,
lte)、电子邮件、短消息服务(short messaging service,sms)等。
109.存储器1220可用于存储软件程序以及模块,处理器1280通过运行存储在存储器1220的软件程序以及模块,从而执行手机的各种功能应用以及数据处理。存储器1220可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器1220可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
110.输入单元1230可用于接收输入的数字或字符信息,以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地,输入单元1230可包括触控面板1231以及其他输入设备1232。触控面板1231,也称为触摸屏,可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1231上或在触控面板1231附近的操作,以及在触控面板1231上一定范围内的隔空触控操作),并根据预先设定的程式驱动相应的连接装置。可选的,触控面板1231可包括触摸检测装置和触摸控制器两个部分。其中,触摸检测装置检测用户的触摸方位,并检测触摸操作带来的信号,将信号传送给触摸控制器;触摸控制器从触摸检测装置上接收触摸信息,并将它转换成触点坐标,再送给处理器1280,并能接收处理器1280发来的命令并加以执行。此外,可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1231。除了触控面板1231,输入单元1230还可以包括其他输入设备1232。具体地,其他输入设备1232可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
111.显示单元1240可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1240可包括显示面板1241,可选的,可以采用液晶显示器(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等形式来配置显示面板1241。进一步的,触控面板1231可覆盖显示面板1241,当触控面板1231检测到在其上或附近的触摸操作后,传送给处理器1280以确定触摸事件的类型,随后处理器1280根据触摸事件的类型在显示面板1241上提供相应的视觉输出。虽然在图12中,触控面板1231与显示面板1241是作为两个独立的部件来实现手机的输入和输入功能,但是在某些实施例中,可以将触控面板1231与显示面板1241集成而实现手机的输入和输出功能。
112.手机还可包括至少一种传感器1250,比如光传感器、运动传感器以及其他传感器。具体地,光传感器可包括环境光传感器及接近传感器,其中,环境光传感器可根据环境光线的明暗来调节显示面板1241的亮度,接近传感器可在手机移动到耳边时,关闭显示面板1241和/或背光。作为运动传感器的一种,加速计传感器可检测各个方向上(一般为三轴)加速度的大小,静止时可检测出重力的大小及方向,可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等; 至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器,在此不再赘述。
113.音频电路1260、扬声器1261,传声器1262可提供用户与手机之间的音频接口。音频电路1260可将接收到的音频数据转换后的电信号,传输到扬声器1261,由扬声器1261转换为声音信号输出;另一方面,传声器1262将收集的声音信号转换为电信号,由音频电路1260接收后转换为音频数据,再将音频数据输出处理器1280处理后,经rf电路1210以发送给比
如另一手机,或者将音频数据输出至存储器1220以便进一步处理。
114.wifi属于短距离无线传输技术,手机通过wifi模块1270可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,它为用户提供了无线的宽带互联网访问。虽然图12示出了wifi模块1270,但是可以理解的是,其并不属于手机的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
115.处理器1280是手机的控制中心,利用各种接口和线路连接整个手机的各个部分,通过运行或执行存储在存储器1220内的软件程序和/或模块,以及调用存储在存储器1220内的数据,执行手机的各种功能和处理数据,从而对手机进行整体检测。可选的,处理器1280可包括一个或多个处理单元;可选的,处理器1280可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器1280中。
116.手机还包括给各个部件供电的电源1290(比如电池),可选的,电源可以通过电源管理系统与处理器1280逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
117.尽管未示出,手机还可以包括摄像头、蓝牙模块等,在此不再赘述。
118.在本技术实施例中,该终端所包括的处理器1280还具有执行如上述页面处理方法的各个步骤的功能。
119.本技术实施例还提供了一种服务器,请参阅图13,图13是本技术实施例提供的一种服务器的结构示意图,该服务器1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上中央处理器(central processing units,cpu)1322(例如,一个或一个以上处理器)和存储器1332,一个或一个以上存储应用程序1342或数据1344的存储介质1330(例如一个或一个以上海量存储设备)。其中,存储器1332和存储介质1330可以是短暂存储或持久存储。存储在存储介质1330的程序可以包括一个或一个以上模块(图示没标出),每个模块可以包括对服务器中的一系列指令操作。更进一步地,中央处理器1322可以设置为与存储介质1330通信,在服务器1300上执行存储介质1330中的一系列指令操作。
120.服务器1300还可以包括一个或一个以上电源1326,一个或一个以上有线或无线网络接口1350,一个或一个以上输入输出接口1358,和/或,一个或一个以上操作系统1341,例如windows servertm,mac os xtm,unixtm, linuxtm,freebsdtm等等。
121.上述实施例中由管理装置所执行的步骤可以基于该图13所示的服务器结构。
122.本技术实施例中还提供一种计算机可读存储介质,该计算机可读存储介质中存储有数据的处理指令,当其在计算机上运行时,使得计算机执行如前述图3至图10所示实施例描述的方法中数据的处理装置所执行的步骤。
123.本技术实施例中还提供一种包括数据的处理指令的计算机程序产品,当其在计算机上运行时,使得计算机执行如前述图3至图10所示实施例描述的方法中数据的处理装置所执行的步骤。
124.本技术实施例还提供了一种数据的处理系统,所述数据的处理系统可以包含图11所描述实施例中的数据的处理装置,或图12所描述实施例中的终端设备,或者图13所描述的服务器。
125.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,
装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
126.在本技术所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
127.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
128.另外,在本技术各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
129.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,数据的处理装置,或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
130.以上所述,以上实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。

技术特征:
1.一种数据的处理方法,其特征在于,包括:获取推荐模型在执行推荐任务时指示的坏例样本;根据所述坏例样本生成对应的正样本与负样本,以结合所述坏例样本、所述正样本和所述负样本生成样本三元组;对所述推荐模型的主干网络进行参数冻结,所述主干网络包括多个处理分支,所述处理分支分别关联了相应的投影矩阵;根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵;响应于所述推荐任务中的目标内容输入所述推荐模型,获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,所述输出特征用于指示所述推荐任务的执行。2.根据权利要求1所述的方法,其特征在于,所述根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵,包括:将所述样本三元组中的样本输入所述推荐模型中的主干网络,以得到所述坏例样本对应的第一向量、所述正样本对应的第二向量以及所述负样本对应的第三向量;确定所述第一向量和所述第二向量之间的正向距离,以及所述第一向量和所述第三向量之间的反向距离;将所述正向距离和所述反向距离作为距离参数,配置所述投影矩阵对应的距离损失函数;获取所述投影矩阵对应的训练目标,所述训练目标用于指示通过减小所述正向距离,并增大所述反向距离,将所述第一向量指示的排序位置调整到预设位置;基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练,得到所述目标矩阵。3.根据权利要求2所述的方法,其特征在于,所述将所述正向距离和所述反向距离作为距离参数,以配置所述投影矩阵对应的距离损失函数,包括:获取针对于所述样本三元组配置的边缘项;基于所述边缘项对所述正向距离和所述反向距离之间的差值进行约束,以配置所述距离损失函数。4.根据权利要求2所述的方法,其特征在于,所述基于所述距离损失函数参照所述训练目标对所述投影矩阵进行训练,得到所述目标矩阵,包括:基于所述投影矩阵与所述主干网络对应的单位矩阵的差异配置正则化因子;根据所述正则化因子对所述距离损失函数进行调整,以基于调整后的所述距离损失函数参照所述训练目标对所述投影矩阵进行训练得到所述目标矩阵。5.根据权利要求2所述的方法,其特征在于,所述方法还包括:获取用于对所述推荐模型进行验证的验证集;响应于对所述投影矩阵进行参数调整,基于预设周期调用所述推荐模型对所述验证集进行识别,以得到结果统计信息;若所述结果统计信息中的统计参数达到停止阈值,则停止对所述投影矩阵进行参数调整。6.根据权利要求1所述的方法,其特征在于,所述获取推荐模型在执行推荐任务时指示
的坏例样本,包括:对所述推荐模型在执行所述推荐任务时对应的内容匹配度进行检测;若所述内容匹配度低于预设匹配度,则获取所述内容匹配度对应的任务样本至坏例集合;基于所述坏例集合中任务样本的数量,从所述坏例集合中获取所述任务样本,以得到所述坏例样本。7.根据权利要求6所述的方法,其特征在于,所述方法还包括:获取所述推荐模型配置的多个任务平台;响应于召回操作,从所述任务平台中进行样本召回,以得到扩展样本;基于所述扩展样本对所述坏例集合进行更新。8.根据权利要求7所述的方法,其特征在于,所述响应于召回操作,从所述任务平台中进行样本召回,以得到扩展样本,包括:获取所述推荐模型在执行推荐任务时收集的媒体内容的统计参数;若所述统计参数低于统计阈值,则触发所述召回操作;响应于所述召回操作,从所述任务平台中进行样本召回,以得到扩展样本。9.根据权利要求1所述的方法,其特征在于,所述主干网络中的处理分支为第一内容分支和第二内容分支,所述获取所述推荐模型的主干网络输出的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,包括:获取所述推荐模型在所述第一内容分支输出的第一内容向量;获取所述推荐模型在所述第二内容分支输出的第二内容向量;将所述第一内容向量和所述第一内容分支对应的目标矩阵进行矩阵计算,以得到第一输出特征;将所述第二内容向量和所述第二内容分支对应的目标矩阵进行矩阵计算,以得到第二输出特征;对所述第一输出特征和所述第二输出特征的余弦相似度进行计算,以得到匹配信息,所述匹配信息用于指示所述推荐任务的执行。10.根据权利要求9所述的方法,其特征在于,所述获取所述推荐模型在所述第一内容分支输出的第一内容向量,包括:将待处理文本输入所述推荐模型中的第一内容分支,以确定所述待处理文本中的文本标题和文本内容;对所述文本标题进行编码,以得到第一文本向量;对所述文本内容进行编码,以得到第二文本向量;将所述第一文本向量和所述第二文本向量进行融合,以得到所述第一内容向量。11.根据权利要求9所述的方法,其特征在于,所述获取所述推荐模型在所述第二内容分支输出的第二内容向量,包括:将待处理广告输入所述推荐模型中的第二内容分支,以确定所述待处理广告中的广告文本和广告图片;对所述广告文本进行编码,以得到第三文本向量;对所述广告图片进行编码,以得到图片向量;
将所述第三文本向量和所述图片向量进行融合,以得到所述第二内容向量。12.根据权利要求1-11任一项所述的方法,其特征在于,所述方法还包括:将目标矩阵配置在推荐任务的链路侧;响应于所述目标矩阵在所述链路侧的配置,将所述推荐任务对应的存量特征接入所述目标矩阵,以执行所述存量特征对应的推荐操作。13.一种数据的处理装置,其特征在于,包括:获取单元,用于获取推荐模型在执行推荐任务时指示的坏例样本;生成单元,用于根据所述坏例样本生成对应的正样本与负样本,以结合所述坏例样本、所述正样本和所述负样本生成样本三元组;处理单元,用于对所述推荐模型的主干网络进行参数冻结,所述主干网络包括多个处理分支,所述处理分支分别关联了相应的投影矩阵;所述处理单元,还用于根据所述样本三元组对所述投影矩阵进行训练,以得到目标矩阵;所述处理单元,还用于响应于所述推荐任务中的目标内容输入所述推荐模型,获取所述推荐模型的主干网络输出的对应于所述目标内容的特征向量,以基于所述特征向量和所述目标矩阵确定输出特征,所述输出特征用于指示所述推荐任务的执行。14.一种计算机设备,其特征在于,所述计算机设备包括处理器以及存储器:所述存储器用于存储程序代码;所述处理器用于根据所述程序代码中的指令执行权利要求1至12任一项所述的数据的处理方法。15.一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令存储于计算机可读存储介质,其特征在于,所述计算机可读存储介质中的所述计算机程序/指令被处理器执行时实现上述权利要求1至12任一项所述的数据的处理方法的步骤。

技术总结
本申请公开了一种数据的处理方法、装置以及存储介质。通过获取坏例样本;然后根据坏例样本生成样本三元组;并对推荐模型的主干网络进行参数冻结;然后对推荐模型中配置的投影矩阵进行训练得到目标矩阵;进而获取推荐模型的主干网络根据目标内容输出的特征向量,以基于特征向量和目标矩阵确定输出特征,并执行推荐任务。从而实现推荐模型基于坏例样本进行快速调整的过程,由于对主干网络进行参数冻结,并采用投影矩阵基于坏例样本构架的三元组对推荐模型进行训练微调,无需对主干网络进行调整,减小了数据处理量,提高了模型的训练效率。提高了模型的训练效率。提高了模型的训练效率。


技术研发人员:刘威 蒋杰 郜思睿 李宗蔚 杨志鹏 郭春超
受保护的技术使用者:腾讯科技(深圳)有限公司
技术研发日:2023.06.15
技术公布日:2023/7/22
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐