一种数据处理方法、装置、设备和存储介质与流程

1.本发明实施例涉及计算机技术领域，尤其涉及一种数据处理方法、装置、设备和存储介质。


背景技术：

2.联邦学习框架是一种分布式的人工智能模型训练框架，联邦学习可以使得多个企业的企业数据在无需共享的条件下实现联邦建模和联邦训练，即联邦学习提供了一种破解数据安全和数据孤岛问题的可行性方向。
3.在需要基于多个企业的企业数据建立模型时，可以基于联邦学习框架进行模型构建和模型训练，在模型训练时，需要对多个企业所提供的企业数据即连续变量进行离散化，得到离散变量，并基于各企业对应的离散变量进行模型训练。现有技术可以通过等频分箱或者等距分箱实现变量离散化。
4.在实现本发明的过程中，发明人发现现有技术中至少存在以下技术问题：
5.在需要对线性模型进行训练时，如果连续变量与线性模型的输出不存在直接线性关系，通过现有技术对连续变量进行离散化得到的离散变量对模型的训练效果较差。


技术实现要素：

6.本发明提供一种数据处理方法、装置、设备和存储介质，以实现对数据的线性分箱，提升分箱效果，使得对分箱后数据进行离散化处理得到的离散数据可以用于线性模型训练。
7.第一方面，本发明实施例提供了一种数据处理方法，所述方法包括：
8.对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；
9.根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；
10.根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
11.第二方面，本发明实施例还提供了一种数据处理装置，所述装置包括：
12.分箱模块，用于对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；
13.确定模块，用于根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；
14.执行模块，用于根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
15.第三方面，本发明实施例还提供了一种计算机设备，包括存储器、处理器及存储在
存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面中任一所述的数据处理方法。
16.第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面中任一所述的数据处理方法。
17.上述发明中的实施例具有如下优点或有益效果：
18.本发明实施例提供一种数据处理方法，所述方法包括：对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。上述技术方案，首先可以对样本数据进行分类，对各类样本数据进行分箱，得到被分为多箱的样本数据，实现对样本数据的初始分箱，确定初始分箱状态为初始分箱后各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数，其次可以根据样本数据对应的标签确定的各箱样本数据的正样本数以及初始分箱状态所包含的各箱样本数据的样本总数确定各箱样本数据的负样本数，根据各箱样本数据的正样本数以及负样本数确定各箱样本数据的证据权重，对证据权重进行单调调优可以确定调优后分箱状态，基于调优后分箱状态对样本数据进行再次分箱，可以得到多箱目标样本数据，实现对样本数据的线性分箱，对多箱目标数据进行离散化处理得到的离散目标样本数据可以用于对线性模型进行训练。
附图说明
19.图1为本发明实施例提供的一种数据处理方法的流程图；
20.图2为本发明实施例提供的另一种数据处理方法的流程图；
21.图3为本发明实施例提供的另一种数据处理方法实现流程图；
22.图4为本发明实施例提供的一种数据处理装置的结构示意图；
23.图5为本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
24.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
25.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
26.一般在建立分类模型时，需要对连续的样本数据进行离散化处理，对样本数据离散化处理后，降低了模型过拟合的风险，提高模型稳定性，并且离散特征的增加和减少都很
容易，易于模型的快速迭代，稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展。
27.在需要建立线性模型时，如果样本数据与线性模型的输出不存在直接线性关系，通过现有的等频分箱或者等距分箱对样本数据进行离散化处理得到的离散样本数据对线性模型的训练效果较差。因此，本技术提出一种数据处理方法，以实现对样本数据的分箱，而且对分箱后的样本数据进行样本数据离散化处理得到的离散样本数据可以用于训练线性模型。
28.下面将结合示图和实施例对本技术提出的数据处理方法进行详细的描述。
29.图1为本发明实施例提供的一种数据处理方法的流程图，本发明实施例可适用于需要对数据进行线性分箱的情况。该方法可以由数据处理装置来执行，该装置可以由软件和/或硬件的方式来实现。可选的，该数据处理装置可配置于计算机设备。如图1所述，该方法具体包括以下步骤：
30.步骤110、对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态。
31.对样本数据进行初始分箱时，可以采用常用的分箱方法，例如，可以采用等频分箱或者等距分箱对样本数据进行初始分箱。等频分箱只考虑边界值，每箱中样本数据的数量可能不一样。基于等频分箱对样本数据进行分箱时，首先确定样本数据的最小值a和最大值b，进而确定等频分箱的长度w＝(b-a)/n，各箱的边界值为a+w，a+2w，
……
a+(n-1)w。等距分箱中每箱的边界值需要经过选择，使得每箱包含大致相等数量的样本数据。
32.具体地，样本数据包括多种类型的样本数据，因此，首先，对样本数据进行分类，得到多类样本数据，各类样本数据包含相同类型的特征信息。其次，基于等频分箱或者等距分箱对各类样本数据进行初始分箱，得到多箱样本数据。在对各类样本数据进行初始分箱的同时，还可以确定初始分箱后样本数据对应的初始分箱状态，例如，可以确定初始分箱得到的各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数。
33.本发明实施例中，实现对样本数据的初始分箱，还确定了初始分箱后样本数据对应的初始分箱状态，为后续步骤中对样本数据进行重新分箱提供数据基础。
34.步骤120、根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态。
35.样本数据与线性模型的输出没有直接线性关系时，对初始分箱得到的各箱样本数据进行离散化处理得到的离散样本数据，无法用于对该线性模型进行训练，因此，需要对样本数据进行重新分箱。
36.其中，每个样本数据对应有相应的标签，例如，样本数据为正样本时，对应的标签为“1”，样本数据为负样本时，对应的标签为“0”。
37.具体地，根据各箱样本数据中各样本数据对应的标签可以确定各箱样本数据的正样本数，根据各箱样本数据的正样本数以及初始分箱状态所包含的各箱样本数据的样本总数，可以确定各箱样本数据的负样本数。根据各箱样本数据的正样本数、负样本数、各箱样本数据所属各类样本数据中正样本总数、负样本总数，可以确定各箱样本数据的证据权重。
38.进而，可以对证据权重进行单调调优，使得证据权重局部单调递增或者单调递减，具体而言，依次确定各箱样本数据的合并状态，使得基于各箱样本数据的合并状态对各箱样本数据进行合并后，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据
权重单调递增或者单调递减，进而，可以根据各箱样本数据的合并状态确定调优后分箱状态，例如，可以确定调优后箱编号、调优后左箱编号和调优后右箱编号。
39.本发明实施例中，基于各箱样本数据的标签可以确定各箱样本数据中的正样本数，根据各箱样本数据中的样本总数和正样本数可以确定各箱样本数据中的负样本数，进而可以根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重，对证据权重进行单调调优可以确定调优后分箱状态。
40.步骤130、根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
41.具体地，调优后分箱状态可以包括调优后箱编号、调优后左箱编号和调优后右箱编号，基于调优后分箱状态对初始分箱得到的各箱样本数据进行合并，可以实现对样本数据的分箱，得到多箱目标样本数据。
42.由于调优后分箱状态是根据各箱样本数据的合并状态确定的，基于合并状态对各箱样本数据进行合并，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据权重是单调递增或者单调递减的。因此，根据调优后分箱状态对样本数据进行再次分箱得到多箱目标样本数据后，对各箱目标样本数据进行离散化处理得到的离散目标样本数据也是单调的，可以用于训练线性模型。
43.本发明实施例中，根据调优后分箱状态实现对样本数据进行再次分箱，得到多箱目标样本数据，可以实现对样本数据的线性分箱，得到的多箱目标样本数据进行离散化处理后，可以得到用于对线性模型进行训练的离散目标样本数据。
44.本发明实施例提供的数据处理方法，包括：对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。上述技术方案，首先可以对样本数据进行分类，对各类样本数据进行分箱，得到被分为多箱的样本数据，实现对样本数据的初始分箱，确定初始分箱状态为初始分箱后各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数，其次可以根据样本数据对应的标签确定的各箱样本数据的正样本数以及初始分箱状态所包含的各箱样本数据的样本总数确定各箱样本数据的负样本数，根据各箱样本数据的正样本数以及负样本数确定各箱样本数据的证据权重，对证据权重进行单调调优可以确定调优后分箱状态，基于调优后分箱状态对样本数据进行再次分箱，可以得到多箱目标样本数据，实现对样本数据的线性分箱，对多箱目标数据进行离散化处理得到的离散目标样本数据可以用于对线性模型进行训练。
45.图2为本发明实施例提供的另一种数据处理方法的流程图，本发明实施例适用于需要对数据进行线性分箱的情况。本发明实施例在上述实施例的基础上，增加了“确定各箱目标样本数据对应的目标证据权重，并将各箱目标样本数据对应的所述目标证据权重确定为各箱目标样本数据对应的目标数据；基于所述目标数据进行线性模型训练。”，其中与上述各实施例相同或相应的术语的解释在此不再赘述。参见图2，本发明实施例提供的数据处理方法包括：
46.步骤210、对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始
分箱状态。
47.一种实施方式中，步骤210具体可以包括：
48.基于所述样本数据所包含的特征信息对所述样本数据进行分类，将所述样本数据划分为i类，其中，i表示特征编号；对各类样本数据进行分箱，将各类样本数据划分为j箱，其中，j表示箱编号；根据i类被划分为j箱的各箱样本数据确定所述初始分箱状态；其中，所述初始分箱状态包括各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数。
49.具体地，样本数据包含不同类型的特征信息，为了对样本数据进行初始分箱，需要根据样本数据的特征信息对样本数据进行分类。例如，对样本数据进行分类，将样本数据划分为i类，得到i类样本数据，各类样本数据包含相同类型的特征信息。分别对各类样本数据进行初始分箱，将各类样本数据划分为j箱，得到j箱样本数据。还可以根据i类被划分为j箱的各箱样本数据确定初始分箱后样本数据对应的初始分箱状态，例如，可以确定各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数。
50.本发明实施例中，实现对样本数据的初始分箱，还确定了初始分箱后样本数据对应的初始分箱状态，为后续步骤中对样本数据进行重新分箱提供数据基础。
51.步骤220、根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重。
52.一种实施方式中，步骤220具体可以包括：
53.基于各箱样本数据所包含的各所述样本数据对应的标签的和值，确定各箱样本数据的正样本数；基于各箱样本数据的正样本数以及所述初始分箱状态所包含的各箱样本数据的样本总数，确定各箱样本数据的负样本数；根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重。
54.具体地，在对样本数据进行初始分箱后，可以根据各箱样本数据所包含样本数据对应的标签确定各箱样本数据的正样本数，具体而言，可以对各箱样本数据所包含样本数据对应的标签进行求和，根据和值确定各箱样本数据的正样本数good
ij
。进而，可以根据各箱样本数据的正样本数以及前述步骤所确定的初始分箱状态所包含的各箱样本数据的样本总数total_count
ij
，确定各箱样本数据的负样本数bad
ij
＝total_count
ij-good
ij
。
55.进一步地，根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重，包括：
56.根据各箱样本数据的正样本数确定各类样本数据中的正样本总数；根据各箱样本数据的负样本数确定各类样本数据中的负样本总数；基于各箱样本数据的正样本数以及各箱样本数据所属各类样本数据中的正样本总数确定各箱样本数据对应的第一比值，基于各箱样本数据的负样本数以及各箱样本数据所属各类样本数据中的负样本总数确定各箱样本数据对应的第二比值，根据各箱样本数据对应的所述第一比值和所述第二比值确定各箱样本数据的证据权重。
57.对任一类样本数据中各箱样本数据的正样本数进行求和可以确定该类样本数据中的正样本总数good
ti
，对任一类样本数据中各箱样本数据的负样本数进行求和可以确定该类样本数据中的负样本总数bad
ti
。基于各箱样本数据的正样本数以及各箱样本数据所属各类样本数据中的正样本总数确定各箱样本数据对应的第一比值为基于各箱样本
数据的负样本数以及各箱样本数据所属各类样本数据中的负样本总数确定各箱样本数据对应的第二比值为进而，可以根据第一比值和第二比值确定各箱样本数据的证据权重重
58.本发明实施例中，通过对各箱样本数据的标签进行求和可以确定各箱样本数据中的正样本数，再根据各箱样本数据中的正样本数和前述确定的各箱样本数据的样本总数可以确定各箱样本数据中的负样本数，进而可以根据各箱样本数据的正样本数和负样本数实现确定各箱样本数据的证据权重。
59.步骤230、通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态。
60.一种实施方式中，步骤230具体可以包括：
61.确定各箱样本数据的合并状态，使得基于合并状态对各箱样本数据进行合并后，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据权重单调递增或者单调递减；根据各箱样本数据的合并状态确定所述调优后分箱状态。
62.具体地，基于贪心算法对各箱样本数据进行遍历，确定各箱样本数据的合并状态，使得基于各箱样本数据的合并状态对各箱样本数据进行合并后，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据权重单调递增或者单调递减。例如，可以将至少一组相邻的多箱样本数据进行合并，得到至少一组样本数据。根据合并得到的各组样本数据以及未合并的各箱样本数据，可以确定调优后分箱状态，即可以确定调优后箱编号、调优后左箱编号和调优后右箱编号。
63.在实际应用中，调优后分箱状态还可以包括调优后各箱目标样本数据的目标样本总数。
64.本发明实施例中，通过对各箱样本数据的证据权重进行单调调优，实现对初始分箱状态的调整，得到调优后分箱状态。
65.步骤240、根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
66.一种实施方式中，步骤240具体可以包括：
67.基于所述调优后分箱状态所包含的调优后箱编号、调优后左箱编号和调优后右箱编号对所述样本数据进行再次分箱，得到多箱目标样本数据。
68.具体地，调优后分箱状态包括调优后箱编号、调优后左箱编号和调优后右箱编号，基于各组调优后箱编号、调优后左箱编号和调优后右箱编号对初始分箱得到的各箱样本数据进行合并，可以实现对样本数据进行再次分箱，将样本数据分为多箱目标样本数据。
69.由于调优后分箱状态是根据各箱样本数据的合并状态确定的，基于各箱样本数据的合并状态对各箱样本数据进行合并，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据权重是单调递增或者单调递减的。根据调优后分箱状态对样本数据进行再次分箱得到多箱目标样本数据后，对各箱目标样本数据进行离散化处理可以得到对应的离散目标样本数据。对样本数据再次分箱得到的各箱目标样本数据对应的离散目标样本数据不仅代表各箱目标样本数据，还代表了各箱目标样本数据的权重，因此，经过再次分箱得到
的各箱目标样本数据对应的离散目标样本数据可以将非线性的样本数据转换为线性的离散目标样本数据，即离散目标样本数据也是单调的，可以用于训练线性模型。
70.本发明实施例中，根据调优后分箱状态对样本数据进行再次分箱，可以得到多箱目标样本数据，实现对样本数据的线性分箱，对各箱目标样本数据进行离散化处理后，可以得到用于对线性模型进行训练的离散目标样本数据。
71.步骤250、确定各箱目标样本数据对应的目标证据权重，将各箱目标样本数据对应的目标证据权重作为目标数据对线性模型进行训练。
72.具体地，根据各箱目标样本数据中各目标样本数据对应的标签可以确定各箱目标样本数据的正目标样本数，根据各箱目标样本数据的正目标样本数以及调优后分箱状态所包含的各箱目标样本数据的目标样本总数，可以确定各箱目标样本数据的负目标样本数。根据各箱目标样本数据的正目标样本数、负目标样本数、各箱目标样本数据所属各类目标样本数据中的正目标样本总数、负目标样本总数，可以确定各箱目标样本数据对应的目标证据权重。
73.进而，可以将各箱目标样本数据对应的目标证据权重确定为各箱目标样本数据对应的目标数据。
74.具体地，离散化处理目标样本数据得到的目标数据可以用于对线性模型进行训练，尤其在样本数据与线性模型的输出不存在直接线性关系，可以基于离散目标样本数据对该线性模型进行训练，提升模型训练效果。
75.本发明实施例中，确定各箱目标样本数据对应的目标证据权重，实现对目标样本数据的离散化处理。将各箱目标样本数据对应的目标证据权重确定为各箱目标样本数据对应的目标数据，基于目标数据可以实现对线性模型的训练。
76.本发明实施例提供的数据处理方法，包括：对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重；通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据；确定各箱目标样本数据对应的目标证据权重，并将各箱目标样本数据对应的所述目标证据权重确定为各箱目标样本数据对应的目标数据；基于所述目标数据进行线性模型训练。上述技术方案，对样本数据进行分类，对各类样本数据进行分箱，得到被分为多箱的样本数据，实现对样本数据的初始分箱，确定初始分箱状态为初始分箱后各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数，通过对各箱样本数据的标签进行求和可以确定各箱样本数据中的正样本数，根据各箱样本数据中的正样本数以及初始分箱状态所包含的各箱样本数据的样本总数确定各箱样本数据中的负样本数，根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重，进而可以对证据权重进行单调调优，实现对初始分箱状态的调整，得到调优后分箱状态，根据调优后分箱状态对样本数据进行再次分箱，可以得到多箱目标样本数据，实现对样本数据的线性分箱，确定各箱目标样本数据对应的目标证据权重，实现对目标样本数据的离散化处理，将各箱目标样本数据对应的目标证据权重确定为各箱目标样本数据对应的目标数据，目标数据可以用于对线性模型进行训练，提升线性模型的训练效果。
77.图3为本发明实施例提供的另一种数据处理方法实现流程图，示例性的给出了其
中一种实现方式。本发明实施例适用于样本数据和样本数据对应的标签存储在不同的终端的情况，主要体现计算机设备之间的交互过程。如图3，该方法具体包括以下步骤：
78.步骤310、第一终端对样本数据进行初始分箱，并确定初始分箱后样本数据对应的初始分箱状态。
79.具体地，将样本数据x分为i类后将各类样本数据分为j箱，得到箱样本数据x
ij
，x
ij
表示任一类样本数据中的任一箱样本数据。在将样本数据x分为i类后进一步分为j箱的同时，可以确定各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数。
80.步骤320、第二终端对标签进行加密得到加密标签。
81.具体地，第二终端在对标签进行加密之前需要基于加密算法生成公钥pka和私钥ska，再根据公钥pka对标签y进行加密得到加密标签enca(y)。
82.在实际应用中，步骤310和步骤320的执行顺序不做具体限定，可以先执行步骤310再执行步骤320，也可以先执行步骤320再执行步骤330，还可以同时执行步骤310和步骤320。
83.步骤330、第二终端将加密标签发送至第一终端。
84.步骤340、第一终端基于加密标签和样本数据的初始分箱状态确定样本数据的标签统计信息。
85.其中，第二终端发送的加密标签enca(y)的数量与第一终端提供的样本数据x的数量一致，即，每个样本数据对应有相应的加密标签，例如，样本数据为正样本时，对应的加密标签为加密后的“1”，样本数据为负样本时，对应的加密标签为加密后的“0”。
86.具体地，第一终端在对样本数据进行初始分箱后，可以根据第二终端发送的加密标签确定各箱样本数据中各样本数据对应的加密标签，进而对各箱样本数据中各样本数据对应的加密标签进行求和，确定样本数据对应的标签统计信息enca(y_bin_sum)，其中，y_bin_sum＝{x0：[[event_count
0，0
，total_count
0，0
]，[event_count
0，1
，total_count
0，1
]......[event_count
0，j
，total_count
0，j
]]，x1：[[]，[]......[]]......，xi：[[]，[]......[]]}，i表示特征编号，j表示箱编号。x0：[[event_count
0，0
，total_count
0，0
]，[event_count
0，1
，total_count
0，1
]......[event_count
0，j
，total_count
0，j
]]表示第一类样本数据中各箱样本数据中正样本数和样本总数，event_count
0，0
、event_count
0，1
、...、event_count
0，j
表示第一类样本数据中各箱样本数据中正样本数，total_count
0，0
、total_count
0，1
、...、total_count
0，j
表示第一类样本数据中各箱样本数据的样本总数。
[0087]
由于加密标签进行的是同态加密，所以可以对加密标签直接进行加减法运算，而且解密后和明文加减法运算的结果一致。
[0088]
第一终端在确定样本数据对应的标签统计信息后，可以将标签统计信息发送至第二终端。
[0089]
本发明实施例中，第一终端在接收到第一终端发送的加密标签后，可以根据样本数据为正样本或者负样本确定该样本数据对应的加密标签，进而可以对各箱样本数据中样本数据对应的加密标签进行求和，确定样本数据对应的标签统计信息。
[0090]
步骤350、第一终端将标签统计信息发送至第二终端。
[0091]
步骤360、第二终端根据样本数据对应的标签统计信息调整初始分箱状态得到调
优后分箱状态。
[0092]
具体地，第二终端可以基于私钥ska解密标签统计信息enca(y_bin_sum)得到样本数据的初始分箱状态，可以得到各箱样本数据中的正样本数以及样本总数[event_count
i，j
，total_count
i，j
]。根据初始分箱状态确定各箱样本数据的证据权重，首先根据各箱样本数据的样本总数total_count
i，j
和正样本数event_count
i，j
确定各箱样本数据的负样本数not_event_count
i，j
＝total_count
i，j-event_count
i，j
，其次根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重其中，good
ij
＝event_count
i，j
，bad
ij
＝not_event_count
i，j
，good
ti
为第i类样本数据中的正样本总数，bad
ti
为第i类样本数据中的负样本总数。解密标签统计信息得到初始分箱状态的同时不会获取到具体的样本数据，避免对样本数据造成泄漏。
[0093]
通过对各箱样本数据的证据权重进行单调调优，实现对初始分箱状态的调整，得到调优后分箱状态。
[0094]
需要说明的是，在确定调优后分箱状态后，可以通过约束各箱样本数据之间的差异阈值和/最小分箱数，优化证据权重的单调调优结果，进一步优化调优后分箱状态。
[0095]
本发明实施例中，实现根据样本数据对应的标签统计信息确定各箱样本数据的证据权重，对各证据权重进行调优可以实现对初始分箱状态的调整，得到调优后分箱状态。
[0096]
步骤370、第二终端将调优后分箱状态发送至第一终端。
[0097]
步骤380、第一终端基于调优后分箱状态对样本数据进行再次分箱，得到多箱目标样本数据。
[0098]
具体地，根据调优后分箱状态中的[调优后箱编号、调优后左箱编号、调优后右箱编号]对初始分箱状态中的[箱编号、左阈值、右阈值]进行更新，得到各箱目标样本数据对应的[目标箱编号、目标左阈值、目标右阈值]。具体可以基于调优后分箱状态中[调优后箱编号、调优后左箱编号、调优后右箱编号]对初始分箱得到的各箱样本数据进行合并，得到多箱目标样本数据，同时可以得到各箱目标样本数据的[目标箱编号、目标左阈值、目标右阈值]。
[0099]
根据调优后分箱状态对样本数据进行再次分箱得到多箱目标样本数据后，对各箱目标样本数据进行离散化处理得到的离散目标样本数据可以将非线性的样本数据转换为线性的离散目标样本数据，即离散目标样本数据是单调的，可以用于训练线性模型。
[0100]
步骤390、第一终端确定各箱目标样本数据对应的目标证据权重，将各箱目标样本数据对应的目标证据权重作为目标数据对线性模型进行训练。
[0101]
本发明实施例中，调优后分箱状态可以对样本数据进行再次分箱，得到多箱目标样本数据，多箱目标样本数据所确定的多个目标数据可以用于对样本数据与线性模型的输出不存在直接线性关系时的线性模型进行训练。
[0102]
本发明实施例提供的数据处理方法的实现方式，具备执行前述任一数据处理方法相应的功能模块和有益效果。
[0103]
图4为本发明实施例提供的一种数据处理装置的结构示意图，该装置与上述各实施例的数据处理方法属于同一个发明构思，在数据处理装置的实施例中未详尽描述的细节内容，可以参考上述数据处理方法的实施例。
[0104]
该数据处理装置的具体结构如图4所示，包括：
[0105]
分箱模块410，用于对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；
[0106]
确定模块420，用于根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；
[0107]
执行模块430，用于根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
[0108]
在上述实施例的基础上，分箱模块410，具体用于：
[0109]
基于所述样本数据所包含的特征信息对所述样本数据进行分类，将所述样本数据划分为i类；其中，i表示特征编号；对各类样本数据进行分箱，将各类样本数据划分为j箱；其中，j表示箱编号；根据i类被划分为j箱的各箱样本数据确定所述初始分箱状态；其中，所述初始分箱状态包括各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数。
[0110]
在上述实施例的基础上，确定模块420，具体用于：
[0111]
基于各箱样本数据所包含的各所述样本数据对应的标签的和值，确定各箱样本数据的正样本数；基于各箱样本数据的正样本数以及所述初始分箱状态所包含的各箱样本数据的样本总数，确定各箱样本数据的负样本数；根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重。
[0112]
进一步地，根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重，包括：
[0113]
根据各箱样本数据的正样本数确定各类样本数据中的正样本总数；根据各箱样本数据的负样本数确定各类样本数据中的负样本总数；基于各箱样本数据的正样本数以及各箱样本数据所属各类样本数据中的正样本总数确定各箱样本数据对应的第一比值，基于各箱样本数据的负样本数以及各箱样本数据所属各类样本数据中的负样本总数确定各箱样本数据对应的第二比值，根据各箱样本数据对应的所述第一比值和所述第二比值确定各箱样本数据的证据权重。
[0114]
进一步地，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态，包括：
[0115]
确定各箱样本数据的合并状态，使得基于合并状态对各箱样本数据进行合并后，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据权重单调递增或者单调递减；根据各箱样本数据的合并状态确定所述调优后分箱状态。
[0116]
在上述实施例的基础上，执行模块430，具体用于：
[0117]
基于所述调优后分箱状态所包含的调优后箱编号、调优后左箱编号和调优后右箱编号对所述样本数据进行再次分箱，得到多箱目标样本数据。
[0118]
在上述实施例的基础上，该装置还包括：
[0119]
训练模块，用于确定各箱目标样本数据对应的目标证据权重，将各箱目标样本数据对应的目标证据权重确定作为目标数据对线性模型进行训练。
[0120]
本发明实施例所提供的数据处理装置可执行本发明任意实施例所提供的数据处理方法，具备执行前述任一数据处理方法相应的功能模块和有益效果。
[0121]
值得注意的是，上述数据处理装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。
[0122]
图5为本发明实施例提供的一种计算机设备的结构示意图。图5示出了适于用来实现本发明实施方式的示例性计算机设备的框图。图5显示的计算机设备5仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0123]
如图5所示，计算机设备5以通用计算电子设备的形式表现。计算机设备5的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
[0124]
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(isa)总线，微通道体系结构(mac)总线，增强型isa总线、视频电子标准协会(vesa)局域总线以及外围组件互连(pci)总线。
[0125]
计算机设备5典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备5访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0126]
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(ram)30和/或高速缓存存储器32。计算机设备5可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图5未显示，通常称为“硬盘驱动器”)。尽管图5中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如cd-rom,dvd-rom或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。系统存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0127]
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如系统存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
[0128]
计算机设备5也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备5交互的设备通信，和/或与使得该计算机设备5能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备5还可以通过网络适配器20与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图5所示，网络适配器20通过总线18与计算机设备5的其它模块通信。应当明白，尽管图5中未示出，可以结合计算机设备5使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
[0129]
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及页面显示，例如实现本发实施例所提供的数据处理方法，该方法包括：
[0130]
对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；
[0131]
根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；
[0132]
根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
[0133]
当然，本领域技术人员可以理解，处理器还可以实现本发明任意实施例所提供的数据处理方法的技术方案。
[0134]
本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现例如本发实施例所提供的数据处理方法，该方法包括：
[0135]
对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；
[0136]
根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；
[0137]
根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。
[0138]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于：电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0139]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0140]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、rf等等，或者上述的任意合适的组合。
[0141]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通
过因特网连接)。
[0142]
本领域普通技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个计算装置上，或者分布在多个计算装置所组成的网络上，可选地，他们可以用计算机装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件的结合。
[0143]
另外，本发明技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。
[0144]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

技术特征：
1.一种数据处理方法，其特征在于，包括：对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。2.根据权利要求1所述的数据处理方法，其特征在于，对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态，包括：基于所述样本数据所包含的特征信息对所述样本数据进行分类，将所述样本数据划分为i类；其中，i表示特征编号；对各类样本数据进行分箱，将各类样本数据划分为j箱，其中，j表示箱编号；根据i类被划分为j箱的各箱样本数据确定所述初始分箱状态，其中，所述初始分箱状态包括各箱样本数据的特征编号、箱编号、左阈值、右阈值以及样本总数。3.根据权利要求2所述的数据处理方法，其特征在于，根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，包括：基于各箱样本数据所包含的各所述样本数据对应的标签的和值，确定各箱样本数据的正样本数；基于各箱样本数据的正样本数以及所述初始分箱状态所包含的各箱样本数据的样本总数，确定各箱样本数据的负样本数；根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重。4.根据权利要求3所述的数据处理方法，其特征在于，根据各箱样本数据的正样本数和负样本数确定各箱样本数据的证据权重，包括：根据各箱样本数据的正样本数确定各类样本数据中的正样本总数；根据各箱样本数据的负样本数确定各类样本数据中的负样本总数；基于各箱样本数据的正样本数以及各箱样本数据所属各类样本数据中的正样本总数确定各箱样本数据对应的第一比值，基于各箱样本数据的负样本数以及各箱样本数据所属各类样本数据中的负样本总数确定各箱样本数据对应的第二比值，根据各箱样本数据对应的所述第一比值和所述第二比值确定各箱样本数据的证据权重。5.根据权利要求3所述的数据处理方法，其特征在于，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态，包括：确定各箱样本数据的合并状态，使得基于合并状态对各箱样本数据进行合并后，得到的合并样本数据对应的证据权重以及其他各箱样本数据的证据权重单调递增或者单调递减；根据各箱样本数据的合并状态确定所述调优后分箱状态。6.根据权利要求2所述的数据处理方法，其特征在于，根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据，包括：基于所述调优后分箱状态所包含的调优后箱编号、调优后左箱编号和调优后右箱编号对所述样本数据进行再次分箱，得到多箱目标样本数据。7.根据权利要求5所述的数据处理方法，其特征在于，还包括：确定各箱目标样本数据对应的目标证据权重，将各箱目标样本数据对应的目标证据权
重作为目标数据对线性模型进行训练。8.一种数据处理装置，其特征在于，包括：分箱模块，用于对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；确定模块，用于根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；执行模块，用于根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7中任一所述的数据处理方法。10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7中任一所述的数据处理方法。

技术总结
本发明实施例公开了一种数据处理方法、装置、设备和存储介质，该方法包括：对样本数据进行初始分箱，并确定初始分箱后所述样本数据对应的初始分箱状态；根据各所述样本数据对应的标签以及所述初始分箱状态确定各箱样本数据的证据权重，通过对各箱样本数据的证据权重进行单调调优确定调优后分箱状态；根据所述调优后分箱状态对所述样本数据进行再次分箱，得到多箱目标样本数据。上述技术方案，确定初始分箱后各箱样本数据的证据权重后，对证据权重进行单调调优得到调优后证据权重，根据调优后证据权重所确定的调优后分箱状态对样本数据进行再次分箱，得到多箱目标样本数据，实现对样本数据的线性分箱。本数据的线性分箱。本数据的线性分箱。


技术研发人员：刘帅朝 陈行 张德
受保护的技术使用者：京东科技控股股份有限公司
技术研发日：2023.03.30
技术公布日：2023/7/22