一种基于元分析与贝叶斯因子的AB实验计算方法及装置与流程

一种基于元分析与贝叶斯因子的ab实验计算方法及装置
技术领域
1.本发明涉及一种ab实验的改进计算方法。


背景技术：

2.ab实验(a/b testing，也称a/b测试)是一种通常涉及两种变形a和b的随机化试验(randomized experiment)。它应用了统计学上的统计假设检验(statistical hypothesis testing)和双样本假设检验(two-sample hypothesis testing)，通过检验用户对两种变形a、b的反应，来判断哪种变形更佳。ab实验例如可用于评估新策略的效果，将用户随机分为两组——对照组(control group)采用现有策略，实验组(experimental group)采用新策略——比较两组结果作为对新策略效果的评估。在生产实践中，常常需要判断新策略是否对某些指标不产生影响。传统的ab实验无法判断新策略是否不产生影响，只能够对“有影响”提供数据支持，无法对“不产生影响”提供数据的支持(会导致循环论证)。
3.推断统计(statistical inference，也称推论统计学)是利用数据分析来推断基础概率分布的特性的过程。ab实验通常采用推断统计进行假设检验，不同的推断统计方法直接影响ab实验的判断结果。目前ab实验采用的推断统计方法包括：以用户为分析单元进行相应的推断统计、以时间周期为分析单元进行配对样本t检验(paired samples t-test)等。前者在实践上容易出现辛普森悖论(simpson's paradox)出现误判，且有信息泄露的风险。后者则损失了大量用户信息，实验周期长且实验敏感性低。辛普森悖论是概率和统计中的一种现象，是指趋势出现在几组数据中，但当这些组被合并后趋势消失或反转。在原理上，辛普森悖论经常出现在采样不均衡的情况中。辛普森悖论在灰度发布(grayscale release)中经常出现。在生产实践中，软件的新功能通常会以灰度的形式逐渐扩量发布，例如第一天仅对1％的用户发布，第二天5％，第三天10％
……
同样是采样不均衡的情况，便很容易出现辛普森悖论。
4.元分析(meta-analysis)是指将多个研究结果整合在一起的统计方法。元分析对大量现有实证文献进行汇总统计，定量地汇总这些文献的实验结果来描述变量间的关系，是一种对分析的结果再分析的分析方法。
5.贝叶斯因子(bayes factor)是两个相互竞争的统计模型由各自证据所代表的比率，用于量化支持一个模型优于另一个模型。贝叶斯因子可被认为是使用积分似然(integrated likelihood)或边缘似然(marginal likelihood)的似然比检验(likelihood-ratio test)的贝叶斯模拟(bayesian analog)。


技术实现要素：

6.本发明所要解决的技术问题是提出一种针对ab实验的安全、准确、敏感且稳健的计算方法，能够避免出现辛普森悖论，且支持“不产生影响”的结论。
7.为解决上述技术问题，本发明提出了一种基于元分析与贝叶斯因子的ab实验计算方法，包括如下步骤。步骤s1：将全体用户用随机抽样的方法分为若干区间，每个区间中都
必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；ab实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。步骤s2：根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。步骤s3：根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。
8.进一步地，所述步骤s1中，还根据实验的指标的数据类型将指标划分为连续变量与比例变量两类；连续变量指通过计算平均值得到的指标；比例变量指某数据占总体的比重。
9.进一步地，所述步骤s1中，连续变量的效应量cohen’s d的计算公式为：d的计算公式为：其中，m
实验组
表示该区间内实验组用户的该连续变量指标的平均值，m
对照组
表示该区间内对照组用户的该连续变量指标的平均值，sd表示联合标准差。表示该区间内对照组用户的该连续变量指标的平均值，sd表示联合标准差。其中，n
对照组
表示该区间内对照组用户的数量，sd
对照组
表示对照组的标准差，n
实验组
表示该区间内实验组用户的数量，sd
实验组
表示实验组的标准差。
10.进一步地，所述步骤s1中，比例变量的效应量logor的计算公式为：进一步地，所述步骤s1中，比例变量的效应量logor的计算公式为：其中，p
实验组
表示该区间内实验组用户与该区间内全体用户相比的该比例变量指标的值，p
对照组
表示该区间内对照组用户与该区间内全体用户相比的该比例变量指标的值。
11.进一步地，在所述步骤s2之后，利用计算得到的某个指标的总体的效应量，通过控制第二类错误的发生概率评估ab实验所需要的最低进测人数，从而计算实验的最短周期、实验组与对照组的人数比例；所述第二类错误的发生概率是指实际策略有影响，但是由于抽样误差得到不显著结果时的概率。
12.优选地，所述步骤s2中，还通过汇总计算得到总体的置信区间；所述步骤s3中，还通过计算得到新策略对该指标的影响的置信区间。
13.进一步地，在步骤s3之后还包括步骤s4。步骤s4：对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子bf10，并根据贝叶斯因子bf10判断实验组与对照组是否无差异。
14.优选地，当bf10＜1/3时，判定实验组与对照组无差异的概率是有差异概率的1/3以下，给出实验组与对照组无差异的结论。
15.本发明还提出了一种基于元分析与贝叶斯因子的ab实验计算装置，包括区间效应量计算单元、总体效应量计算单元、实验组指标结果计算单元。所述区间效应量计算单元用来将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；ab实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。所述总体效应量计算单元用来根据每一区间的用户数量对该区间的某
个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。所述实验组指标结果计算单元用来根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。
16.进一步地，所述基于元分析与贝叶斯因子的ab实验计算装置还包括贝叶斯因子计算单元。所述贝叶斯因子计算单元用来对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子bf10，并根据贝叶斯因子bf10判断实验组与对照组是否无差异。
17.本发明取得的技术效果是：针对ab实验的数据统计方法上的问题，采用了元分析的方法，并引入了贝叶斯因子，能够有效避免辛普森悖论，并支持得到“新策略不产生影响”的结论，提升数据利用率，有效缩短实验周期。
18.本发明不会产生辛普森悖论，原因在于本发明在步骤s2中是对差异值进行加权求和，而非对目标本身进行汇总计算。辛普森悖论出现的原因是，在比较实验组对照组结果的差异时，两组组内除了新策略的影响外，混入了其他因素的影响。在步骤s1中，我们首先将全体用户分为了若干区间，每个区间内用户的特征大致相似，因此每个区间内实验组对照组的目标变量的差异都可以视为新策略的影响量(用效应量定量衡量)。在步骤s2中，我们对每个效应量根据每个区间的样本量加权求和，得到整体的效应量，用来评价新策略对目标变量的总体的影响。而事实上，除了新策略外，还有许多其他因素会影响目标变量，在本发明步骤s1中，保证每个区间内用户的特征大致相似做到了控制变量，因此能够在样本比例不均衡时消除其他影响因素的影响。
19.本发明能够提升数据利用率，是因为本发明在步骤s1计算效应量、步骤s2进行加权汇总时，都分别考虑到了用户的实际数量与分布。而以时间周期为分析单元进行配对样本t检验，便忽略了这一点。当目标变量为连续变量时，根据步骤s1计算的cohen’s d的计算公式，其分母为联合标准差，与实际的样本量有关，体现了实验中的用户的分布。当目标变量为比例变量时，步骤s1并未体现用户的分布。在步骤s2中，不论目标变量是连续变量还是比例变量，对效应量进行差异检验、步骤s4中计算贝叶斯因子bf10时均使用到了实际的样本量。而以时间周期为分析单元进行配对样本t检验这一方法，不论是样本量扩大或缩小多少倍，目标变量为连续变量时，用户离散程度扩大或缩小多少倍，均不会影响最终结果。但是ab实验，包括推断统计的核心是判断对所计算的新策略的影响的信心大小，以时间周期为分析单元进行配对样本t检验这一方法忽略了实际样本量与实际用户离散程度的影响，降低了数据利用率，从而降低了对ab实验结论的信心。
20.本发明能够缩短实验周期，是因为本发明的统计方法(即多个区间时使用元分析，单个区间时等同于以用户为分析单元进行相应的推断统计的方法)的适用条件相较于以时间周期为分析单元进行配对样本t检验这一方法更宽松。元分析的要求是至少有两个区间，每个区间有充足的实验组对照组样本；而配对样本t检验在以时间周期为分析单元时，要求至少有7个时间周期的分析单元(相当于在元分析中需要有7个区间)才能够计算，不论每个分析单元内的实验组对照组样本量的多少。因此本发明的实验周期的要求更短。
附图说明
21.图1是基于元分析与贝叶斯因子的ab实验计算方法的实施例一的流程示意图。
22.图2是基于元分析与贝叶斯因子的ab实验计算方法的实施例二的流程示意图。
23.图3是基于元分析与贝叶斯因子的ab实验计算装置的实施例一的结构示意图。
24.图4是基于元分析与贝叶斯因子的ab实验计算装置的实施例二的结构示意图。
25.图中附图标记说明：1为区间效应量计算单元、2为总体效应量计算单元、3为实验组指标结果计算单元、4为贝叶斯因子计算单元。
具体实施方式
26.请参阅图1，本发明提出的基于元分析与贝叶斯因子的ab实验计算方法的实施例一包括如下步骤。
27.步骤s1：参与ab实验的用户分为对照组和实验组两组，对照组采用现有策略，实验组采用新策略。将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户。在每个区间内，对照组用户和实验组用户的特征大致相似(基本相同)。所述特征例如包括性别分布、机型分布、实验日期等。在每个区间内，对照组用户和实验组用户的数量比无要求。ab实验中所关注的目标变量即为实验的指标。对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量(effect size)。效应量是衡量每一区间内对照组用户和实验组用户在同一个指标上差异的量。
28.根据实验的指标的数据类型将指标划分为连续变量(continuous scale)与比例变量(proportional scale)两类。连续变量在此处特指通过计算平均值得到的指标，如人均付费金额、平均满意度等。比例变量反映的是某数据占总体的比重。例如，购买率、投诉率等指标均反映的是总体中出现某行为(如购买、投诉)的人占总人数的比例，因此均属于比例变量。如果ab实验有m+n个指标，m、n均为大于或等于零的整数，其中m个指标属于连续变量，另有n个指标属于比例变量，那么每个区间就有m个连续变量的效应量和n个比例变量的效应量。这一步是将每一区间视为传统元分析中的一篇论文的一个ab实验。
29.连续变量的效应量cohen’s d的计算公式为：其中，m
实验组
表示该区间内实验组用户的该连续变量指标的平均值，m
对照组
表示该区间内对照组用户的该连续变量指标的平均值，sd表示联合标准差，用来衡量用户在这个目标变量上的离散程度。
30.其中，n
对照组
表示该区间内对照组用户的数量，sd
对照组
表示对照组的标准差，n
实验组
表示该区间内实验组用户的数量，sd
实验组
表示实验组的标准差。
31.比例变量的效应量logor的计算公式为：其中，p
实验组
表示该区间内实验组用户与该区间内全体用户相比的该比例变量指标的值，p
对照组
表示该区间内对照组用户与该区间内全体用户相比的该比例变量指标的值。
32.步骤s2：根据每一区间的样本量(即用户数量)对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体(即全部区间，即ab实验的全体用户)的效应量。假设ab实
验有m+n个指标，则得到m+n个指标的总体的效应量。利用实际的样本量，对总体效应量进行推断统计中的差异检验，得到实验组对照组是否有显著差异的结论，是否显著反映了对新策略有影响的结论是否有信心。特别地，当ab实验早期仅有一个区间时，直接跳过步骤s2进入步骤s3。这一步就是采用元分析的计算方法，例如采用r语言中的metafor包，这是一个进行元分析的工具。
33.可选地，在所述步骤s2之后，利用计算得到的某个指标的总体的效应量，通过控制第二类错误(typeⅱerror)的发生概率，则可以评估ab实验所需要的最低进测人数，从而计算实验的最短周期、实验组与对照组的人数比例，用于控制线上风险与项目进度。所述第二类错误的发生概率是指实际策略有影响，但是由于抽样误差得到不显著结果时的概率，即β值。
34.步骤s3：根据某个指标的总体的效应量与对照组(即全体对照组用户)的该指标结果计算出实验组(即全体实验组用户)的该指标结果。实验组的该指标结果更容易让人理解，从中可得到新策略对该指标的影响。例如对照组的“人均营收”连续变量通过“人均营收”连续变量的效应量的计算公式(公式一)定量计算出实验组的“人均营收”连续变量，其中sd采用公式二计算，由此可知新策略对营收的影响的具体金额为多少。又如对照组的“按钮点击率”比例变量通过“按钮点击率”比例变量的效应量的计算公式(公式三)定量计算出实验组的“按钮点击率”比例变量，由此可知新策略的总体点击量提升了多少次。
35.可选地，所述步骤s2中，还通过汇总计算得到总体的置信区间(针对全部效应量，无实际意义)。那么在所述步骤s3中，还通过计算得到新策略对营收的影响的金额置信区间(针对某一实验指标，有实际意义)、新策略的总体点击量提升的置信区间(针对某一实验指标，有实际意义)。
36.如果ab实验的目的是为了验证实验组与对照组有差异，以上三个步骤就结束了。后续还可以计算步骤s1中两种效应量的差异大小，这些属于现有技术，在此不再赘述。
37.请参阅图2，本发明提出的基于元分析与贝叶斯因子的ab实验计算方法的实施例二在实施例一的基础上，在步骤s3之后还包括步骤s4。实施例二中新增的步骤s4用于验证ab实验的实验组与对照组无差异(即判断新策略是否不产生影响)。
38.步骤s4：对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子bf10(bayes factor 10)，并根据贝叶斯因子bf10判断实验组与对照组是否无差异。b10的大小反映了对新策略有无影响的信心大小。该计算例如参考《心理环境通报与评论》(psychonomic bulletin&review)期刊2009年第16期中的文章《接受和拒绝无效假设的贝叶斯t检验》(bayesian t tests for accepting and rejecting the null hypothesis)中的公式(1)进行。该文献中的公式(1)用于计算bf01，bf10是bf01的倒数。例如，当bf10＜1/3时，可以判定实验组与对照组无差异(即新策略不产生影响)的概率是有差异(即新策略产生影响)概率的1/3以下，由此给出实验组与对照组无差异的结论。
39.实施例二引入了贝叶斯因子，通过计算似然比(likelihood ratio，lr)来评估“传统策略与新策略有差异”与“传统策略与新策略无差异”的概率比，从而可以判断是否可以认为新策略无影响。
40.传统的ab实验计算方法主要有如下两种：以用户为分析单元进行相应的推断统
计、以时间周期为分析单元进行配对样本t检验。下面将以在网站或软件的购物车底部添加横幅(banner)广告作为新策略，在网站或软件的购物车底部不添加横幅广告作为传统策略，进行ab实验以判断新策略是否对用户的下单金额有影响为例。
41.如所述ab实验采用现有的以用户为分析单元进行推断统计的方式，将计算在所述ab实验中每个用户进入购物车的时间、实验组别、下单金额，作为数据底表进行存档与沟通。在数据沟通的每一个环节使用该底表进行数据的记录，这扩大了数据泄露的风险。最后采用上述步骤s1得出结论。当所述ab实验地目的为验证新策略是否未产生影响时，这种方式完全无法支持。
42.如所述ab实验采用以时间周期为分析单元进行配对样本t检验的方式，将计算每个时间周期内用户的整体统计情况，作为数据底表进行存档与沟通。最后采用上述步骤s1得出结论。这种方式的数据沟通成本较低，但是丢失了每一区间的样本量与标准差后的信息，汇总时计算的是算数平均数而不是加权平均数，汇总结果更难代表整体，同时不能处理诸如节假日、实验中途扩量等场景，容易得出错误结论。当所述ab实验的目的为验证新策略是否未产生影响时，这种方式也完全无法支持。
43.请参阅图3，本发明提出的基于元分析与贝叶斯因子的ab实验计算装置的实施例一包括区间效应量计算单元1、总体效应量计算单元2、实验组指标结果计算单元3。图3所示的ab实验计算装置的实施例一对应于图1所示的ab实验计算方法的实施例一。
44.所述区间效应量计算单元1用来将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户。在每个区间内，对照组用户和实验组用户的特征基本相同。ab实验中所关注的目标变量即为实验的指标。对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。
45.所述总体效应量计算单元2用来根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。
46.所述实验组指标结果计算单元3用来根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果。
47.请参阅图4，本发明提出的基于元分析与贝叶斯因子的ab实验计算装置的实施例二在实施例一的基础上，还包括贝叶斯因子计算单元4。图4所示的ab实验计算装置的实施例二对应于图2所示的ab实验计算方法的实施例二。
48.所述贝叶斯因子计算单元4用来对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子bf10，并根据贝叶斯因子bf10判断实验组与对照组是否无差异。
49.本发明采用了元分析的统计方法，只需要用汇总数据进行数据沟通与数据存档，只需使用更少的数据，这减少了数据泄露的风险。本发明还采用了贝叶斯因子的概念，元分析与贝叶斯因子的新性地结合并应用在线上ab实验中，能够用来验证新策略是否不产生影响，解决了传统线上ab实验计算方法中安全性、准确性、敏感性且稳健性方面的问题。
50.以上仅为本发明的优选实施例，并不用于限定本发明。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于元分析与贝叶斯因子的ab实验计算方法，其特征是，包括如下步骤；步骤s1：将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；ab实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量；步骤s2：根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量；步骤s3：根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。2.根据权利要求1所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，所述步骤s1中，还根据实验的指标的数据类型将指标划分为连续变量与比例变量两类；连续变量指通过计算平均值得到的指标；比例变量指某数据占总体的比重。3.根据权利要求2所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，所述步骤s1中，连续变量的效应量cohen’s d的计算公式为：其中，m
实验组
表示该区间内实验组用户的该连续变量指标的平均值，m
对照组
表示该区间内对照组用户的该连续变量指标的平均值，sd表示联合标准差；其中，n
对照组
表示该区间内对照组用户的数量，sd
对照组
表示对照组的标准差，n
实验组
表示该区间内实验组用户的数量，sd
实验组
表示实验组的标准差。4.根据权利要求2所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，所述步骤s1中，比例变量的效应量logor的计算公式为：其中，p
实验组
表示该区间内实验组用户与该区间内全体用户相比的该比例变量指标的值，p
对照组
表示该区间内对照组用户与该区间内全体用户相比的该比例变量指标的值。5.根据权利要求2所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，在所述步骤s2之后，利用计算得到的某个指标的总体的效应量，通过控制第二类错误的发生概率评估ab实验所需要的最低进测人数，从而计算实验的最短周期、实验组与对照组的人数比例；所述第二类错误的发生概率是指实际策略有影响，但是由于抽样误差得到不显著结果时的概率。6.根据权利要求1所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，所述步骤s2中，还通过汇总计算得到总体的置信区间；所述步骤s3中，还通过计算得到新策略对该指标的影响的置信区间。7.根据权利要求1所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，在步骤s3之后还包括步骤s4；步骤s4：对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子bf10，并根据贝叶斯因子
bf10判断实验组与对照组是否无差异。8.根据权利要求7所述的基于元分析与贝叶斯因子的ab实验计算方法，其特征是，当bf10＜1/3时，判定实验组与对照组无差异的概率是有差异概率的1/3以下，给出实验组与对照组无差异的结论。9.一种基于元分析与贝叶斯因子的ab实验计算装置，其特征是，包括区间效应量计算单元、总体效应量计算单元、实验组指标结果计算单元；所述区间效应量计算单元用来将全体用户用随机抽样的方法分为若干区间，每个区间中都必须包含对照组用户和实验组用户；在每个区间内，对照组用户和实验组用户的特征基本相同；ab实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量；所述总体效应量计算单元用来根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量；所述实验组指标结果计算单元用来根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。10.根据权利要求9所述的基于元分析与贝叶斯因子的ab实验计算装置，其特征是，还包括贝叶斯因子计算单元；所述贝叶斯因子计算单元用来对于每一指标，将实验组与对照组在每一区间计算出来的效应量放在t分布中，并结合实验组和对照组的实际样本量，进而计算贝叶斯因子bf10，并根据贝叶斯因子bf10判断实验组与对照组是否无差异。

技术总结
本发明公开了一种基于元分析与贝叶斯因子的AB实验计算方法，包括如下步骤。步骤S1：将全体用户分为若干区间，每个区间中都必须包含对照组用户和实验组用户；AB实验中所关注的目标变量即为实验的指标；对每一区间内的对照组用户和实验组用户的每一指标分别进行差异检验，输出效应量。步骤S2：根据每一区间的用户数量对该区间的某个指标的效应量进行加权，汇总计算得到该指标的总体的效应量。步骤S3：根据某个指标的总体的效应量与对照组的该指标结果计算出实验组的该指标结果，得到新策略对该指标的影响。本发明采用了元分析的统计方法，减少了数据泄露的风险。减少了数据泄露的风险。减少了数据泄露的风险。


技术研发人员：宋星云 尤伟文 赵晓风
受保护的技术使用者：上海生腾数据科技有限公司
技术研发日：2023.06.28
技术公布日：2023/9/20