一种基于指标大规模自动化AB实验分流方法技术

一种基于指标大规模自动化AB实验分流方法，先根据i t em的数量来设定AB实验的迭代数，再根据迭代数计算每个迭代时间长度，设定关键指标并开启AB实验，在每个迭代时间结束后，计算各个实验版本的指标高低，保留最高的AB实验版本，从未执行的item中再选取若干进行补齐，再次进行AB实验迭代，往返直至item取完，最终得出最优item作为整个AB实验的结果。本发明专利技术解决了在传统的AB实验过程中，无法自动调整AB实验流量比例的问题，将手动盯盘各个迭代替换为自动化计算初始迭代数及迭代时长，通过每个迭代基于指标结果的自动化的取舍i tem来进行AB实验的自动化执行，使人工成本得到降低，AB实验的执行效率得到提高。AB实验的执行效率得到提高。AB实验的执行效率得到提高。

【技术实现步骤摘要】
一种基于指标大规模自动化AB实验分流方法


[0001]本专利技术涉及计算机数据处理应用
，尤其是一种基于指标大规模自动化AB实验分流方法。

技术介绍

[0002]AB实验是在产品应用或页面或流程制作两个(A/B)或多个(A/B/N)版本，在同一个时间维度，从全体用户流量中划分出组成成分相同或相似的访客群组，来随机的访问这些不同的实验版本，运行不同的策略或展示不同的界面以及流程，为不同的实验版本设置不同的实验方案，收集各个群组的用户体验数据和业务数据，观察分析实验指标效果，通过数据驱动来推进产品的迭代、验证算法效果、获取业务产出等等，得到实验结论，最后分析评估出最优版本，并正式采用，此种实验方法被广泛应用在互联网产品中进行产品的迭代优化。
[0003]现代互联网产品在庞大的用户群体下，无法快速的决策某项功能的正确性以及最优方案，所以一个快速且有效的AB实验方案对整个产品的更迭优化起着至关重要的作用，一般情况下，为同一个优化目标制定两个方案，让同一用户群体中的一部分用户命中A方案，同时另一部分用户命中B方案，统计并比较不同方案下的点击率、转化率等数据指标，通过不同方案的数据表现，在确定数据表现通过假设检验后决定最终方案，而A B实验过程中将用户群体进行分流的步骤又是决定AB实验是否能验证出最优指标的关键，AB实验的分流需要确保各个实验版本中所分配的用户流量符合预期，且所分配的用户流量满足一致性、均匀性以及独立性，才能确保AB实验的有效性。
[0004]现有的流量分流方法，当有千级别的item(项目)的情况下，会进行多轮的手动AB实验迭代，人工盯盘上线下线AB实验，最终获取最优的i tem作为最终的结果上线一个AB实验，但此种分流方法采用人工盯盘的方式，需要大量的人工介入，分流效果差，人工成本高。

技术实现思路

[0005]本专利技术的目的在于克服现有技术的不足，提供一种将手动盯盘的各个迭代进行自动化调整AB实验流量比例的基于指标大规模自动化AB实验分流方法。
[0006]本专利技术解决其技术问题是采取以下技术方案实现的：
[0007]一种基于指标大规模自动化AB实验分流方法，包括以下步骤：
[0008]S1、根据item的数量来设定AB实验的迭代数，所述item为AB实验中的实验版本，所述迭代数为AB实验中进行往返测试的数量，通过迭代数来确定AB实验的往返执行次数；
[0009]S2、根据总的活动时间和所述迭代数来确定每个迭代周期的时间长度，迭代周期的时间长度决定了每个迭代的执行时间；
[0010]S3、配置AB实验挂载的指标，所述指标为AB实验中影响最大的指标数据，通过判断挂载的指标来选取最优的item；
[0011]S4、开启AB实验，每次迭代丢入n个item进行AB实验，每到一个迭代周期的执行时
间结束后，计算各个AB实验版本的指标高低，保留指标最高的AB实验版本，再从未执行的item中取出m个进行补齐，使数量仍为n个，即m＝n
‑
1，并再次进行AB实验迭代，依次往返，直至n个item取完，迭代往复的次数为步骤S1中的迭代数，每次迭代的时间则为步骤S2中的每个迭代周期的时间长度，根据每轮迭代选出指标最高的item的规则来最终确定最优的item，并作为整个AB实验的结果。
[0012]优选的，所述步骤S1中的AB实验的迭代数的计算公式为：
[0013]迭代数＝item的数量/n，
[0014]上式中的item的数量为整个AB实验中的item的总数，n为每次迭代的item的数量。
[0015]优选的，所述步骤S2中的每个迭代周期的时间长度的计算公式为：
[0016]每个迭代周期的时间长度＝活动时间/迭代数，
[0017]上式中的活动时间为AB实验的执行时间，迭代数为步骤S1中计算所得的AB实验往返测试的数量。
[0018]优选的，所述步骤S3中AB实验挂载的指标包括点击率、销售额、页面浏览时间、优惠券金额、优惠券消费数量，指标表示AB实验中最为关键的测试信息，可根据实际要测试的项目而定，不是一成不变的。
[0019]优选的，所述步骤S4中，n的取值为item总数的整除数，可以确保所有的item平均进行分配，n也可以取定值，只要能达到将所有的item进行分配即可。
[0020]优选的，所述步骤S4中，n的取值为5，则m取为4，即每次迭代中，需投入5个item进行AB实验。
[0021]优选的，所述步骤S4中在每个迭代完成后，各个AB实验版本的指标高低的计算通过前端的埋点进行数据统计，得出该个迭代中的item根据指标由高到低的排序，确定该个迭代中指标最高的item，并将此轮迭代选出的最高指标的item保留到下一轮，其余则全部舍弃。
[0022]本专利技术的优点和积极效果是：
[0023]本专利技术的分流方法先设定实验迭代数，再根据迭代数计算每个迭代时间长度，开启AB实验，在每个迭代时间结束后，计算各个实验版本的指标高低，保留最高的AB实验版本，从未执行的item中再选取若干进行补齐，再次进行AB实验迭代，往返直至item取完，最终得出最优的item作为整个AB实验的结果，解决了在传统的AB实验过程中，无法自动调整AB实验流量比例的问题，将手动盯盘各个迭代替换为自动化计算初始迭代数及迭代时长，通过每个迭代基于指标结果的自动化的取舍item来进行AB实验的自动化执行，使人工成本得到降低，AB实验的执行效率得到提高。
附图说明
[0024]图1是本专利技术的分流方法步骤的流程示意图。
具体实施方式
[0025]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他
实施例，都属于本专利技术保护的范围。
[0026]需要说明的是，当组件被称为“固定于”另一个组件，它可以直接在另一个组件上或者也可以存在居中的组件。当一个组件被认为是“连接”另一个组件，它可以是直接连接到另一个组件或者可能同时存在居中组件。当一个组件被认为是“设置于”另一个组件，它可以是直接设置在另一个组件上或者可能同时存在居中组件。本文所使用的术语“垂直的”、“水平的”、“左”、“右”以及类似的表述只是为了说明的目的。
[0027]除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。本文所使用的术语“及/或”包括一个或多个相关的所列项目的任意的和所有的组合。
[0028]以下结合附图对本专利技术实施例做进一步详述：
[0029]如图1所示，本专利技术所述的一种基于指标大规模自动化AB实验分流方法，包括以下步骤：
[0030]S1、根据item的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于指标大规模自动化AB实验分流方法，其特征在于：包括以下步骤：S1、根据item的数量来设定AB实验的迭代数，所述item为AB实验中的实验版本，所述迭代数为AB实验中进行往返测试的数量，通过迭代数来确定AB实验的往返执行次数；S2、根据总的活动时间和所述迭代数来确定每个迭代周期的时间长度，迭代周期的时间长度决定了每个迭代的执行时间；S3、配置AB实验挂载的指标，所述指标为AB实验中影响最大的指标数据，通过判断挂载的指标来选取最优的item；S4、开启AB实验，每次迭代丢入n个item进行AB实验，每到一个迭代周期的执行时间结束后，计算各个AB实验版本的指标高低，保留指标最高的AB实验版本，再从未执行的item中取出m个进行补齐，使数量仍为n个，即m＝n
‑
1，并再次进行AB实验迭代，依次往返，直至n个item取完，迭代往复的次数为步骤S1中的迭代数，每次迭代的时间则为步骤S 2中的每个迭代周期的时间长度，根据每轮迭代选出指标最高的item的规则来最终确定最优的item，并作为整个AB实验的结果。2.根据权利要求1所述的一种基于指标大规模自动化AB实验分流方法，其特征在于：所述步骤S1中的AB实验的迭代数的计算公式为：迭代数＝item的数量/n，上式中的i...

【专利技术属性】
技术研发人员：史灵，
申请(专利权)人：杭州索引科技有限公司，
类型：发明
国别省市：