自动化AB实验方法和装置制造方法及图纸

本发明专利技术提供一种自动化AB实验方法和装置，所述方法包括以下步骤：S1，配置AB实验，其中，在配置AB实验时设置分流引擎的分流规则，所述分流规则包括用户群的第一分组信息；S2，将所述第一分组信息存储于数据库中；S3，所述用户群中的用户自动并发调用实验触发接口，以触发AB实验，得到实验结果，其中，所述实验结果包括所述用户群的第二分组信息；S4，从所述数据库中调取所述第一分组信息，并将所述第二分组信息与所述第一分组信息进行比较，以校验所述分流引擎是否分流准确。本发明专利技术能够提高AB实验效率，降低实验成本，并且还能够验证分流引擎的准确性。准确性。准确性。

【技术实现步骤摘要】
自动化AB实验方法和装置


[0001]本专利技术涉及AB实验
，具体涉及一种自动化AB实验方法和一种自动化AB实验装置。

技术介绍

[0002]AB实验是为网页或应用程序界面或流程制作两个(A/B)或多个(A/B/n)版本，在同一时间维度，分别让组成成分相同(相似)的访客群组(目标人群)随机的访问这些版本，收集各群组的用户体验数据和业务数据，最后分析、评估出最好版本，正式采用。
[0003]AB实验能够降低新产品或新特性的发布风险，为产品创新提供保障。然而，目前业界针对AB实验缺少自动化实验方案，无法快速进行AB实验，并且也无法校验实验中的分流结果是否准确。

技术实现思路

[0004]本专利技术为解决上述技术问题，提供了一种自动化AB实验方法和装置，能够提高AB实验效率，降低实验成本，并且还能够验证分流引擎的准确性。
[0005]本专利技术采用的技术方案如下：
[0006]一种自动化AB实验方法，包括以下步骤：S1，配置AB实验，其中，在配置AB实验时设置分流引擎的分流规则，所述分流规则包括用户群的第一分组信息；S2，将所述第一分组信息存储于数据库中；S3，所述用户群中的用户自动并发调用实验触发接口，以触发AB实验，得到实验结果，其中，所述实验结果包括所述用户群的第二分组信息；S4，从所述数据库中调取所述第一分组信息，并将所述第二分组信息与所述第一分组信息进行比较，以校验所述分流引擎是否分流准确。
[0007]所述用户群为多个用户的用户ID构成的集合，所述第一分组信息和所述第二分组信息均包含分组数量和每组中用户的数量占比。
[0008]通过运行自动化实验脚本，以执行步骤S3和S4。
[0009]多次执行所述步骤S3，并将每次执行所述步骤S3得到的第二分组信息均与所述第一分组信息进行比较，如果每次执行所述步骤S3得到的第二分组信息均与所述第一分组信息一致，则判断所述分流引擎分流准确。
[0010]一种自动化AB实验装置，包括：配置模块，所述配置模块用于配置AB实验，其中，在配置AB实验时设置分流引擎的分流规则，所述分流规则包括用户群的第一分组信息；存储模块，所述存储模块用于将所述第一分组信息存储于数据库中；实验模块，所述实验模块用于控制所述用户群中的用户自动并发调用实验触发接口，以触发AB实验，得到实验结果，其中，所述实验结果包括所述用户群的第二分组信息；校验模块，所述校验模块用于从所述数据库中调取所述第一分组信息，并将所述第二分组信息与所述第一分组信息进行比较，以校验所述分流引擎是否分流准确。
[0011]所述用户群为多个用户的用户ID构成的集合，所述第一分组信息和所述第二分组
信息均包含分组数量和每组中用户的数量占比。
[0012]所述实验模块和所述校验模块通过运行自动化实验脚本以实现各自功能。
[0013]所述实验模块多次触发AB实验，得到实验结果，所述校验模块将所述实验模块每次得到的第二分组信息均与所述第一分组信息进行比较，并在所述实验模块每次得到的第二分组信息均与所述第一分组信息一致时，判断所述分流引擎分流准确。
[0014]本专利技术的有益效果：
[0015]本专利技术通过用户群中的用户自动并发调用实验触发接口，以触发AB实验，并将实验得到的第二分组信息与存储的分流规则的第一分组信息进行校验，由此，能够提高AB实验效率，降低实验成本，并且还能够验证分流引擎的准确性。
附图说明
[0016]图1为本专利技术实施例的自动化AB实验方法的流程图；
[0017]图2为本专利技术实施例的自动化AB实验装置的方框示意图。
具体实施方式
[0018]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0019]如图1所示，本专利技术实施例的自动化AB实验方法包括以下步骤：
[0020]S1，配置AB实验，其中，在配置AB实验时设置分流引擎的分流规则，分流规则包括用户群的第一分组信息。
[0021]S2，将第一分组信息存储于数据库中。
[0022]为实现本专利技术实施例的自动化AB实验方法，提供进行AB实验的用户群、AB Test运营平台norns、AB Test运营系统saas以及数据库。
[0023]其中，进行AB实验的用户群为多个用户的用户ID构成的集合。可通过AB Test运营平台norns配置AB实验，第一分组信息包括分组数量和每组中用户的数量占比，即通过设置分流引擎的分流规则，使得分流引擎具有依照分流规则对用户群进行分组的功能。举例而言，针对某APP的三个版本，划分A组、B组、C组共三个分组，并设置三组用户数量的总占比为100％，设置A组、B组、C组中用户的数量占比分别为30％、40％、30％。
[0024]此外，在本专利技术的一个实施例中，还可手动设置任一个或多个分组的白名单，具体可将某一或某些用户ID手动添加到相应分组的白名单中，这样在进行后续的AB实验时，某分组白名单中的用户会固定地被分到该分组。
[0025]S3，用户群中的用户自动并发调用实验触发接口，以触发AB实验，得到实验结果，其中，实验结果包括用户群的第二分组信息。
[0026]S4，从数据库中调取第一分组信息，并将第二分组信息与第一分组信息进行比较，以校验分流引擎是否分流准确。
[0027]在本专利技术的一个实施例中，可预先编辑自动化实验脚本，并通过运行自动化实验脚本，以执行步骤S3和S4。
[0028]AB Test运营系统saas具有独立的实验触发接口(API)，通过运行自动化实验脚本，用户群中的用户可自动并发调用该实验触发接口，以触发AB实验，必然地，在AB实验中分流引擎会运行，对用户群进行分组。在本专利技术的实施例中将实时的AB实验所得到的分组信息称为第二分组信息，同样地，第二分组信息也包含分组数量和每组中用户的数量占比。
[0029]在得到实时的第二分组信息后，可从数据库中调取第一分组信息，校验二者是否一致。在本专利技术的一个实施例中，第二分组信息与第一分组信息一致是指，第二分组信息中的分组数量和每组占比均与第一分组信息相同，或者分组数量相同、占比均小于预设误差。如果第二分组信息与第一分组信息一致，则可判断分流引擎分流准确。举例而言，在第一分组信息为A组30％、B组40％、C组30％的情况下，如果第二分组信息也为A组30％、B组40％、C组30％，那么可判断分流引擎分流准确；若设定预设误差为1％，在第一分组信息为A组30％、B组40％、C组30％的情况下，如果第二分组信息为A组30.3％、B组39.2％、C组30.5％，由于每组中用户数量的占比误差均小于1％，也可判断分流引擎分流准确。
[0030]在本专利技术的一个实施例中，对于同一批次的各版本，可进行多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动化AB实验方法，其特征在于，包括以下步骤：S1，配置AB实验，其中，在配置AB实验时设置分流引擎的分流规则，所述分流规则包括用户群的第一分组信息；S2，将所述第一分组信息存储于数据库中；S3，所述用户群中的用户自动并发调用实验触发接口，以触发AB实验，得到实验结果，其中，所述实验结果包括所述用户群的第二分组信息；S4，从所述数据库中调取所述第一分组信息，并将所述第二分组信息与所述第一分组信息进行比较，以校验所述分流引擎是否分流准确。2.根据权利要求1所述的自动化AB实验方法，其特征在于，所述用户群为多个用户的用户ID构成的集合，所述第一分组信息和所述第二分组信息均包含分组数量和每组中用户的数量占比。3.根据权利要求1所述的自动化AB实验方法，其特征在于，通过运行自动化实验脚本，以执行步骤S3和S4。4.根据权利要求1所述的自动化AB实验方法，其特征在于，多次执行所述步骤S3，并将每次执行所述步骤S3得到的第二分组信息均与所述第一分组信息进行比较，如果每次执行所述步骤S3得到的第二分组信息均与所述第一分组信息一致，则判断所述分流引擎分流准确。5.一种自动化AB实验装置，其特征在于，包括：配置模块，所述配置模...

【专利技术属性】
技术研发人员：钱常宇，李健，陈阳，高齐炜，
申请(专利权)人：万帮星星充电科技有限公司，
类型：发明
国别省市：