本公开的实施例涉及用于测试系统的应用的方法、计算设备和计算机存储介质。该方法包括：获取用于测试应用的实验配置信息，响应于确定用户不属于白名单，基于实验配置项过滤用户，以便确定实验用户；基于实验配置项，为每个实验用户确定关联的类别标签；针对每一个类别标签，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶；基于预定流量占比，确定实验组落组用户和对照组落组用户；以及基于实验组落组用户针对第二版本应用的第二测试指标项数据和对照组落组用户针对第一版本应用的第一测试指标项数据的比较确定测试结果。本公开能够有效降低分流所形成的目标人群组之间的差异和实验噪声。的目标人群组之间的差异和实验噪声。的目标人群组之间的差异和实验噪声。
【技术实现步骤摘要】
用于测试系统的应用的方法、计算设备和存储介质
[0001]本公开的实施例总体涉及信息处理领域，具体涉及用于测试系统的应用的方法、计算设备和计算机存储介质。
技术介绍
[0002]为了尽量减小新应用上线对用户体验的影响，通常新应用上线之前通常会随机选取一定量的流量针对待部署或上线的应用先行在线测试，以便快速得到实验结论，再根据所反馈的实验数据来推广至全流量。
[0003]传统的用于测试系统的应用的方法例如包括AB测试法，例如，针对网页或应用界面或流程分别制作两个(A/B)版本，以便在同一时间维度，分别让相同数量用户的目标人群组随机访问这些版本，收集目标人群组的用户体验数据和业务数据，经由分析和评估出最好版本，以用于正式部署或者上线。
[0004]在传统的用于测试系统的应用的方法中，在进行目标人群分流的过程中，分流算法并没有考虑目标人群的差异，进而导致实验分流所形成的目标人群组之间存在较大的差异。另外，在实验开始前，无法自主观测试验分组的指标，也无法选择实验组，例如，有些应用的更新策略对于女性较为友好，如果实验组中的女性用户较多，则关于应用的测试结果的反馈较好，由此可能带来实验噪声。因此，传统的用于测试系统的应用的方法无法消除实验噪声。
[0005]综上，传统的用于测试系统的应用的方法的不足之处在于：分流所形成的目标人群组之间存在较大的差异，以及难以消除实验噪声。
技术实现思路
[0006]提供了一种用于测试系统的应用的方法、计算设备以及计算机存储介质，能够有效降低分流所形成的目标人群组之间的差异和实验噪声。
[0007]根据本公开的第一方面，提供了一种用于测试系统的应用的方法。该方法包括：在计算设备处，获取用于测试应用的实验配置信息，实验配置信息至少指示多个与实验用户相关联的实验配置项、关于实验组和对照组的配置信息和测试指标项；响应于确认接收到关于用户的实验分组请求，确认用户是否属于与预定实验组或者预定对照组相关联的白名单；响应于确定用户不属于白名单，基于实验配置项过滤用户，以便将与实验配置项相匹配的用户确定为实验用户；基于实验配置项，为每个实验用户确定关联的类别标签；针对每一个类别标签，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶；基于预定流量占比，在多个实验桶号中确定用于作为实验组或者对照组的实验桶，以便确定实验组落组用户和对照组落组用户；以及获取实验组落组用户针对第二版本应用的第二测试指标项数据和对照组落组用户针对第一版本应用的第一测试指标项数据，以便基于第一测试指标项数据和第二测试指标项数据的比较结果确定关于系统的应用的测试结果。
[0008]根据本公开的第二方面，提供了一种计算设备。该计算设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据第一方面的方法。
[0009]在本公开的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
[0010]在一些实施例中，用于测试系统的应用的方法还包括：基于预定流量占比，将已分配实验用户的多个实验桶中的至少部分实验桶分为多个组；在测试指标项中选择部分测试指标项作为兴趣点指标项；获取多个组的实验桶的用户在预定时间间隔内针对第一版本应用的关于兴趣点指标项的多个数据；以及比较关于兴趣点指标项的多个数据之间的差异，以便将差异符合第一预定条件的两个组分别确定为实验组和对照组。
[0011]在一些实施例中，用于测试系统的应用的方法还包括：实验配置项至少包括以下两项：用户的注册时间、用户设备所配置的应用程序版本、用户设备所配置的操作系统的类型、用户所属的年龄范围、用户的性别以及用户所属城市的类别。
[0012]在一些实施例中，用于测试系统的应用的方法还包括：响应于确定用户属于与预定实验组或者预定对照组相关联的白名单，将用户确定为预定实验组或者预定对照组的实验用户。
[0013]在一些实施例中，用于测试系统的应用的方法还包括：基于用户的用户设备相关联的互联网协议地址，确定用户设备的所属城市；以及基于所确定的所属城市，确定用户所属城市的类别。
[0014]在一些实施例中，经由哈希算法将与每一个类别标签相关联的实验用户分别分配至对应的实验桶还包括：确定实验用户的数量是否大于或者等于用户数量阈值；以及响应于确定实验用户的数量大于或者等于用户数量阈值，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶。
[0015]在一些实施例中，用于测试系统的应用的方法还包括：确定预定流量占比是否由第一流量占比增加至第二流量占比；响应于确定预定流量占比由第一流量占比增加至第二流量占比；计算第二流量占比与第一流量占比的流量占比变化值；以及基于流量占比变化值，在基于第一流量占比所确定的用于作为实验组的实验桶之外的其他实验桶中，经由洗牌算法确定作为实验组的实验桶。
[0016]在一些实施例中，基于第一测试指标项数据和第二测试指标项数据的比较结果确定关于系统的应用的测试结果包括：比较来自第一实验组落组用户的第二测试指标项数据和来自第二实验组落组用户的第二测试指标项数据，以便生成实验组差异数据；确定实验组差异数据是否符合第二预定条件；以及响应于确定实验组差异数据符合第二预定条件，基于第一测试指标项数据和第二测试指标项数据的比较结果确定关于系统的应用的测试结果。
[0017]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0018]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
[0019]图1示出了根据本公开的实施例的用于测试系统的应用的方法的系统的示意图。
[0020]图2示出了根据本公开的实施例的用于测试系统的应用的方法的流程图。
[0021]图3示出了根据本公开的实施例的用于确定实验组和对照组的方法的流程图。
[0022]图4示出了根据本公开的实施例的用于预定流量占比增加时确定实验组的方法的流程图。
[0023]图5示出了根据本公开的实施例的测试系统的应用的方法的数据交互示意图。
[0024]图6示出了根据本公开的实施例的用于确定关于系统的应用的测试结果的方法的流程图。
[0025]图7是用来实现本公开实施例的用于测试系统的应用的方法的电子设备的框图。
具体实施方式
[0026]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于测试系统的应用的方法，包括：获取用于测试所述应用的实验配置信息，所述实验配置信息至少指示多个与实验用户相关联的实验配置项、关于实验组和对照组的配置信息和测试指标项；响应于确认接收到关于用户的实验分组请求，确认所述用户是否属于与预定实验组或者预定对照组相关联的白名单；响应于确定所述用户不属于所述白名单，基于所述实验配置项过滤所述用户，以便将与实验配置项相匹配的用户确定为实验用户；基于所述实验配置项，为每个实验用户确定关联的类别标签；针对每一个类别标签，经由哈希算法，将与每一个类别标签相关联的实验用户分别分配至对应的实验桶；基于预定流量占比，在多个实验桶号中确定用于作为实验组或者对照组的实验桶，以便确定实验组落组用户和对照组落组用户；以及获取实验组落组用户针对第二版本应用的第二测试指标项数据和对照组落组用户针对第一版本应用的第一测试指标项数据，以便基于第一测试指标项数据和第二测试指标项数据的比较结果确定关于系统的应用的测试结果。2.根据权利要求1所述的方法，还包括：基于预定流量占比，将已分配实验用户的多个实验桶中的至少部分实验桶分为多个组；在测试指标项中选择部分测试指标项作为兴趣点指标项；获取多个组的实验桶的用户在预定时间间隔内针对所述第一版本应用的关于兴趣点指标项的多个数据；以及比较关于兴趣点指标项的多个数据之间的差异，以便将差异符合第一预定条件的两个组分别确定为实验组和对照组。3.根据权利要求1所述的方法，其中所述实验配置项至少包括以下两项：所述用户的注册时间、用户设备所配置的应用程序版本、用户设备所配置的操作系统的类型、所述用户所属的年龄范围、所述用户的性别以及所述用户所属城市的类别。4.根据权利要求1所述的方法，还包括：响应于确定所述用户属于与预定实验组或者预定对照组相关联的白名单，将所述用户确定为预定实验组或者预定对照组的实验用户。5.根据权利要求3所述的方法，还包...
【专利技术属性】
技术研发人员：项凯，张璐，陶明，陈莹，
申请(专利权)人：上海任意门科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。