A/B测试方法、装置及电子设备制造方法及图纸

本说明书实施例公开了一种A/B测试方法、装置及电子设备，其技术方案实质是，确定在A/B测试中的测试版本所分配的测试用户组，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据，将这些测试指标数据与测试指标数据所属用户关联的历史指标数据进行比较，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。

A / B test method, device and electronic equipment

【技术实现步骤摘要】
A/B测试方法、装置及电子设备
本说明书实施例涉及计算机
，尤其涉及一种A/B测试方法、装置及电子设备。
技术介绍
A/B测试，也叫随机实验或对照实验，在软件开发过程中，A/B测试是业界公认的评估新功能对客户行为影响的因果关系的最有效的手段，通过合理的实验设计、科学的流量分配,精细的统计推断等方式来获得可信的实验结论，保证A/B测试时得到的业务结论在后续正式推送至所有用户时以很大的概率维持不变。具体地,A/B测试为同一个优化目标提供不同业务版本，统计各业务版本在运行时产生的业务数据，利用业务数据评估各业务版本的优劣，最终做出决策。
技术实现思路
有鉴于此，本说明书实施例提供了一种提升评估精度的A/B测试方法、装置及电子设备。本说明书实施例采用下述技术方案：本说明书实施例提供一种A/B测试方法，包括：确定在A/B测试中的测试版本所分配的测试用户组；采集所述测试版本在运行时产生的测试指标数据；将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。本说明书实施例还提供一种A/B测试装置，包括：第一确定模块，确定在A/B测试中的测试版本所分配的测试用户组；采集模块，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据；比较模块，将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；r>第二确定模块，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。本说明书实施例还提供一种电子设备，包括：处理器；以及被配置成存储计算机程序的存储器，所述计算机程序在被执行时使所述处理器执行以下操作：确定在A/B测试中的测试版本所分配的测试用户组；从所述测试用户组采集所述测试版本在运行时产生的测试指标数据；将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：本说明书实施例提出一种A/B测试方法、装置及电子设备，其技术方案实质是，确定在A/B测试中的测试版本所分配的测试用户组，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据，将这些测试指标数据与测试指标数据所属用户关联的历史指标数据进行比较，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。利用本说明书实施例记载的方案，将当前A/B测试过程中的测试指标数据与历史指标数据进行比较，将比较结果确立为测试版本的评估指标。其实质是利用历史指标数据对测试指标数据进行降噪，消除用户的个体要素对测试指标数据产生的噪声影响，使得比较结果更能反映用户对测试版本的兴趣，提升测试版本的评估结果的精确度。附图说明此处所说明的附图用来提供对本说明书实施例的进一步理解，构成本说明书实施例的一部分，本说明书的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：图1为本说明书实施例提出的一种A/B测试方案的系统架构示意图；图2为本说明书实施例提出的一种A/B测试方法的流程图；图3为本说明书实施例提出的一种A/B测试方法的应用示例的流程图；图4为本说明书实施例提出的一种A/B测试方法的应用示例的流程图；图5为本说明书实施例提出的一种A/B测试方法的应用示例的流程图；图6为本说明书实施例提出的一种A/B测试方法的流程图；图7为本说明书实施例提出的一种A/B测试装置的结构示意图；图8为本说明书实施例提出的一种A/B测试装置的结构示意图；图9为本说明书实施例提出的一种A/B测试装置的结构示意图。具体实施方式对现有技术进行分析发现，A/B测试的目的在于通过合理的实验设计、科学的流量分配,精细的统计推断等方式来获得可信的实验结论，并确信该结论在推广到全部流量以大概率可复现。现有一种A/B测试中，是将不同测试版本随机推送给用户，即为用户随机分配测试版本。之后，从各用户采集测试指标数据，利用该测试指标数据进行指标评估，得出测试版本优劣。本说明书实施例提出一种A/B测试方法、装置及电子设备，其技术方案实质是，确定在A/B测试中的测试版本所分配的测试用户组，从所述测试用户组采集所述测试版本在运行时产生的测试指标数据，将这些测试指标数据与测试指标数据所属用户关联的历史指标数据进行比较，根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。利用本说明书实施例记载的方案，将当前A/B测试过程中的测试指标数据与历史指标数据进行比较，将比较结果确立为测试版本的评估指标。其实质是利用历史指标数据对测试指标数据进行降噪，消除用户的个体要素对测试指标数据产生的噪声影响，使得比较结果更能反映用户对测试版本的兴趣，提升测试版本的评估结果的精确度。为使本申请的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。以下结合附图，详细说明本说明书各实施例提供的技术方案。图1为本说明书实施例提出的一种A/B测试方案的系统架构示意图。如图1所示，系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103通过网络104与服务器105交互，以接收或发送消息等。终端设备101、102、103上可以安装有各种客户端应用。例如浏览器类应用、搜索类应用、即时通信类工具等等。终端设备101、102、103可以是硬件，也可以是软件。当终端设备101、102、103为硬件时，可以是各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。当终端设备101、102、103为软件时，可以安装在上述所列举的电子设备中。其可以实现成多个软件或软件模块(例如用来提供分布式服务的多个软件或软件模块)，也可以实现成单个软件或软件模块。在此不做具体限定。服务器105可以是提供各种服务的服务器，例如为终端设备101、102、103上所安装的客户端应用进行测试的后端服务器。需要说明的是，本公开的实施例所提供的A/B测试方法一般由本文档来自技高网...

【技术保护点】
1.一种A/B测试方法，包括：/n确定在A/B测试中的测试版本所分配的测试用户组；/n采集所述测试版本在运行时产生的测试指标数据；/n将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；/n根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。/n

【技术特征摘要】
1.一种A/B测试方法，包括：
确定在A/B测试中的测试版本所分配的测试用户组；
采集所述测试版本在运行时产生的测试指标数据；
将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；
根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。


2.如权利要求1所述的方法，在确定在A/B测试中的测试版本所分配的测试用户组之前，还包括：
获取各用户的历史业务数据；
从所述各用户的历史业务数据中提取指定类业务特征信息；
根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇，使得所述测试用户组包括至少一个所述用户团簇。


3.如权利要求2所述的方法，根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇，包括：
根据所述指定类业务特征信息确定至少两个用户之间存在业务分享关系；
将所述至少两个用户划分到同一用户团簇。


4.如权利要求3所述的方法，根据所述指定类业务特征信息确定至少两个用户之间存在业务分享关系，包括：
若提取到不同的所述指定类业务特征信息，则统计所述指定类业务特征信息在获取的所述历史业务数据中的分布数据；
利用所述分布数据确定不同的所述指定类业务特征信息之间的关系权重；
筛选所述关系权重达到预设权重条件的所述指定类业务特征信息；
确定筛选的所述指定类业务特征信息所属用户之间存在业务分享关系。


5.如权利要求2所述的方法，若从所述历史业务数据中提取到所述用户的至少两个指定类业务特征信息，则根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇，包括：
确定所述用户与所述至少两个指定类业务特征信息之间的交互关系深度；
从所述至少两个指定类业务特征信息中选择所述交互关系深度达到预设深度条件的指定类业务特征信息；
根据选择的所述指定类业务特征信息对所述用户进行分簇。


6.如权利要求2所述的方法，所述指定类业务特征信息包括业务发生地的地理位置。


7.如权利要求1所述的方法，在将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较之前，还包括：
获取所述测试用户组中各用户的历史业务数据；
从所述历史业务数据中提取所述历史指标数据。


8.如权利要求1所述的方法，在从所述测试用户组采集所述测试版本在运行时产生的测试指标数据之前，还包括：
将所述测试版本发送给所述测试用户组中各用户关联的客户端。


9.一种A/B测试装置，包括：
第一确定模块，确定在A/B测试中的测试版本所分配的测试用户组；
采集模块，从所述测试用户组采集所述...

【专利技术属性】
技术研发人员：程大曦，谢辉志，俞力，梁琛，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33