【技术实现步骤摘要】
A/B测试方法、装置及电子设备
本说明书实施例涉及计算机
，尤其涉及一种A/B测试方法、装置及电子设备。
技术介绍
A/B测试，也叫随机实验或对照实验，在软件开发过程中，A/B测试是业界公认的评估新功能对客户行为影响的因果关系的最有效的手段，通过合理的实验设计、科学的流量分配,精细的统计推断等方式来获得可信的实验结论，保证A/B测试时得到的业务结论在后续正式推送至所有用户时以很大的概率维持不变。具体地,A/B测试为同一个优化目标提供不同业务版本，统计各业务版本在运行时产生的业务数据，利用业务数据评估各业务版本的优劣，最终做出决策。
技术实现思路
有鉴于此，本说明书实施例提供了一种提升评估精度的A/B测试方法、装置及电子设备。本说明书实施例采用下述技术方案：本说明书实施例提供一种A/B测试方法，包括：确定在A/B测试中的测试版本所分配的测试用户组；采集所述测试版本在运行时产生的测试指标数据；将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；...
【技术保护点】
1.一种A/B测试方法，包括：/n确定在A/B测试中的测试版本所分配的测试用户组；/n采集所述测试版本在运行时产生的测试指标数据；/n将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；/n根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。/n
【技术特征摘要】
1.一种A/B测试方法，包括：
确定在A/B测试中的测试版本所分配的测试用户组；
采集所述测试版本在运行时产生的测试指标数据；
将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较；
根据比较结果确定所述测试版本的评估指标，以利用所述评估指标评估所述测试版本是否达到预设指标条件。
2.如权利要求1所述的方法，在确定在A/B测试中的测试版本所分配的测试用户组之前，还包括：
获取各用户的历史业务数据；
从所述各用户的历史业务数据中提取指定类业务特征信息；
根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇，使得所述测试用户组包括至少一个所述用户团簇。
3.如权利要求2所述的方法，根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇，包括：
根据所述指定类业务特征信息确定至少两个用户之间存在业务分享关系；
将所述至少两个用户划分到同一用户团簇。
4.如权利要求3所述的方法，根据所述指定类业务特征信息确定至少两个用户之间存在业务分享关系，包括：
若提取到不同的所述指定类业务特征信息，则统计所述指定类业务特征信息在获取的所述历史业务数据中的分布数据；
利用所述分布数据确定不同的所述指定类业务特征信息之间的关系权重；
筛选所述关系权重达到预设权重条件的所述指定类业务特征信息；
确定筛选的所述指定类业务特征信息所属用户之间存在业务分享关系。
5.如权利要求2所述的方法，若从所述历史业务数据中提取到所述用户的至少两个指定类业务特征信息，则根据所述指定类业务特征信息对所述各用户进行分簇得到至少一个用户团簇，包括：
确定所述用户与所述至少两个指定类业务特征信息之间的交互关系深度；
从所述至少两个指定类业务特征信息中选择所述交互关系深度达到预设深度条件的指定类业务特征信息；
根据选择的所述指定类业务特征信息对所述用户进行分簇。
6.如权利要求2所述的方法，所述指定类业务特征信息包括业务发生地的地理位置。
7.如权利要求1所述的方法，在将所述测试指标数据与所述测试指标数据所属用户关联的历史指标数据进行比较之前，还包括：
获取所述测试用户组中各用户的历史业务数据；
从所述历史业务数据中提取所述历史指标数据。
8.如权利要求1所述的方法，在从所述测试用户组采集所述测试版本在运行时产生的测试指标数据之前，还包括：
将所述测试版本发送给所述测试用户组中各用户关联的客户端。
9.一种A/B测试装置，包括：
第一确定模块，确定在A/B测试中的测试版本所分配的测试用户组；
采集模块，从所述测试用户组采集所述...
【专利技术属性】
技术研发人员：程大曦，谢辉志，俞力，梁琛，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。