试验报告生成方法、装置、设备及存储介质制造方法及图纸

技术编号:37786870 阅读:18 留言:0更新日期:2023-06-09 09:17
本申请公开一种试验报告生成方法、装置、设备及存储介质,方法包括:获取数据查询请求,数据查询请求包含有试验指标数据,以及获取数据查询请求对应的数据查询结果,数据查询结果包括与所述试验指标数据相匹配的行为事件数据、业务数据与试验用户数据,并根据数据查询结果生成试验报告,试验报告的内容至少包括置信区间和统计功效。本申请可以自动生成试验报告,降低人工成本,且提升了试验报告的准确性。且提升了试验报告的准确性。且提升了试验报告的准确性。

【技术实现步骤摘要】
试验报告生成方法、装置、设备及存储介质


[0001]本申请涉及计算机
,具体涉及一种试验报告生成方法、装置、设备及存储介质。

技术介绍

[0002]A/B试验是数据驱动的重要手段,现在广泛应用于互联网产品、设计、搜索、推荐系统、广告系统、用户增长、数据分析、数字化运营、智能营销等领域。
[0003]在大数据时代,更多是通过数据驱动进行决策,故A/B试验越来越受到互联网公司的青睐,通过数据去打磨好的产品。
[0004]随着A/B试验的知识普及,越来越多的产品开始在产品新功能/迭代时进行实施A/B试验,但每个试验的数据指标又大不相同,导致越来越多的数据分析师日常投入在进行A/B试验取数生成试验报告的阶段,导致大量的人力成本的产出。目前的AB试验系统只完成了试验配置,数据分流,事件/数据上报和存储的工具化和自动化,对于通过上报的事件和数据得到试验报告结论的过程仍高度依赖人工参与,这存在以下缺点:所有的试验均需要数据分析师参与,手动输出试验报告,人力成本过高;试验报告产出时间比较长;人工输出试验报告,比较主观,不能保证完全准确。

技术实现思路

[0005]本申请实施例提供一种试验报告生成方法、装置、设备及存储介质,可以自动生成试验报告,降低人工成本,且提升了试验报告的准确性。
[0006]一方面,本申请实施例提供一种试验报告生成方法,所述方法包括:
[0007]获取数据查询请求,所述数据查询请求包含有试验指标数据;
[0008]获取所述数据查询请求对应的数据查询结果,所述数据查询结果包括与所述试验指标数据相匹配的行为事件数据、业务数据与试验用户数据;
[0009]根据所述数据查询结果生成试验报告,所述试验报告的内容至少包括置信区间和统计功效。
[0010]另一方面,本申请实施例提供一种试验报告生成装置,所述装置包括:
[0011]第一获取模块,用于获取数据查询请求,所述数据查询请求包含有试验指标数据;
[0012]第二获取模块,用于获取所述数据查询请求对应的数据查询结果,所述数据查询结果包括与所述试验指标数据相匹配的行为事件数据、业务数据与试验用户数据;
[0013]生成模块,用于根据所述数据查询结果生成试验报告,所述试验报告的内容至少包括置信区间和统计功效。
[0014]另一方面,本申请实施例提供一种计算机设备,所述计算机设备包括处理器和存储器,所述存储器中存储有计算机程序,所述处理器通过调用所述存储器中存储的所述计算机程序,用于执行如上任一实施例所述的试验报告生成方法。
[0015]另一方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介
质存储有计算机程序,所述计算机程序适于处理器进行加载,以执行如上任一实施例所述的试验报告生成方法。
[0016]本申请实施例通过获取数据查询请求,数据查询请求包含有试验指标数据,以及获取数据查询请求对应的数据查询结果,数据查询结果包括与所述试验指标数据相匹配的行为事件数据、业务数据与试验用户数据,并根据数据查询结果生成试验报告,试验报告的内容至少包括置信区间和统计功效。本申请实施例可以自动生成试验报告,降低人工成本,且提升了试验报告的准确性。
附图说明
[0017]为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
[0018]图1为本申请实施例提供的整体架构示意图。
[0019]图2为本申请实施例提供的试验报告生成方法的流程示意图。
[0020]图3为本申请实施例提供的第一应用场景示意图。
[0021]图4为本申请实施例提供的第二应用场景示意图。
[0022]图5为本申请实施例提供的第三应用场景示意图。
[0023]图6为本申请实施例提供的第四应用场景示意图。
[0024]图7为本申请实施例提供的第五应用场景示意图。
[0025]图8为本申请实施例提供的第六应用场景示意图。
[0026]图9为本申请实施例提供的试验报告生成装置的结构示意图。
[0027]图10为本申请实施例提供的计算机设备的结构示意图。
具体实施方式
[0028]下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
[0029]本申请实施例提供一种试验报告生成方法、装置、设备及存储介质。具体地,本申请实施例的试验报告生成方法可以由计算机设备执行,其中,该计算机设备可以为终端或者服务器等设备。该终端可以为智能手机、平板电脑、笔记本电脑、台式计算机、智能电视、智能音箱、穿戴式智能设备、智能车载终端等设备,终端还可以包括客户端,该客户端可以是金融客户端、浏览器客户端或即时通信客户端等。服务器可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络服务、以及大数据和人工智能平台等基础云计算服务的云服务器,但并不局限于此。
[0030]A/B测试(A/B Testing,或称ABT),又称A/B试验、A/B实验,对照试验(Controlled Experiments)、双盲试验(Double Blind Clinical Trial),是指在线上流量中,取出部分,
完全随机的分给策略A和策略B,再结合一定的统计方法,得到对于两种策略相对效果的准确估计,从来判断哪种策略更优的一种方法。
[0031]A/B试验的数据报告,是衡量两组试验策略效果的可视化手段;指标,是说明总体数据特征的概念及数据,例如主要用来衡量测试结果的效果的数据,如转化率等。试验的数据报告中包含了“核心指标”在内的所有试验数据的观测指标,每个指标大相径庭,所以每个试验都需要专业的数据分析师进行线下了解取数口径逻辑,并运行脚本输出数据,最终给到业务方查看试验的报告结论。
[0032]随着A/B试验的知识普及,越来越多的产品开始在产品新功能/迭代时进行实施A/B试验,但每个试验的数据指标又大不相同,导致越来越多的数据分析师日常投入在进行A/B试验取数生成试验报告的阶段,导致大量的人力成本的产出,因此,需要设计一套能自动化生产出的试验报告的体系架构,来满足不同试验对不同指标的诉求。
[0033]本申请实施例基于业务数据、行为事件数据与试验用户数据,设计出一套能实现A/B试验的试验报告自动化的架构体系,该方案可以支持以下特性:
[0034]1.支持用户配置即所得,用户可以通过事本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种试验报告生成方法,其特征在于,所述方法包括:获取数据查询请求,所述数据查询请求包含有试验指标数据;获取所述数据查询请求对应的数据查询结果,所述数据查询结果包括与所述试验指标数据相匹配的行为事件数据、业务数据与试验用户数据;根据所述数据查询结果生成试验报告,所述试验报告的内容至少包括置信区间和统计功效。2.如权利要求1所述的试验报告生成方法,其特征在于,所述获取数据查询请求,包括:采集所述试验指标数据,所述试验指标数据包括指标配置信息和试验配置信息;将所述试验指标数据转化为SQL化查询语句,并生成包含有所述SQL化查询语句的数据查询请求。3.如权利要求2所述的试验报告生成方法,其特征在于,所述采集所述试验指标数据,包括:响应于在指标管理界面输入的指标配置指令,采集基于所述指标配置指令生成的试验指标数据。4.如权利要求2所述的试验报告生成方法,其特征在于,所述获取所述数据查询请求对应的数据查询结果,包括:将含有所述SQL化查询语句的数据查询请求发送至数据仓库,以使所述数据仓库基于所述数据查询请求输出数据查询结果,所述数据查询结果包括与所述试验指标数据相匹配的行为事件数据、业务数据与试验用户数据,所述行为事件数据、所述业务数据与所述试验用户数据来源于所述数据仓库中的AB测试事件明细大宽表;获取从所述数据仓库返回的所述数据查询结果。5.如权利要求1所述的试验报告生成方法,其特征在于,所述根据所述数据查询结果生成试验报告,包括:基于所述数据查询结果、预设...

【专利技术属性】
技术研发人员:敖学军郑锦伟张朗淇王淑君陈睿
申请(专利权)人:富途网络科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1