数据记录分析方法、装置、设备及存储介质制造方法及图纸

本申请涉及一种数据记录分析方法、装置、设备及存储介质，该方法包括：响应于数据记录分析指令，获取数据记录存储地址；访问该数据记录存储地址，得到数据记录集，数据记录中的每条数据记录均包含第一指标和第二指标；将数据记录集中的每条数据记录随机分配至一个数据桶；将第一指标、第二指标和数据记录数量确定为待分析指标；获取第一分析目标以及获取第二分析目标；根据桶均指标总值确定第一分析目标和第二分析目标之间的协方差；根据第一分析目标和第二分析目标之间的协方差，确定数据记录的分析结果。本申请通过对数据记录进行降维处理，利用桶均指标总值能够快速的得到数据记录的分析结果，提升数据记录分析的效率。提升数据记录分析的效率。提升数据记录分析的效率。

【技术实现步骤摘要】
数据记录分析方法、装置、设备及存储介质


[0001]本申请涉及计算机
，尤其涉及一种数据记录分析方法、装置、设备及存储介质。

技术介绍

[0002]AB测试是一种通过收集和分析用户反馈数据进行产品优化的方法，可以应用到很多业务场景中。例如，用户体验优化、转化率优化以及广告优化等等。在对AB测试的测试数据分析时，常采用协方差估计的统计处理方法来评估多个相关变量或独立变量所带来的影响，以得到测试数据的分析结果。但协方差估计在测试数据等数据记录数量大时，需要很大的性能开销，使得协方差估计在大数据量场景下的应用受限，致使利用协方差估计快速的得到数据记录的分析结果成为一个亟待解决的难题。

技术实现思路

[0003]本申请提供一种数据记录分析方法、装置、设备及存储介质，本申请通过对数据记录进行降维处理，利用桶均指标总值能够快速的得到数据记录的分析结果，提升数据记录分析的效率。
[0004]一方面，本申请提供了一种数据记录分析方法，所述方法包括：
[0005]响应于数据记录分析指令，获取数据记录存储地址；
[0006]访问所述数据记录存储地址，得到数据记录集，所述数据记录集中的每条数据记录均包含第一指标和第二指标；
[0007]将所述数据记录集中的每条数据记录随机分配至一个数据桶；
[0008]将所述第一指标、所述第二指标和数据记录数量确定为待分析指标；
[0009]获取第一分析目标，所述第一分析目标用于分析至少两个所述待分析指标的桶均指标总值之间的第一数据关系；以及获取第二分析目标，所述第二分析目标用于分析至少两个所述待分析指标的桶均指标总值之间的第二数据关系；
[0010]根据所述桶均指标总值确定所述第一分析目标和所述第二分析目标之间的协方差；
[0011]根据所述第一分析目标和所述第二分析目标之间的协方差，确定所述数据记录的分析结果。
[0012]另一方面提供了一种数据记录分析装置，所述装置包括：
[0013]存储地址获取模块，用于响应于数据记录分析指令，获取数据记录存储地址；
[0014]数据记录确定模块，用于访问所述数据记录存储地址，得到数据记录集，所述数据记录集中的每条数据记录均包含第一指标和第二指标；
[0015]分桶处理模块，用于将所述数据记录集中的每条数据记录随机分配至一个数据桶；
[0016]分析指标确定模块，用于将所述第一指标、所述第二指标和数据记录数量确定为
待分析指标；
[0017]分析目标获取模块，用于获取第一分析目标，所述第一分析目标用于分析至少两个所述待分析指标的桶均指标总值之间的第一数据关系；以及获取第二分析目标，所述第二分析目标用于分析至少两个所述待分析指标的桶均指标总值之间的第二数据关系；
[0018]协方差确定模块，用于根据所述桶均指标总值确定所述第一分析目标和所述第二分析目标之间的协方差；
[0019]分析结果确定模块，用于根据所述第一分析目标和所述第二分析目标之间的协方差，确定所述数据记录的分析结果。
[0020]另一方面提供了一种电子设备，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令或至少一段程序，所述至少一条指令或至少一段程序由所述处理器加载并执行如上所述的数据记录分析方法。
[0021]另一方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条指令或至少一段程序，所述至少一条指令或所述至少一段程序由处理器加载并执行以实现如上所述的数据记录分析方法。
[0022]本申请利用分桶的方式将数据记录集中的每条数据记录随机分配至一个数据桶中，达到了将原始数据记录集进行降维的效果，使得在计算第一分析目标和第二分析目标之间协方差时，可以直接利用桶均指标总值进行分析，提升了数据记录分析的计算和存储速率，从而能够快速的得到数据记录的分析结果，解决了在大数据量场景下，利用协方差估计快速的得到数据记录的分析结果的难题。
附图说明
[0023]为了更清楚地说明本申请实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
[0024]图1是本申请实施例提供的一种数据记录分析方法的实施环境示意图。
[0025]图2是本申请实施例提供的一种数据记录分析方法的流程示意图。
[0026]图3是本申请实施例提供的数据记录随机分配的一个示例图。
[0027]图4是本申请实施例提供的确定第一分析目标和第二分析目标之间的协方差的流程示意图。
[0028]图5是本申请实施例提供的确定分析对象的流程示意图。
[0029]图6是本申请实施例提供的确定第三分析目标的流程示意图。
[0030]图7是本申请实施例提供的计算分析对象中的两个待分析指标的桶均指标总值之间的协方差的流程示意图。
[0031]图8是本申请实施例提供的另一种数据记录分析方法的流程示意图。
[0032]图9是本申请实施例提供的确定数据记录集的流程示意图。
[0033]图10是本申请实施例提供的一种数据记录分析装置的结构示意图。
[0034]图11是本申请实施例提供的一种用于实现本申请实施例所提供的方法的设备的硬件结构示意图。
具体实施方式
[0035]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0036]需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0037]AB测试是一种通过收集和分析用户反馈数据进行产品优化的方法。其主要是先设定A组和B组两个实验组，这两个实验组在某个需要优化的参数上有差异(比如A组的产品图标颜色是绿色，B组的图标颜色是红色)，使用产品的用户被随机地引导到A组或者B组，用户行为产生的数据在这个过程中被记录下来，并对数据进行相应的分析，根据分析的结果来判断A组和B组当中哪个组所使用的参数更好，达到优化产品的目的。
[0038]协方差主要用于衡量两个统计量的联合变化程度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据记录分析方法，其特征在于，所述方法包括：响应于数据记录分析指令，获取数据记录存储地址；访问所述数据记录存储地址，得到数据记录集，所述数据记录集中的每条数据记录均包含第一指标和第二指标；将所述数据记录集中的每条数据记录随机分配至一个数据桶；将所述第一指标、所述第二指标和数据记录数量确定为待分析指标；获取第一分析目标，所述第一分析目标用于分析至少两个所述待分析指标的桶均指标总值之间的第一数据关系；以及获取第二分析目标，所述第二分析目标用于分析至少两个所述待分析指标的桶均指标总值之间的第二数据关系；根据所述桶均指标总值确定所述第一分析目标和所述第二分析目标之间的协方差；根据所述第一分析目标和所述第二分析目标之间的协方差，确定所述数据记录的分析结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述桶均指标总值确定所述第一分析目标和所述第二分析目标之间的协方差，包括：根据所述第一分析目标和所述第二分析目标确定分析对象；计算所述分析对象中的两个所述待分析指标的桶均指标总值之间的协方差；根据计算结果，得到所述第一分析目标和所述第二分析目标之间的协方差。3.根据权利要求2所述的方法，其特征在于，所述计算所述分析对象中的两个所述待分析指标的桶均指标总值之间的协方差，包括：针对每个所述待分析指标，计算每个所述数据桶中所述待分析指标的统计结果；根据各个所述数据桶中所述待分析指标的统计结果和所述数据桶的总数量，计算所述待分析指标的桶均指标总值；根据各个所述待分析指标的桶均指标总值，以及所述数据桶中各个所述待分析指标的统计结果，得到两个所述待分析指标的桶均指标总值之间的协方差。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述第一分析目标和所述第二分析目标确定分析对象，包括：对所述第一分析目标进行梯度运算和差值运算，得到第三分析目标；以及对所述第二分析目标进行所述梯度运算和所述差值运算，得到第四分析目标；根据所述第三分析目标和所述第四分析目标确定所述分析对象。5.根据权利要求4所述的方法，其特征在于，所述对所述第一分析目标进行梯度运算和差值运算，得到第三分析目标，包括：获取所述第一数据关系对应的各个所述待分析指标，并根据所述第一数据关系对应的各个所述待分析指标的桶均指标总值确定第一指标向量；将所述第一指标向量的期望，确定为第一均值向量；对所述第一分析目标相对于所述第一指标向量求偏导，得到第一梯度向量；计算所述第一指标向量与所述第一均值向量之差，得到第一差向量；将所述第一梯度向量的期望确定为第一期望向量；将所述第一期望向量的转置与所述第一差向量之积，确定为所述第三分析目标。6.根据权利要求1所述的方法，其特征在于，所述获取数据记录存储地址，包括：

【专利技术属性】
技术研发人员：熊涛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：