数据分析方法技术

本发明专利技术提供一种数据分析方法

【技术实现步骤摘要】
数据分析方法、装置、电子设备和存储介质


[0001]本专利技术涉及数据分析
，尤其涉及一种数据分析方法
、
装置
、
电子设备和存储介质
。

技术介绍

[0002]随着互联网的发展，数据的价值尤为凸显，各行各业均离不开数据的支撑，然而面对纷繁复杂的海量数据，想要从里面提取关键的信息并不容易，往往需要专业的数据分析师通过对数据进行清洗
、
可视化
、
特征提取
、
归因等方式，以对数据中的关键信息进行展示汇总
。
然而因为没有通用的分析模板或者标准化的分析方式，在不同的数据场景下，分析流程无法做到很好的迁移，这无疑增加了分析师的工作负担
。
尤其是当遇到突然情况，如某项业务指标发生较大的变动，出现各种故障导致指标异常波动等，往往需要临时安排分析师进行分析，耗费大量人力，且不能及时的分析出原因所在
。
[0003]目前市场上已经诞生了一些可以辅助分析的软件，但这些辅助分析的软件还是针对于分析师设计的，以方便他们的操作而开发的一些辅助功能，仍然需要耗费人力资源，并且不能满足没有专业背景知识的业务人员的使用需求
。

技术实现思路

[0004]本专利技术提供一种数据分析方法
、
装置
、
电子设备和存储介质，用以解决现有技术中数据分析需要专业的分析人员，耗费人力资源的缺陷，实现根据分析需求自动进行数据分析，节省人力资源
。<br/>[0005]本专利技术提供一种数据分析方法，包括：
[0006]基于分析需求从对应的业务查询列表中确定目标数据集和对比数据集；
[0007]基于所述目标数据集和所述对比数据集确定所述目标数据集中各维度分别对应的第一总体偏差，所述第一总体偏差表征所述目标数据集相对所述对比数据集在各维度上的差异；
[0008]当最大的第一总体偏差小于或等于预设阈值时，输出分析结果；
[0009]当最大的第一总体偏差大于预设阈值时，针对最大的第一总体偏差对应的维度进行下钻分析，基于下钻分析内容输出分析结果
。
[0010]根据本专利技术提供的一种数据分析方法，所述针对最大的第一总体偏差对应的维度进行下钻分析，包括：
[0011]确定进行下钻分析的第一下钻维度，基于所述第一下钻维度对最大的第一总体偏差对应的维度进行下钻分析；
[0012]下钻分析时基于所述目标数据集和所述对比数据集确定各所述第一下钻维度对应的第二总体偏差；
[0013]当最大的第二总体偏差小于或等于所述预设阈值时，停止下钻分析；
[0014]当最大的第二总体偏差大于所述预设阈值时，确定进行下钻分析的第二下钻维
度，基于所述第二下钻维度对最大的第二总体偏差对应的第一下钻维度进行下钻分析，直至各第
N
下钻维度对应的第
N+1
总体偏差均小于或等于所述预设阈值时，停止下钻分析，其中，
N
大于等于
2。
[0015]根据本专利技术提供的一种数据分析方法，所述基于分析需求从对应的业务查询列表中确定目标数据集和对比数据集之前，还包括：
[0016]自动实时收集各业务对应的埋点明细数据，将收集到的所述埋点明细数据进行清洗后并分别存储在各所述业务对应的数据底层表中；
[0017]分别对各所述业务对应的所述数据底层表中的数据进行提取，获得各所述业务的重要指标数据，基于各所述业务的重要指标数据分别生成各所述业务对应的业务查询列表
。
[0018]根据本专利技术提供的一种数据分析方法，所述基于所述目标数据集和所述对比数据集确定所述目标数据集中各维度分别对应的第一总体偏差，包括：
[0019]基于所述目标数据集中各维度下各分类对应的分布，以及所述对比数据集中各维度下各分类对应的分类指标，计算所述目标数据集中各维度分别对应的第一联合指标；
[0020]基于所述对比数据集中各维度下各分类对应的分布和分类指标，计算所述对比数据集中各维度分别对应的第二联合指标；
[0021]基于各所述第一联合指标和各所述第二联合指标确定所述目标数据集中各维度分别对应的第一总体偏差
。
[0022]根据本专利技术提供的一种数据分析方法，所述基于所述目标数据集中各维度下各分类对应的分布，以及所述对比数据集中各维度下各分类对应的分类指标，计算所述目标数据集中各维度分别对应的第一联合指标，包括：
[0023]针对所述目标数据集中的每一个维度，将所述维度下各分类对应的分布和所述对比数据集中各分类对应的分类指标分别进行相乘，获得所述目标数据集中各维度分别对应的第一联合指标
。
[0024]根据本专利技术提供的一种数据分析方法，所述基于所述对比数据集中各维度下各分类对应的分布和分类指标，计算所述对比数据集中各维度分别对应的第二联合指标，包括：
[0025]针对所述对比数据集中的每一个维度，将所述维度下各分类对应的分布和分类指标分别进行相乘，获得所述对比数据集中各维度分别对应的第二联合指标
。
[0026]根据本专利技术提供的一种数据分析方法，基于各所述第一联合指标和各所述第二联合指标确定所述目标数据集中各维度分别对应的第一总体偏差，包括：
[0027]将各所述第一联合指标和对应的各所述第二联合指标分别进行作差，获得所述目标数据集在各维度下的初始总体偏差；
[0028]分别将所述目标数据集的各维度对应的初始总体偏差的绝对值作为所述目标数据集中各维度分别对应的第一总体偏差
。
[0029]本专利技术还提供一种数据分析装置，包括：
[0030]数据模块，用于基于分析需求从对应的业务查询列表中确定目标数据集和对比数据集；
[0031]分析模块，用于基于所述目标数据集和所述对比数据集确定所述目标数据集中各维度分别对应的第一总体偏差，所述第一总体偏差表征所述目标数据集相对所述对比数据
集在各维度上的差异；当最大的第一总体偏差大于预设阈值时，针对最大的第一总体偏差对应的维度进行下钻分析；
[0032]输出模块，用于基于下钻分析内容输出分析结果，或当最大的第一总体偏差小于或等于预设阈值时，输出分析结果
。
[0033]本专利技术还提供一种电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据分析方法
。
[0034]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据分析方法
。
[0035]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据分析方法
。
[0036]本专利技术提供的数据分析方法
、
...

【技术保护点】

【技术特征摘要】
1.
一种数据分析方法，其特征在于，包括：基于分析需求从对应的业务查询列表中确定目标数据集和对比数据集；基于所述目标数据集和所述对比数据集确定所述目标数据集中各维度分别对应的第一总体偏差，所述第一总体偏差表征所述目标数据集相对所述对比数据集在各维度上的差异；当最大的第一总体偏差小于或等于预设阈值时，输出分析结果；当最大的第一总体偏差大于预设阈值时，针对最大的第一总体偏差对应的维度进行下钻分析，基于下钻分析内容输出分析结果
。2.
根据权利要求1所述的数据分析方法，其特征在于，所述针对最大的第一总体偏差对应的维度进行下钻分析，包括：确定进行下钻分析的第一下钻维度，基于所述第一下钻维度对最大的第一总体偏差对应的维度进行下钻分析；下钻分析时基于所述目标数据集和所述对比数据集确定各所述第一下钻维度对应的第二总体偏差；当最大的第二总体偏差小于或等于所述预设阈值时，停止下钻分析；当最大的第二总体偏差大于所述预设阈值时，确定进行下钻分析的第二下钻维度，基于所述第二下钻维度对最大的第二总体偏差对应的第一下钻维度进行下钻分析，直至各第
N
下钻维度对应的第
N+1
总体偏差均小于或等于所述预设阈值时，停止下钻分析，其中，
N
大于等于
2。3.
根据权利要求1所述的数据分析方法，其特征在于，所述基于分析需求从对应的业务查询列表中确定目标数据集和对比数据集之前，还包括：自动实时收集各业务对应的埋点明细数据，将收集到的所述埋点明细数据进行清洗后并分别存储在各所述业务对应的数据底层表中；分别对各所述业务对应的所述数据底层表中的数据进行提取，获得各所述业务的重要指标数据，基于各所述业务的重要指标数据分别生成各所述业务对应的业务查询列表
。4.
根据权利要求1所述的数据分析方法，其特征在于，所述基于所述目标数据集和所述对比数据集确定所述目标数据集中各维度分别对应的第一总体偏差，包括：基于所述目标数据集中各维度下各分类对应的分布，以及所述对比数据集中各维度下各分类对应的分类指标，计算所述目标数据集中各维度分别对应的第一联合指标；基于所述对比数据集中各维度下各分类对应的分布和分类指标，计算所述对比数据集中各维度分别对应的第二联合指标；基于各所述第一联合指标和各所述第二联合指标确定所述目标数据集中各维度分别对应的第...

【专利技术属性】
技术研发人员：邢庆峰，
申请(专利权)人：元保科创北京科技有限公司，
类型：发明
国别省市：