【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种数据分析方法、装置、设备、存储介质。
技术介绍
1、数据分析是指收集大量数据并使用适当的分析方法进行分析，以提取数据中的价值信息并概括总结形成有效结论，挖掘数据最大价值的过程。数据分析生成的有效结论可作为业务的决策依据，并帮助业务优化运营、提高效率和增加收益等。因此数据是业务的基础，业务离不开数据的支持和驱动。
2、在现有技术中，通过全量分析业务的样本数据以生成业务指标，以根据业务指标制定业务的发展策略。但随着业务的不断扩展，样本数据的规模越发增大，导致全量分析样本数据的耗时较长，数据分析效率较低。
技术实现思路
1、本申请提供一种数据分析方法、装置、设备及存储介质，以解决现有技术中样本数据的分析耗时较长的问题。
2、第一方面，本申请提供了一种数据分析方法，包括：
3、根据抽样任务的配置信息生成对应的抽样任务，所述配置信息包括抽样时段和抽样维度；
4、根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本；
5、将所述目标样本推送至消息队列，以使处理设备读取所述消息队列中的目标样本并基于读取到的目标样本生成指标数据。
6、可选地，所述根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本，包括：
7、通过多线程并行处理多个抽样任务，以使每个线程基于对应抽样任务在第一数据库中抽取对应的目标样本。
8、可选地，所述抽样任务还包
9、相应的，所述根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本，包括：
10、在所述抽样类型为时间范围抽样的情况下，根据所述抽样任务的抽样间隔、抽样时间范围、抽样时段确定第一目标时间段，抽取所述第一数据库中所述第一目标时间段内产生的第一样本作为所述目标样本；其中，所述第一样本的维度匹配所述抽样任务的抽样维度；
11、在所述抽样类型为条数抽样的情况下，根据所述抽样任务的抽取间隔和抽样时段确定第二目标时间段，基于所述抽样任务的抽样次数和抽样条数，在所述第一数据库中逐次抽取所述第二目标时间段内产生的相应数量的第一样本作为所述目标样本；其中，第一样本的维度匹配抽样任务的抽样维度。
12、可选地，所述抽样任务还包括抽样时间字段和抽样时间格式；相应的，所述抽取所述第一数据库中所述第一目标时间段内产生的第一样本作为所述目标样本，包括：
13、根据所述抽样时间字段，将所述第一数据库中各个第一样本的对应字段存放的时间信息，以所述抽样时间格式与所述第一目标时间段进行比较，确定出在所述第一目标时间段内产生的第一样本；
14、所述在所述第一数据库中逐次抽取所述第二目标时间段内产生的相应数量的第一样本作为所述目标样本，包括：
15、根据所述抽样时间字段，将所述第一数据库中各个第一样本的对应字段存放的时间信息，以所述抽样时间格式与所述第二目标时间段进行比较，确定出在所述第二目标时间段内产生的第一样本。
16、可选地，所述抽样任务还包括抽样索引名称；相应的，所述根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本，包括：
17、根据所述抽样索引名称，在所述第一数据库对应的样本数据集中抽取目标样本。
18、可选地，所述抽样任务还包括抽样字段和核查规则；相应的，所述将所述目标样本推送至消息队列，包括：
19、根据所述抽样字段，在所述目标样本中抽取对应字段存放的样本信息；
20、根据所述样本信息和所述核查规则生成所述目标样本的待分析数据，将待分析数据推送至消息队列。
21、可选地，所述抽样任务还包括存放队列名称；相应的，所述将所述目标样本推送至消息队列，包括：
22、根据所述存放队列名称，将所述目标样本推送至对应的消息队列。
23、第二方面，本申请提供了一种数据分析装置，包括：
24、任务生成模块，被配置为根据抽样任务的配置信息生成对应的抽样任务，所述配置信息包括抽样时段和抽样维度；
25、样本抽取模块，被配置为根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本；
26、数据分析模块，被配置为将所述目标样本推送至消息队列，以使处理设备读取所述消息队列中的目标样本并基于读取到的目标样本生成指标数据。
27、可选地，所述样本抽取模块包括：
28、并行处理单元，被配置为通过多线程并行处理多个抽样任务，以使每个线程基于对应抽样任务在第一数据库中抽取对应的目标样本。
29、可选地，所述抽样任务还包括抽样类型，所述抽样类型包括时间范围抽样和条数抽样；相应的，所述样本抽取模块包括：
30、第一抽样单元，被配置为在所述抽样类型为时间范围抽样的情况下，根据所述抽样任务的抽样间隔、抽样时间范围、抽样时段确定第一目标时间段，抽取所述第一数据库中所述第一目标时间段内产生的第一样本作为所述目标样本；其中，所述第一样本的维度匹配所述抽样任务的抽样维度；
31、第二抽样单元，被配置为在所述抽样类型为条数抽样的情况下，根据所述抽样任务的抽取间隔和抽样时段确定第二目标时间段，基于所述抽样任务的抽样次数和抽样条数，在所述第一数据库中逐次抽取所述第二目标时间段内产生的相应数量的第一样本作为所述目标样本；其中，第一样本的维度匹配抽样任务的抽样维度。
32、可选地，所述抽样任务还包括抽样时间字段和抽样时间格式；相应的，所述第一抽样单元包括：第一样本筛选子单元，被配置为根据所述抽样时间字段，将所述第一数据库中各个第一样本的对应字段存放的时间信息，以所述抽样时间格式与所述第一目标时间段进行比较，确定出在所述第一目标时间段内产生的第一样本；
33、所述第二抽样单元包括：第二样本筛选子单元，被配置为根据抽样时间字段，将第一数据库中各个第一样本的对应字段存放的时间信息，以抽样时间格式与第二目标时间段进行比较，确定出在第二目标时间段内产生的第一样本。
34、可选地，所述抽样任务还包括抽样索引名称；相应的，所述样本抽取模块包括：
35、第三抽样单元，被配置为根据所述抽样索引名称，在所述第一数据库对应的样本数据集中抽取目标样本。
36、可选地，所述抽样任务还包括抽样字段和核查规则；相应的，所述数据分析模块包括：
37、字段抽取单元，被配置为根据所述抽样字段，在所述目标样本中抽取对应字段存放的样本信息；
38、第一推送单元，被配置为根据所述样本信息和所述核查规则生成所述目标样本的待分析数据，将待分析数据推送至消息队列。
39、可选地，所述抽样任务还包括存放队列名称；相应的，所述数据分析模块包括：
40、第二推送单元，被配置为根据所本文档来自技高网...
【技术保护点】
1.一种数据分析方法，其特征在于，包括：
2.根据权利要求1所述的数据分析方法，其特征在于，所述根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本，包括：
3.根据权利要求1所述的数据分析方法，其特征在于，所述抽样任务还包括抽样类型，所述抽样类型包括时间范围抽样和条数抽样；
4.根据权利要求3所述的数据分析方法，其特征在于，所述抽样任务还包括抽样时间字段和抽样时间格式；相应的，所述抽取所述第一数据库中所述第一目标时间段内产生的第一样本作为所述目标样本，包括：
5.根据权利要求1所述的数据分析方法，其特征在于，所述抽样任务还包括抽样索引名称；相应的，所述根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本，包括：
6.根据权利要求1所述的数据分析方法，其特征在于，所述抽样任务还包括抽样字段和核查规则；相应的，所述将所述目标样本推送至消息队列，包括：
7.根据权利要求1所述的数据分析方法，其特征在于，所述抽样任务还包括存放队列名称；相应的，所述将所述目标样本推送至消息队列
8.一种数据分析装置，其特征在于，包括：
9.一种数据分析设备，其特征在于，包括：
10.一种包含计算机可执行指令的存储介质，其特征在于，所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-7任一所述的数据分析方法。
...【技术特征摘要】
1.一种数据分析方法，其特征在于，包括：
2.根据权利要求1所述的数据分析方法，其特征在于，所述根据所述抽样任务中的抽样时段和抽样维度，在第一数据库中抽取对应的目标样本，包括：
3.根据权利要求1所述的数据分析方法，其特征在于，所述抽样任务还包括抽样类型，所述抽样类型包括时间范围抽样和条数抽样；
4.根据权利要求3所述的数据分析方法，其特征在于，所述抽样任务还包括抽样时间字段和抽样时间格式；相应的，所述抽取所述第一数据库中所述第一目标时间段内产生的第一样本作为所述目标样本，包括：
5.根据权利要求1所述的数据分析方法，其特征在于，所述抽样任务还包括抽样索引名称；相应的，所述根据所...
【专利技术属性】
技术研发人员：匡增云，
申请(专利权)人：佳都科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。