一种基于分布式存储的大数据采样方法及系统技术方案

本发明专利技术实施例提供一种基于分布式存储的大数据采样方法及系统，包括：针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时作为该指标的最终采样率；采用该指标的最终采样率自分布式存储模块采样指标数据。基于试算确定最终采样率，降低了服务器成本，节省了计算时间。节省了计算时间。节省了计算时间。

【技术实现步骤摘要】
一种基于分布式存储的大数据采样方法及系统


[0001]本专利技术涉及据分析领域，具体涉及一种基于分布式存储的大数据采样方法及系统。

技术介绍

[0002]随着互联网的快速普及，每天都会产生大量的数据。对于互联网企业，需要有大数据平台，对海量数据进行计算。这种计算要消耗很多的算力，同时要计算很长的时间。
[0003]举个例子，某互联网大型企业，每天的用户行为日志有上百亿，为了计算某个用户行为指标，需要动用上百台服务器，运算4～5个小时，才能计算完成。这种海量数据计算，费时费力，给企业带来很大的成本。

技术实现思路

[0004]本专利技术实施例提供一种基于分布式存储的大数据采样方法及系统，基于试算确定最终采样率，在能够保证计算准确度满足业务需求的同时，降低了服务器成本，节省了计算时间。
[0005]为达上述目的，一方面，本专利技术实施例提供一种基于分布式存储的大数据采样方法，包括：
[0006]将包括各种指标数据的大数据采用分布式存储模块存储，并设置自分布式存储模块采样指标数据时指标的初始采样率；
[0007]针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；
[0008]采用该指标的最终采样率自分布式存储模块采样指标数据。
[0009]另一方面，本专利技术实施例提供一种基于分布式存储的大数据采样系统，包括：
[0010]数据存储单元，用于将包括各种指标数据的大数据采用分布式存储模块存储；
[0011]协调管理器，用于设置自分布式存储模块采样指标数据时指标的初始采样率；
[0012]采样率计算单元，用于针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按协调管理器设置的初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的
计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；
[0013]采样单元，用于采用该指标的最终采样率自分布式存储模块采样指标数据。
[0014]上述技术方案具有如下有益效果：基于试算确定的最终采样率确定方案，在能够保证计算准确度满足业务需求的同时，降低了服务器成本，节省了计算时间。
附图说明
[0015]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1是本专利技术实施例的一种基于分布式存储的大数据采样方法的流程图；
[0017]图2是本专利技术实施例的一种基于分布式存储的大数据采样系统的结构图；
[0018]图3是本专利技术实施例的大数据系统结构图；
[0019]图4是本专利技术实施例的分布式数据存储结构；
[0020]图5是本专利技术实施例的采样计算架构图。
具体实施方式
[0021]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0022]如图1所示，集合本专利技术的实施例，提供一种基于分布式存储的大数据采样方法，包括：
[0023]S101：将包括各种指标数据的大数据采用分布式存储模块存储；
[0024]大数据(big data)，业界普遍认为数据量很大，超过了传统数据库的分析计算能力，一般需要多机器集群才能计算的规模。大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(低价值密度)、Veracity(真实性)。一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。
[0025]S102：设置自分布式存储模块采样指标数据时指标的初始采样率；
[0026]S103：针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；
[0027]S104：采用该指标的最终采样率自分布式存储模块采样指标数据。
[0028]优选地，步骤101包括：
[0029]采用封装hdfs系统将大数据顺序写入所述封装hdfs系统中不同的分布式存储模块。
[0030]优选地，在步骤103中，所述按预设方式修正前一采样率得到后一采样率包括：采用对前一采样率折半迭代的方式修正前一采样率得到后一采样率。
[0031]优选地，在步骤103中，所述针对每一指标，对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率，包括：
[0032]S1031：针对每个采样率的指标采样数据，计算该指标采样数据内异常指标数据在所述预设时间段的指标数据内的占比，计算该采样率相应的异常数据占比误差；其中，所述异常数据占比误差是指采样时异常指标数据在所述预设时间段的指标数据内的占比与非采样时异常指标数据占比的差值，所述非采样时异常指标数据占比是指预设时间段内所有异常指标数据在所述预设时间段的指标数据内的占比；
[0033]S1032：当前一采样率相应的异常数据占比误差小于预设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于分布式存储的大数据采样方法，其特征在于，包括：将包括各种指标数据的大数据采用分布式存储模块存储，并设置自分布式存储模块采样指标数据时指标的初始采样率；针对每一指标，自分布式存储模块内获取预设时间段内的指标数据，按初始采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；以及按预设方式修正前一采样率得到后一采样率，按照后一采样率自所述预设时间段的指标数据内随机采样得到相应的指标采样数据；对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率；其中，所述初始采样率是第一个采样率；采用该指标的最终采样率自分布式存储模块采样指标数据。2.根据权利要求1所述的基于分布式存储的大数据采样方法，其特征在于，所述包括各种指标数数据的大数据采用分布式存储模块存储，包括：采用封装hdfs系统将大数据顺序写入所述封装hdfs系统中不同的分布式存储模块。3.根据权利要求1所述的基于分布式存储的大数据采样方法，其特征在于，所述按预设方式修正前一采样率得到后一采样率包括：采用对前一采样率折半迭代的方式修正前一采样率得到后一采样率。4.根据权利要求3所述的基于分布式存储的大数据采样方法，其特征在于，所述针对每一指标，对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果；直至对按照修正的采样率随机采样得到的指标采样数据进行聚合计算得到的计算结果满足预设要求时，将满足预设要求的计算结果所对应的采样率作为该指标的最终采样率，包括：针对每个采样率的指标采样数据，计算该指标采样数据内异常指标数据在所述预设时间段的指标数据内的占比，计算该采样率相应的异常数据占比误差；其中，所述异常数据占比误差是指采样时异常指标数据在所述预设时间段的指标数据内的占比与非采样时异常指标数据占比的差值，所述非采样时异常指标数据占比是指预设时间段内所有异常指标数据在所述预设时间段的指标数据内的占比；当前一采样率相应的异常数据占比误差小于预设误差阈值、且后一采样率相应的异常数据占比误差大于预设误差阈值时，将前一采样率作为该指标的最终采样率。5.根据权利要求1所述的基于分布式存储的大数据采样方法，其特征在于，还包括：针对所有指标，按指定时间间隔推送自分布式存储模块内获取的预设时间段内的指标数据、以及自所述预设时间段的指标数据内随机采样得到的指标采样数据；所述对每个采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果，具体包括：在接收到自分布式存储模块内获取的预设时间段内的指标数据、以及自所述预设时间段的指标数据内随机采样得到的指标采样数据之后，对采样率相应的指标采样数据进行聚合计算得到采样率对应的计算结果。6.一种基...

【专利技术属性】
技术研发人员：杨忠伟，
申请(专利权)人：微梦创科网络科技中国有限公司，
类型：发明
国别省市：