【技术实现步骤摘要】
一种面向快速服务的大数据聚合方法及系统
[0001]本专利技术涉及大数据聚合
，更具体地说，本专利技术涉及一种面向快速服务的大数据聚合方法及系统。
技术介绍
[0002]目前，常用服务的大数据聚合通过数据同构低维信息；如何进行预聚合联机分析处理，获得联机预聚合多维信息、进行大数据聚合获得大数据结果、实现面向快速服务的大数据聚合等仍存在较多问题；因此，有必要提出一种面向快速服务的大数据聚合方法及系统，以至少部分地解决现有技术中存在的问题。
技术实现思路
[0003]在
技术实现思路
部分中引入了一系列简化形式的概念，这将在具体实施方式部分中进一步详细说明；本专利技术的
技术实现思路
部分并不意味着要试图限定出所要求保护的技术方案的关键特征和必要技术特征，更不意味着试图确定所要求保护的技术方案的保护范围。
[0004]为至少部分地解决上述问题，本专利技术提供了一种面向快速服务的大数据聚合方法，包括：
[0005]S100，将面向快速服务的大数据通过数据异构，获得快速服务大数据多维信息；
[0...
【技术保护点】
【技术特征摘要】
1.一种面向快速服务的大数据聚合方法，其特征在于，包括：S100，将面向快速服务的大数据通过数据异构，获得快速服务大数据多维信息；S200，将大数据多维信息通过联机处理节点进行预聚合联机分析处理，获得联机预聚合多维信息；S300，将联机预聚合多维信息进行大数据桶型聚合及大数据度量聚合，获得大数据第一聚合结果；S400，对大数据第一聚合结果进行管道聚合，获得大数据第二聚合结果，实现面向快速服务的大数据异构多维聚合。2.根据权利要求1所述的一种面向快速服务的大数据聚合方法，其特征在于，所述S100包括：S101，将面向快速服务的大数据按照服务类型进行分类拆分为多种服务类型数据；S102，对多种服务类型数据进行数据异构处理，获得服务类型异构处理数据；S103，将服务类型异构处理数据进行维度升级，获得快速服务大数据多维信息。3.根据权利要求1所述的一种面向快速服务的大数据聚合方法，其特征在于，所述S200包括：S201，将大数据多维信息按照设定范围联机处理节点数量，分别分发到设定范围联机处理节点；S202，建立设定范围联机处理节点的预聚合联机分析处理框架；S203，根据聚合联机分析处理框架进行预聚合联机分析处理，获得联机预聚合多维信息。4.根据权利要求1所述的一种面向快速服务的大数据聚合方法，其特征在于，所述S300包括：S301，将联机预聚合多维信息进行集中备份，获得预聚合多维信息集中备份数据；S302，将预聚合多维信息集中备份数据进行大数据桶型聚合，获得桶型聚合数据；S303，将桶型聚合数据进行大数据度量聚合，获得大数据第一聚合结果。5.根据权利要求1所述的一种面向快速服务的大数据聚合方法，其特征在于，所述S400包括：S401，将大数据第一聚合结果传输到数据管道聚合的数据处理管道输入端；S402，数据处理管道输入端将大数据第一聚合结果分型并传入各数据处理管道，进行管道聚合处理；S403，通过管道聚合处理，获得大数据第二聚合结果，实现面向快速服务的大数据异构多维聚合。6.一种面向快速服务的大数据聚合系统，其特征在于，包括：数据异构多维构建模块，将面向快速服务的大数据通过数据异构，获得快速服务大数据多维信息；预聚合联机分析模块，将大数据多维信息通过联机处理节点进行预聚合联机分析处理，获得联机预聚合多维信息；多维信息递进聚合模块，将联机预聚合多维信息进行大数据桶型聚合及大数据度量聚合，获得大数据第一聚合结果；
管道聚合快速响应模块，对大数据第一聚合结果进行管道聚合，获得大数据第二聚合结果，实现面向快速服务的大数据异构多维聚合。7.根据权利要求6所述的一种面向快速服务的大数据聚合系统，其特征在于，所述数据异构多维构建模块包括：服务类型分类拆分子模块，将面向快速服务的大数据按照服务类型进行分类拆分为多种服务类型数据；多型数据异构处理子模块，对多种服务类型数据进行数据异构处理，获得服务类型异构处理数据；对多种服务类型服务类型进行服务类型异构处理还包括：将待校验的字符分隔值格式的基准服务类型表和比对服务...
【专利技术属性】
技术研发人员：耿志强，胡凤霞，冯大成，
申请(专利权)人：北京赛博贝斯数据科技有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。