一种多维数据分布式并行处理方法技术

技术编号:40533664 阅读:31 留言:0更新日期:2024-03-01 13:55
本发明专利技术涉及多维数据处理领域,尤其涉及一种多维数据分布式并行处理方法,包括:S1、对待处理多维数据进行初步分割获取待处理多维分割数据;S2、根据所述待处理多维分割数据建立分布式并行处理拓扑;S3、根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果,考虑到多维数据的前后关联逻辑性,保证了多维数据分割后在并行处理中的运行稳定性,在整体的处理拓扑下,又精细化划分出时序与非时序的进程,多重设置保障最终结果的输出,又对于数据正常输出设置了多层次验证,正常输出与异常输出比值达到0.5,对于多维数据的分割整合处理有显著的改善与提升。

【技术实现步骤摘要】

本专利技术涉及多维数据处理领域,具体涉及一种多维数据分布式并行处理方法


技术介绍

1、多维数据顾名思义为多维度数据,针对多维度数据的快速准确处理一直是数据处理中的一大难题,传统方案分割、实施、合并,过程简单,且占用系统线程不固定,对于系统资源也是一种浪费,同时在多维数据的同步进程实施中,进程稳定性与多维数据稳定性无法保证,进而极易导致最终数据输出的错误与异常。


技术实现思路

1、针对现有技术的不足,本专利技术提供了一种多维数据分布式并行处理方法,通过多维数据分割后,步步为营的验证方法提升结果输出准确性与发生异常时的精准定位。

2、为实现上述目的,本专利技术提供了一种多维数据分布式并行处理方法,包括:

3、s1、对待处理多维数据进行初步分割获取待处理多维分割数据;

4、s2、根据所述待处理多维分割数据建立分布式并行处理拓扑;

5、s3、根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果。

6、优选的,所述对待处理多维数据进行本文档来自技高网...

【技术保护点】

1.一种多维数据分布式并行处理方法,其特征在于,包括:

2.如权利要求1所述的一种多维数据分布式并行处理方法,其特征在于,所述对待处理多维数据进行初步分割获取待处理多维分割数据包括:

3.如权利要求2所述的一种多维数据分布式并行处理方法,其特征在于,根据所述待处理多维分割数据建立分布式并行处理拓扑包括:

4.如权利要求2所述的一种多维数据分布式并行处理方法,其特征在于,根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果包括:

5.如权利要求4所述的一种多维数据分布式并行处理方法,其特征在于,利用所述待处理多维分割数...

【技术特征摘要】

1.一种多维数据分布式并行处理方法,其特征在于,包括:

2.如权利要求1所述的一种多维数据分布式并行处理方法,其特征在于,所述对待处理多维数据进行初步分割获取待处理多维分割数据包括:

3.如权利要求2所述的一种多维数据分布式并行处理方法,其特征在于,根据所述待处理多维分割数据建立分布式并行处理拓扑包括:

4.如权利要求2所述的一种多维数据分布式并行处理方法,其特征在于,根据所述分布式并行处理拓扑对待处理多维分割数据进行处理得到分布式并行处理结果包括:

5.如权利要求4所述的一种多维数据分布式并行处理方法,其特征在于,利用所述待处理多维分割数据根据分布式并行处理拓扑得到待处理多维分割数据实时处理结果包括:

6.如权利要求5所述的一种多维数据分布式并行处...

【专利技术属性】
技术研发人员:汤智彬植挺生陈建生邓超河刘勇严如灏
申请(专利权)人:广东广宇科技发展有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1