一种基于超算环境的数据分析处理方法及装置制造方法及图纸

本申请公开了一种基于超算环境的数据分析处理方法及装置，涉及数据处理技术领域

【技术实现步骤摘要】
一种基于超算环境的数据分析处理方法及装置


[0001]本申请是关于数据处理
，特别是关于一种基于超算环境的数据分析处理方法及装置
。

技术介绍

[0002]超算设备，被定义为一种极其强大的计算设备，能够以每秒浮点运算测量的速度处理数据，以执行复杂的计算和模拟，通常用于研究
、
人工智能和大数据计算领域
。
[0003]目前，在针对复杂且大量的数据进行数据处理时，可以应用超算设备实现数据的分析处理
。
虽然超算设备的数据处理能力已经很强大了，但是，当多个超算设备共同用于一批数据的处理时，如果不对数据进行合理的分配，仍然无法保证最高效
、
且较为节省资源的数据处理
。
[0004]因此，目前的多超算设备结合应用的场景下，无法保证多个超算设备的最大化利用，进而无法进一步提升数据处理效率和数据处理精度
。

技术实现思路

[0005]本申请的目的在于提供一种基于超算环境的数据分析处理方法及装置，其能够实现多个超算节点的最大化利用，进一步提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于超算环境的数据分析处理方法，其特征在于，所述数据分析处理方法包括：确定待处理数据的分类维度信息；所述分类维度信息包括至少一个分类维度
、
不同的分类维度分别对应的维度参考值和不同的分类维度之间的关联关系；通过第一超算节点，基于所述分类维度信息中的至少一个分类维度将所述待处理数据划分为多份子数据；其中，每份子数据对应至少一个分类维度；通过第二超算节点，基于所述多份子数据分别对应的分类维度
、
所述多份子数据分别对应的分类维度分别对应的维度参考值和所述多份子数据分别对应的分类维度之间的关联关系，确定多个第三超算节点分别对应的处理数据；其中，针对多个第三超算节点中的第三超算节点，该第三超算节点对应的处理数据所对应的分类维度参考值的总和在预设参考值范围内，该第三超算节点对应的处理数据所对应的分类维度中，至少两个分类维度之间存在关联关系；基于所述多个第三超算节点的数据处理结果
、
预设的超算节点关系和所述多个第三超算节点分别对应的处理数据所对应的分类维度之间的关联关系，确定所述待处理数据的最终数据处理结果
。2.
根据权利要求1所述的基于超算环境的数据分析处理方法，其特征在于，所述确定待处理数据的分类维度信息，包括：根据所述待处理数据的数据来源和预设的数据来源与分类维度之间的对应关系，确定所述待处理数据对应的至少一个分类维度；根据所述待处理数据对应的分类维度的数量，确定维度参考值初值；基于所述维度参考值初值和所述待处理数据对应的至少一个分类维度在所述预设的数据来源与分类维度之间的对应关系中的出现频次，确定所述待处理数据对应的至少一个分类维度分别对应的维度参考值；基于所述待处理数据对应的至少一个分类维度分别对应的维度参考值，确定所述待处理数据对应的至少一个分类维度之间的关联关系
。3.
根据权利要求2所述的基于超算环境的数据分析处理方法，其特征在于，所述基于所述待处理数据对应的至少一个分类维度分别对应的维度参考值，确定所述待处理数据对应的至少一个分类维度之间的关联关系，包括：获取预设的关联关系映射表；所述关联关系映射表中包括：多个维度参考值
、
所述多个维度参考值分别对应的处理时间系数和处理精度系数；基于所述预设的关联关系映射表和所述待处理数据对应的至少一个分类维度分别对应的维度参考值，确定所述待处理数据对应的至少一个分类维度分别对应的处理时间系数和处理精度系数；针对所述待处理数据对应的任意两个分类维度，若该两个分类维度分别对应的处理时间系数和处理精度系数满足预设系数关系，则该两个分类维度之间具备关联关系；其中，不同的关联关系对应不同的预设系数关系
。4.
根据权利要求1所述的基于超算环境的数据分析处理方法，其特征在于，所述第一超算节点预设多种分类算法，所述多种分类算法分别对应一个指定分类维度；所述通过第一超算节点，基于所述分类维度信息中的至少一个分类维度将所述待处理数据划分为多份子数据，包括：
根据所述多种分类算法分别对应的指定分类维度和所述分类维度信息中的至少一个分类维度，确定所述待处理数据对应的至少一种分类算法；通过所述至少一种分类算法，确定所述待处理数据对应的至少一种数据划分结果；其中，每种数据划分结果中均包括多份子数据；基于所述至少一种数据划分结果，确定所述待处理数据的最终数据划分结果，以将所述待处理数据划分为多份子数据
。5.
根据权利要求4所述的基于超算环境的数据分析处理方法，其特征在于，所述基于所述至少一种数据划分结果，确定所述待处理数据的最终数据划分结果，包括：根据所述至少一种数据划分结果对应的子数据份数
、
子数据的数据量均值和子数据对应的分类维度数量均值，确定所述至少一种数据划分结果之间的相似度；基于所述至少一种数据划分结果之间的相似度，将所述多种数据划分结果整合为最终数据划分结果；其中，针对任意两种数据划分结果，若该两种数据划分结果之间的相似度大于预设相似度，则基于该两种数据划分结果中的相同子数据确定该两种数据划分结果对应的整合数据划分结果；若该两种数据划分结果之间的相似度小于或者等于所述预设相似度，则基于两种数据划分结果中的不相同子数据确定该两种数据划分结果对应的整合数据划分结果
。6.
根据权利要求1所述的基于超算环境的数据分析处理方法，其特...

【专利技术属性】
技术研发人员：龙玉江，甘润东，李洵，王杰峰，胡啟镝，
申请(专利权)人：贵州电网有限责任公司信息中心，
类型：发明
国别省市：