一种用于计算机并行化同步的大数据分析系统及方法技术方案

本发明专利技术公开了一种用于计算机并行化同步的大数据分析系统及方法，涉及数据分析技术领域，包括并行管理模块、数据分析模块、数据库、云平台、智能终端。本发明专利技术可对系统中的数据进行并行管理工作；可对系统数据进行分析整合处理；可对系统数据进行储存并为系统提供数据基础；可对系统数据进行云端集束管理和运算；可对系统数据设定需求以及查看系统数据；可对系统并行化节点进行分析计算处理；可对系统数据进行追溯处理；可对系统并行化数据进行并行管理分析计算，可对不同任务节点的数据进行分析整合处理，对不同任务节点数据计算的准确性进行评估，便于快速定位到计算失误的数据节点，然后对该数据节点的数据进行重新核验计算即可。可。可。

【技术实现步骤摘要】
一种用于计算机并行化同步的大数据分析系统及方法


[0001]本专利技术涉及数据分析
，具体为一种用于计算机并行化同步的大数据分析系统及方法。

技术介绍

[0002]并行处理是计算机系统中能同时执行两个或更多个处理机的一种计算方法。处理机可同时工作于同一程序的不同方面，并行处理的主要目的是节省大型和复杂问题的解决时间。它的基本思想是用多个处理器来协同求解同一问题，即将被求解的问题分解成若干个部分，各部分均由一个独立的处理机来并行计算。并行计算可分为时间上的并行和空间上的并行；时间上的并行就是指流水线技术，而空间上的并行则是指用多个处理器并发的执行计算。
[0003]专利(CN114217871A)公开了一种多计算机集群并行仿真方法，包括将模型文件发送到文件服务器，模型文件包括仿真任务配置文件和仿真任务文件；确定目标节点计算机，并向目标节点计算机发送任务指令以分配仿真任务；当目标节点计算机根据任务指令获取文件服务器中的模型文件后，向目标节点计算机发送启动指令以启动目标节点计算机中的仿真任务执行工具，仿真任务执行工具能够根据仿真任务配置文件执行对应的仿真任务；当目标节点计算机完成仿真任务后，获取目标节点计算机的仿真结果，并对仿真结果进行分析与处理。本专利技术还公开了一种航空发动机多计算机集群系统。本专利技术提供的多计算机集群并行仿真方法能够实现并行仿真。
[0004]上述专利文献中的多计算机集群并行仿真方法，并行计算在对不同任务节点的分析计算准确性的追溯效果不佳，不便于及时准确定位到计算失误的数据节点，导致计算一旦出错，重新计算较为繁琐。

技术实现思路

[0005]本专利技术的目的在于提供一种用于计算机并行化同步的大数据分析系统及方法，以解决上述
技术介绍
中提出的问题。
[0006]为了解决上述技术问题，本专利技术提供如下技术方案：一种用于计算机并行化同步的大数据分析系统，包括并行管理模块、数据分析模块、数据库、云平台、智能终端，所述并行管理模块对系统中的数据进行并行管理工作；所述数据分析模块对系统数据进行分析整合处理；所述数据库对系统数据进行储存并为系统提供数据基础；所述云平台对系统数据进行云端集束管理和运算；所述智能终端用于对系统数据设定需求以及查看系统数据；所述并行管理模块、数据分析模块、数据库、智能终端均分别与云平台通信数据连接，所述并行管理模块与数据分析模块通信数据连接。
[0007]进一步的，所述并行管理模块包括底层计算单元、中层计算单元、顶层计算单元，所述底层计算单元对并行化数据进行底层计算；所述中层计算单元对并行化数据进行中层计算；所述顶层计算单元对并行化数据进行顶层计算。
[0008]进一步的，所述底层计算单元为基础数据采集元器件，所述中层计算单元为数据传输中转元器件，所述顶层计算单元为终端计算机。
[0009]进一步的，所述底层计算单元为基础计算机，所述中层计算单元为数据传输中转元器件，所述顶层计算单元为云计算处理器。
[0010]进一步的，所述数据分析模块包括节点分析单元和数据追溯单元，所述节点分析单元对系统并行化节点进行分析计算处理；所述数据追溯单元对系统数据进行追溯处理。
[0011]本专利技术还提供了一种用于计算机并行化同步的大数据分析系统的分析方法，包括以下步骤：
[0012]S1、通过所述智能终端开启系统，系统开始运行工作，并行管理模块对系统并行化数据进行并行管理分析计算；并将计算结果和计算基础数据上传到云平台；
[0013]S2、云平台将数据发到数据分析模块，所述数据分析模块对不同任务节点的数据进行分析整合处理，对不同任务节点数据计算的准确性进行评估；
[0014]将上述计算过程和计算结果上传到云平台；
[0015]S3、云平台将数据发送到数据库和智能终端，使用者通过智能终端查看系统数据。
[0016]进一步的，在步骤S1中，建立底层计算节点X，中层计算节点Y，顶层计算节点Z，底层计算节点X在系统底层基础对系统数据进行底层并行化同步分析计算；中层计算节点Y在系统中层对系统数据进行中层并行化同步分析计算；顶层计算节点Z在系统顶层对系统数据进行顶层并行化同步分析计算。
[0017]进一步的，在步骤S2中，底层计算节点X中的基础数据为A
x
；中层计算节点Y的中层数据为B
y
；顶层计算节点Z的顶层数据为C
z
；
[0018]底层计算节点X中数据的分析计算如下：
[0019]以E
x
表示底层计算节点X中数据的离散度，用于判断底层计算节点X中数据之间的关联性，直接关联到底层计算节点X中的计算逻辑，表示前后数据计算逻辑之间的偏离程度；
[0020]中层计算节点Y中数据的分析计算如下：
[0021]以F
y
表示中层计算节点Y中数据的离散度，用于判断中层计算节点Y中数据之间的关联性，直接关联到中层计算节点Y中的计算逻辑，表示前后数据计算逻辑之间的偏离程度；
[0022]底层计算节点Z中数据的分析计算如下：
[0023]以H
z
表示顶层计算节点Z中数据的离散度，用于判断顶层计算节点Z中数据之间的关联性，直接关联到顶层计算节点Z中的计算逻辑，表示前后数据计算逻辑之间的偏离程度。
[0024]进一步的，对e
x
进行赋值，前后
数据计算逻辑之间的偏离程度越大，e
x
值越小；
[0025]对g
y
进行赋值，前后数据计算逻辑之间的偏离程度越大，g
y
值越小；
[0026]对j
z
进行赋值，前后数据计算逻辑之间的偏离程度越大，j
z
值越小。
[0027]进一步的，K
ixyz
＝e
x
×
g
y
×
j
z
；
[0028]L
m
＝K
1111
×
K
2111
×
K
2211
×
K
2121
×
K
2112
×……×
K
ixyz
×……×
K
mmmm
；L
m
为所有K
ixyz
的乘积；
[0029]当L
m
<1时，数据存在异常，向上追溯，直接查验K
ixyz
<1的数据，然后再直接定位查验e
x
<1、g
y
<1或j
z
<1的数据，这样就可以直接定位到计算失误的数据节点，然后对该数据节点的数据进行重新核验计算即可。
[0030]与现有技术相比，本专利技术所达到的有益效果是：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于计算机并行化同步的大数据分析系统，包括并行管理模块(1)、数据分析模块(2)、数据库(3)、云平台(4)、智能终端(5)，其特征在于：所述并行管理模块(1)对系统中的数据进行并行管理工作；所述数据分析模块(2)对系统数据进行分析整合处理；所述数据库(3)对系统数据进行储存并为系统提供数据基础；所述云平台(4)对系统数据进行云端集束管理和运算；所述智能终端(5)用于对系统数据设定需求以及查看系统数据；所述并行管理模块(1)、数据分析模块(2)、数据库(3)、智能终端(5)均分别与云平台(4)通信数据连接，所述并行管理模块(1)与数据分析模块(2)通信数据连接。2.根据权利要求1所述的一种用于计算机并行化同步的大数据分析系统，其特征在于：所述并行管理模块(1)包括底层计算单元、中层计算单元、顶层计算单元，所述底层计算单元对并行化数据进行底层计算；所述中层计算单元对并行化数据进行中层计算；所述顶层计算单元对并行化数据进行顶层计算。3.根据权利要求2所述的一种用于计算机并行化同步的大数据分析系统，其特征在于：所述底层计算单元为基础数据采集元器件，所述中层计算单元为数据传输中转元器件，所述顶层计算单元为终端计算机。4.根据权利要求2所述的一种用于计算机并行化同步的大数据分析系统，其特征在于：所述底层计算单元为基础计算机，所述中层计算单元为数据传输中转元器件，所述顶层计算单元为云计算处理器。5.根据权利要求1所述的一种用于计算机并行化同步的大数据分析系统，其特征在于：所述数据分析模块(2)包括节点分析单元和数据追溯单元，所述节点分析单元对系统并行化节点进行分析计算处理；所述数据追溯单元对系统数据进行追溯处理。6.根据权利要求1
‑
5任意一项所述的一种用于计算机并行化同步的大数据分析系统的分析方法，其特征在于：包括以下步骤：S1、通过所述智能终端(5)开启系统，系统开始运行工作，并行管理模块(1)对系统并行化数据进行并行管理分析计算；并将计算结果和计算基础数据上传到云平台(4)；S2、云平台(4)将数据发到数据分析模块(2)，所述数据分析模块(2)对不同任务节点的数据进行分析整合处理，对不同任务节点数据计算的准确性进行评估；将上述计算过程和计算结果上传到云平台(4)；S3、云平台(4)将数据发送到数据库(3)和智能终端(5)，使用者通过智能终端(5)查看系统数据。7.根据权利要求6所述的一种用于计算机并行化同步的大数据分析系统的分析方法，其特征在于：在步骤S1中，建立底层计算...

【专利技术属性】
技术研发人员：宁天君，
申请(专利权)人：哈尔滨天君科技有限公司，
类型：发明
国别省市：