一种基于大数据的数据治理系统及其治理方法技术方案

本发明专利技术公开了一种基于大数据的数据治理系统，数据采集模块、数据规范处理模块、存储模块、人工处理模块、数据分区模块、分发处理模块、处理结果汇总模块、数据校核模块和数据输出模块，本发明专利技术还提供了上述基于大数据的数据治理系统的制备方法，包括待处理数据的采集、对待处理数据进行规范处理和存储、将规范数据进行分区处理、将分区后的规范数据分别发送至子服务器中并进行单独处理并汇总在总服务器上以及对汇总后的数据进行校核并将校核后的数据输出，本发明专利技术通过把格式不符或内容确实的数据进行分类治理，来提高了数据计算的准确率，在治理数据的同时完成了对数据的初步分类计算，为后面的计算时间节省了时间，从而提高了数据处理的效率。

【技术实现步骤摘要】
一种基于大数据的数据治理系统及其治理方法
本专利技术涉及数据处理
，具体为一种基于大数据的数据治理系统及其治理方法。
技术介绍
数据治理是指对数据中存在的内容不规范、格式不统一等问题进行处理的过程。在数据处理进入大数据时代后，数据治理的重要性日益明显，通过有效的数据治理可以明显提高数据处理的效率。不过，现有的数据治理过程本身就需要消耗大量的运算，不利于对于数据处理整个过程效率的提高。
技术实现思路
本专利技术的目的在于提供一种基于大数据的数据治理系统及其治理方法以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于大数据的数据治理系统，包括：数据采集模块，用于对待处理数据进行采集；数据规范处理模块，用于对待处理数据进行规范处理；存储模块，用于对处理后的数据进行存储；人工处理模块，用于人工处理不规范数据，以使不规范数据符合要求；数据分区模块，将处理后的规范数据进行分类处理；分发处理模块，用于将分类后的数据分别发送至对应的子服务器中；处理结果汇总模块，用于将各个子服务器中的处理后的数据汇入到总服务器中；数据校核模块，将总服务器中的数据与原始数据进行比较，分拣出与原始数据相匹配的数据并发送至数据输出模块中，而与原始数据不匹配的数据发送至对应的子服务器中；数据输出模块，用于将分拣出与原始数据相匹配的数据直接输出。进一步地，所述存储模块是由多个独立的储存单元组成。上述基于大数据的数据治理系统的治理方法，包括以下步骤：步骤一、通过数据采集模块对待处理数据进行采集；步骤二、通过数据规范处理模块对待处理数据进行规范处理，并将处理后的数据发送至存储模块中进行存储，而未能规范处理的数据发送至人工处理模块中，通过人工操作将不规范的数据进行处理，经人工处理模块处理后的规范数据发送至数据采集模块中；步骤三、通过数据分区模块将规范数据进行简单地分区处理；步骤四、通过分发处理模块将分区后的规范数据分别发送至所对应的子服务器中并进行单独处理，然后将处理后的规范数据通过处理结果汇总模块汇总在总服务器上；步骤五、通过数据校核模块将汇总在总服务器中的数据与原始数据进行校核，经校核后的数据与原始数据相匹配的数据通过数据输出模块输出，而经校核后与原始数据不匹配的数据重新发送至其所对应的子服务器中，并重复步骤三、步骤四和步骤五。进一步地，所述原始数据是指储存在存储单元中的数据。与现有技术相比，本专利技术的有益效果是：(1)本专利技术将数据分区给多个子服务器进行独立运算，在运算过程中互不干扰，相对于通过一个大的服务器而言，不仅节省了运算时间，而且通过把格式不符或内容确实的数据进行分类治理，从而来提高了数据计算的准确率。(2)本专利技术在治理数据的同时完成了对数据的初步分类计算，为后面的计算时间节省了时间，从而提高了数据处理的效率。附图说明图1为本专利技术的工作原理流程图。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例一种基于大数据的数据治理系统，包括：数据采集模块，用于对待处理数据进行采集；数据规范处理模块，用于对待处理数据进行规范处理；存储模块，用于对处理后的数据进行存储；人工处理模块，用于人工处理不规范数据，以使不规范数据符合要求；数据分区模块，将处理后的规范数据进行分类处理；分发处理模块，用于将分类后的数据分别发送至对应的子服务器中；处理结果汇总模块，用于将各个子服务器中的处理后的数据汇入到总服务器中；数据校核模块，将总服务器中的数据与原始数据进行比较，分拣出与原始数据相匹配的数据并发送至数据输出模块中，而与原始数据不匹配的数据发送至对应的子服务器中；数据输出模块，用于将分拣出与原始数据相匹配的数据直接输出。在本实施例中，所述存储模块是由多个独立的储存单元组成。上述基于大数据的数据治理系统的治理方法，包括以下步骤：步骤一、通过数据采集模块对待处理数据进行采集；步骤二、通过数据规范处理模块对待处理数据进行规范处理，并将处理后的数据发送至存储模块中进行存储，而未能规范处理的数据发送至人工处理模块中，通过人工操作将不规范的数据进行处理，经人工处理模块处理后的规范数据发送至数据采集模块中；步骤三、通过数据分区模块将规范数据进行简单地分区处理；步骤四、通过分发处理模块将分区后的规范数据分别发送至所对应的子服务器中并进行单独处理，然后将处理后的规范数据通过处理结果汇总模块汇总在总服务器上；步骤五、通过数据校核模块将汇总在总服务器中的数据与原始数据进行校核，经校核后的数据与原始数据相匹配的数据通过数据输出模块输出，而经校核后与原始数据不匹配的数据重新发送至其所对应的子服务器中，并重复步骤三、步骤四和步骤五。在本实施例中，所述原始数据是指储存在存储单元中的数据尽管参照前述实施例对本专利技术进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种基于大数据的数据治理系统，其特征在于，包括：/n数据采集模块，用于对待处理数据进行采集；/n数据规范处理模块，用于对待处理数据进行规范处理；/n存储模块，用于对处理后的数据进行存储；/n人工处理模块，用于人工处理不规范数据，以使不规范数据符合要求；/n数据分区模块，将处理后的规范数据进行分类处理；/n分发处理模块，用于将分类后的数据分别发送至对应的子服务器中；/n处理结果汇总模块，用于将各个子服务器中的处理后的数据汇入到总服务器中；/n数据校核模块，将总服务器中的数据与原始数据进行比较，分拣出与原始数据相匹配的数据并发送至数据输出模块中，而与原始数据不匹配的数据发送至对应的子服务器中；/n数据输出模块，用于将分拣出与原始数据相匹配的数据直接输出。/n

【技术特征摘要】
1.一种基于大数据的数据治理系统，其特征在于，包括：
数据采集模块，用于对待处理数据进行采集；
数据规范处理模块，用于对待处理数据进行规范处理；
存储模块，用于对处理后的数据进行存储；
人工处理模块，用于人工处理不规范数据，以使不规范数据符合要求；
数据分区模块，将处理后的规范数据进行分类处理；
分发处理模块，用于将分类后的数据分别发送至对应的子服务器中；
处理结果汇总模块，用于将各个子服务器中的处理后的数据汇入到总服务器中；
数据校核模块，将总服务器中的数据与原始数据进行比较，分拣出与原始数据相匹配的数据并发送至数据输出模块中，而与原始数据不匹配的数据发送至对应的子服务器中；
数据输出模块，用于将分拣出与原始数据相匹配的数据直接输出。


2.根据权利要求1所述的一种基于大数据的数据治理系统，其特征在于：所述存储模块是由多个独立的储存单元组成。


3.根据权利要求1或2所述的一种基于大数据的数据治理系统...

【专利技术属性】
技术研发人员：赵越，罗慧，魏清，
申请(专利权)人：国网江苏省电力有限公司，江苏中堃数据技术有限公司，
类型：发明
国别省市：江苏;32