本发明专利技术公开了一种大数据的引接、汇集、治理、存储方法与系统，尤其是一种大数据的引接、汇集、治理、存储系统，包括数据引接模块、数据汇集模块、数据治理模块和数据存储模块，所述数据引接模块、数据汇集模块、数据治理模块和数据存储模块依次连接，所述数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，所述数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接。本发明专利技术能够便于对大数据进行整合处理，有效的提高大数据的处理效率，提高大数据处理结果的准确性，同时，能够保证大数据的安全性。安全性。
【技术实现步骤摘要】
一种大数据的引接、汇集、治理、存储方法与系统
[0001]本专利技术涉及大数据处理
，尤其涉及一种大数据的引接、汇集、治理、存储方法与系统。
技术介绍
[0002]近年来，一伴随着互联网二物联网、云计算、一三网融合等IT与通信技术的快速发展，数据的迅速增长给许多行业带来了严峻的挑战和宝贵的机遇，所以说信息社会已然迈进了大数据(BigData)时代。大数据的出现给人类的工作模式、生活方式以及科研方式都带来了根本性的变化。大数据包含着巨大的价值，不仅在社会、经济、科学研究等不同领域都具备不可忽视的重大作用和意义，而且己深入到了人们的生活中，为人们更加透彻地认知、了解物质世界提供了充足的讯息。在此背景下大数据及其相关领域的研究己成为学术界、政府机构、行业密切关注的重点问题。大数据的产生给IT产业带来了颠覆性的变革，而且必将对现代企业包括内部后勤、生产作业、外部后勤、市场和销售、服务、采购、技术开发、人力资源管理和企业基础设旋建设等的商务运作全过程、全领域以及消费者行为模式等产生巨大影响，使得企业商务管理决策越来越依赖于以数据挖掘为代表的数据分析而非经验或直觉，然而，现缺少一种大数据的引接、汇集、治理、存储的方法，使得大数据处理中存在局限性。
技术实现思路
[0003]基于
技术介绍
存在的技术问题，本专利技术提出了一种大数据的引接、汇集、治理、存储方法与系统。
[0004]本专利技术提出的一种大数据的引接、汇集、治理、存储系统，包括数据引接模块、数据汇集模块、数据治理模块和数据存储模块，所述数据引接模块、数据汇集模块、数据治理模块和数据存储模块依次连接，所述数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，所述数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，所述数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，所述数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接。
[0005]优选的，所述数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中。
[0006]优选的，所述数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中。
[0007]优选的，所述数据请求单元接收大数据信息处理的请求，数据请求单元将请求数
据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储。
[0008]优选的，所述数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
[0009]一种大数据的引接、汇集、治理、存储方法，包括如下步骤：
[0010]S1数据引接：数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中；
[0011]S2数据汇集：数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中；
[0012]S3数据治理：数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据存储模块中进行存储；
[0013]S4数据存储：数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接，数据加密单元对有用数据信息进行加密处理，加密后的数据信息传输至存储器单元中进行存储。
[0014]本专利技术中，所述一种大数据的引接、汇集、治理、存储方法与系统，能够便于对大数据进行整合处理，有效的提高大数据的处理效率，提高大数据处理结果的准确性，同时，能够保证大数据的安全性。
附图说明
[0015]图1为本专利技术提出的一种大数据的引接、汇集、治理、存储系统的流程示意图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0017]参照图1，一种大数据的引接、汇集、治理、存储系统，包括数据引接模块、数据汇集模块、数据治理模块和数据存储模块，所述数据引接模块、数据汇集模块、数据治理模块和数据存储模块依次连接，所述数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，所述数据汇集模块包括数据接收单元、数据转换单元和数
据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，所述数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，所述数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接。
[0018]本专利技术中，所述数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中。
[0019]本专利技术中，所述数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中。
[0020]本专利技术中，所述数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种大数据的引接、汇集、治理、存储系统，其特征在于，包括数据引接模块、数据汇集模块、数据治理模块和数据存储模块，所述数据引接模块、数据汇集模块、数据治理模块和数据存储模块依次连接，所述数据引接模块包括数据采集单元和数据保存单元，且数据采集单元和数据保存单元相连接，所述数据汇集模块包括数据接收单元、数据转换单元和数据分类单元，所述数据接收单元、数据转换单元和数据分类单元依次连接，所述数据治理模块包括数据请求单元、服务调用单元、数据处理单元和数据筛分单元，所述数据请求单元、服务调用单元、数据处理单元和数据筛分单元依次连接，所述数据存储模块包括数据加密单元和存储器单元，且数据加密单元和存储器单元相连接。2.根据权利要求1所述的一种大数据的引接、汇集、治理、存储系统，其特征在于，所述数据采集单元采集大数据的数据信息，并将采集到的大数据信息传输至数据保存单元中进行数据保存，同时，大数据信息传输至数据汇集模块中。3.根据权利要求1所述的一种大数据的引接、汇集、治理、存储系统，其特征在于，所述数据接收单元接收传输的大数据信息，并将大数据信息传输至数据转换单元，数据转换单元将大数据信息的数据格式转换成常用数据格式，并将转换后的大数据信息传输至数据分类单元，数据分类单元将数据进行分类，分类后的数据信息传输至数据治理模块中。4.根据权利要求1所述的一种大数据的引接、汇集、治理、存储系统，其特征在于，所述数据请求单元接收大数据信息处理的请求，数据请求单元将请求数据传输至服务调用单元，服务调用单元将调用处理逻辑，数据处理单元通过服务调用单元调用的处理逻辑对数据信息进行数据处理，处理后的数据信息传输至数据筛分单元，数据筛分单元对处理后的信息进行筛分，筛除无用数据信息并将其剔除，有用的数据信息传输至数据...
【专利技术属性】
技术研发人员：王清杰，
申请(专利权)人：北京德风新征程科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。