海量数据处理系统及方法技术方案

本发明专利技术公开了一种海量数据处理系统及方法，该系统包括：整合单元，用于从不同数据源中获取源数据，并对所述源数据进行处理后生成与不同业务对应的统一接口的主题数据；存储单元，用于将所述主题数据存储在分布式文件系统中；分析单元，用于根据不同的任务请求，对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析；展现单元，用于展现所述分析单元的计算和分析结果。利用本发明专利技术，可以实现对智能小区中海量数据的处理，提高处理效率及系统扩展性。

【技术实现步骤摘要】

本专利技术涉及数据处理
，具体涉及一种。
技术介绍
目前，随着智能小区的建设，各种配套系统(如用电信息采集系统、家庭用能管理系统、分布式能源管理系统、电动汽车管理系统等)也在同步建设和完善。今后，在智能小区推广过程中，智能用电、分布式清洁能源和电动汽车将会得到广泛应用，同时会有大量的信息系统上线运行；物联网技术的不断发展，使得在电网末梢用电环节，会有大量的用电终端设备、新能源接入，必将产生大量基础用电信息数据。商业智能(Business Intelligence，简称Bi)系统提供迅速分析数据的技术和方法，将企业中现有的数据转化为知识，帮助企业做出明智的业务经营决策。它充分利用现有的业务信息，借助现代信息技术，提取和组织有用信息，帮助用户在加强管理、促进营销和企业发展方面做出及时、正确的决策，把握、分析和发现新的商机和潜在的威胁，从而改进财务绩效，引导产品潮流，提高服务水平，保持竞争优势，为企业带来更大的经济收益。在智能小区建设中引入商业智能系统，将给智能小区建设带来新的商机与活力。 应用商业智能系统对电网企业和用户侧各类原始数据进行收集、归类、整理、分析和深度挖掘后，可以本文档来自技高网...

【技术保护点】
１．一种海量数据处理系统，其特征在于，包括：整合单元，用于从不同数据源中获取源数据，并对所述源数据进行处理后生成与不同业务对应的统一接口的主题数据；存储单元，用于将所述主题数据存储在分布式文件系统系统中；分析单元，用于根据不同的任务请求，对所述分布式文件系统中存储的数据进行多节点、多任务的并行计算和分析；展现单元，用于展现所述分析单元的计算和分析结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：刘建明，王继业，赵丙镇，栗宁，李伟良，王娟，王风雨，闫爱梅，李晓珍，
申请(专利权)人：国网信息通信有限公司，北京国电通网络技术有限公司，
类型：发明
国别省市：11