一种分布式环境下的海量数据存储与计算系统技术方案

技术编号:20916332 阅读:14 留言:0更新日期:2019-04-20 09:39
本发明专利技术公开了一种分布式环境下的海量数据存储与计算系统,所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架,为分布式计算、内存计算提供运行支撑;核心应用服务层,用于提供平台服务;管理控制台,为核心应用服务层提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层中各组件的运行情况。以解决现有技术平台结构可扩展性较差,对数据操作存在困难的问题。

A Massive Data Storage and Computing System in Distributed Environment

The invention discloses a massive data storage and calculation system in a distributed environment, which includes a running framework for the storage and calculation of massive data in the acquisition system, a core application service layer for providing platform services, a management console for providing management control for the core application service layer, and a running framework for the operation of distributed computing and memory calculation. Interface, the interface operation function provided, monitoring the operation of each component in the core application service layer of the platform. In order to solve the problem of poor scalability of existing technology platform structure and difficult data operation.

【技术实现步骤摘要】
一种分布式环境下的海量数据存储与计算系统
本专利技术涉及计算机领域,尤其涉及一种分布式环境下的海量数据存储与计算系统。
技术介绍
现有的电采集系统的海量数据的存储与计算平台,平台结构可扩展性较差,对数据操作困难。
技术实现思路
本专利技术要解决的技术问题是:提供一种分布式环境下的海量数据存储与计算系统,以解决现有技术平台结构可扩展性较差,对数据操作存在困难的问题。本专利技术的技术方案是:一种分布式环境下的海量数据存储与计算系统,所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架,为分布式计算、内存计算提供运行支撑;核心应用服务层,用于提供平台服务;管理控制台,为核心应用服务层提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层中各组件的运行情况。进一步地,所述核心应用服务层包括集成封装,集成封装包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。进一步地,所述核心应用服务层包括服务访问代理,服务访问代理包括Socket、Webservice和RESTful交互方式。进一步地,所述核心应用服务层包括数据导入接口。进一步地,所述核心应用服务层包括查询接口。进一步地,所述核心应用服务层包括访问权限控制器。本专利技术的有益效果是:与现有技术相比,本专利技术通过使用运行框架,为分布式计算、内存计算提供运行支撑;核心应用服务层,用于提供平台服务;管理控制台,为核心应用服务层提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层中各组件的运行情况。平台可扩展性大大增强,且对数据更加容易操作。附图说明图1为本专利技术的结构示意图;图中:1运行框架、2核心运用服务层、201集成封装、202服务访问代理、203数据导入接口、204查询接口、205访问权限控制器、3管理控制台。具体实施方式下面结合附图及具体的实施例对专利技术进行进一步介绍:参考图1,一种分布式环境下的海量数据存储与计算系统,所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架1,为分布式计算、内存计算提供运行支撑;核心应用服务层2,用于提供平台服务;管理控制台3,为核心应用服务层2提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层2中各组件的运行情况。使得平台可扩展性大大增强,且对数据更加容易操作。进一步地,所述核心应用服务层2包括集成封装201,集成封装201包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。进一步地,所述核心应用服务层2包括服务访问代理202,服务访问代理202包括Socket、Webservice和RESTful交互方式。进一步地,所述核心应用服务层2包括数据导入接口203。使外界数据导入更加简单。进一步地,所述核心应用服务层2包括查询接口204。使查询数据更加简单。进一步地,所述核心应用服务层2包括访问权限控制器205。使各项活动都受控,避免没有权限的人越权操作。以上内容是结合具体的优选实施方式对本专利技术所作的进一步详细说明,不能认定本专利技术的具体实施只局限于这些说明。对于本专利技术所属
的普通技术人员来说,在不脱离本专利技术构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本专利技术的保护范围。本文档来自技高网
...

【技术保护点】
1.一种分布式环境下的海量数据存储与计算系统,其特征在于:所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架(1),为分布式计算、内存计算提供运行支撑;核心应用服务层(2),用于提供平台服务;管理控制台(3),为核心应用服务层(2)提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层(2)中各组件的运行情况。

【技术特征摘要】
1.一种分布式环境下的海量数据存储与计算系统,其特征在于:所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架(1),为分布式计算、内存计算提供运行支撑;核心应用服务层(2),用于提供平台服务;管理控制台(3),为核心应用服务层(2)提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层(2)中各组件的运行情况。2.根据权利要求1所述的分布式环境下的海量数据存储与计算系统,其特征在于:所述核心应用服务层(2)包括集成封装(201),集成封装(201)包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。3.根据权...

【专利技术属性】
技术研发人员:欧家祥代湘蓉张俊玮黄宇丁超王蓝苓王扬胡厚鹏李航峰宋强杨婧王俊融安江吴才远林晓庆付卿卿文良文余飞娅唐贤敏石云晖
申请(专利权)人:贵州电网有限责任公司
类型:发明
国别省市:贵州,52

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1