The invention discloses a massive data storage and calculation system in a distributed environment, which includes a running framework for the storage and calculation of massive data in the acquisition system, a core application service layer for providing platform services, a management console for providing management control for the core application service layer, and a running framework for the operation of distributed computing and memory calculation. Interface, the interface operation function provided, monitoring the operation of each component in the core application service layer of the platform. In order to solve the problem of poor scalability of existing technology platform structure and difficult data operation.
【技术实现步骤摘要】
一种分布式环境下的海量数据存储与计算系统
本专利技术涉及计算机领域,尤其涉及一种分布式环境下的海量数据存储与计算系统。
技术介绍
现有的电采集系统的海量数据的存储与计算平台,平台结构可扩展性较差,对数据操作困难。
技术实现思路
本专利技术要解决的技术问题是:提供一种分布式环境下的海量数据存储与计算系统,以解决现有技术平台结构可扩展性较差,对数据操作存在困难的问题。本专利技术的技术方案是:一种分布式环境下的海量数据存储与计算系统,所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架,为分布式计算、内存计算提供运行支撑;核心应用服务层,用于提供平台服务;管理控制台,为核心应用服务层提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层中各组件的运行情况。进一步地,所述核心应用服务层包括集成封装,集成封装包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。进一步地,所述核心应用服务层包括服务访问代理,服务访问代理包括Socket、Webservice和RESTful交互方式。进一步地,所述核心应用服务层包括数据导入接口。进一步地,所述核心应用服务层包括查询接口。进一步地,所述核心应用服务层包括访问权限控制器。本专利技术的有益效果是:与现有技术相比,本专利技术通过使用运行框架,为分布式计算、内存计算提供运行支撑;核心应用服务层,用于提供平台服务;管理控制台,为核心应用服务层提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层中各组件的运行情况。平台可扩展性大大增强,且对数据更加容易操作。附图说明图1 ...
【技术保护点】
1.一种分布式环境下的海量数据存储与计算系统,其特征在于:所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架(1),为分布式计算、内存计算提供运行支撑;核心应用服务层(2),用于提供平台服务;管理控制台(3),为核心应用服务层(2)提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层(2)中各组件的运行情况。
【技术特征摘要】
1.一种分布式环境下的海量数据存储与计算系统,其特征在于:所述分布式环境下对采集系统中海量数据的存储与计算系统包括,运行框架(1),为分布式计算、内存计算提供运行支撑;核心应用服务层(2),用于提供平台服务;管理控制台(3),为核心应用服务层(2)提供管理控制界面,提供的界面操作功能,监控平台核心应用服务层(2)中各组件的运行情况。2.根据权利要求1所述的分布式环境下的海量数据存储与计算系统,其特征在于:所述核心应用服务层(2)包括集成封装(201),集成封装(201)包括sqoop、impala、hbase、mapreduce、spark和hdfs交互API。3.根据权...
【专利技术属性】
技术研发人员:欧家祥,代湘蓉,张俊玮,黄宇,丁超,王蓝苓,王扬,胡厚鹏,李航峰,宋强,杨婧,王俊融,安江,吴才远,林晓庆,付卿卿,文良文,余飞娅,唐贤敏,石云晖,
申请(专利权)人:贵州电网有限责任公司,
类型:发明
国别省市:贵州,52
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。