一种基于HDFS的大气科学数据传输方法及系统技术方案

技术编号:44175065 阅读:25 留言:0更新日期:2025-02-06 18:20
本发明专利技术公开一种基于HDFS的大气科学数据传输方法及系统,涉及计算机应用技术领域,包括:用户客户端向数据访问协议转换器发送数据访问请求;数据访问协议转换器将数据访问请求转换为查询指令,将查询指令发送至后端程序客户端;后端程序客户端向后端程序服务端发送查询指令;后端程序服务端根据查询指令在分布式文件系统获取查询结果,将查询结果发送至后端程序客户端;后端程序客户端对查询结果进行协议转换处理,得到处理结果;将处理结果发送至用户客户端。本发明专利技术可以让数据的存储和管理更加便捷,降低数据共享的难度。

【技术实现步骤摘要】

本申请涉及计算机应用,更具体的,涉及一种基于hdfs的大气科学数据传输方法及系统。


技术介绍

1、大气科学数据多以网络通用数据格式(network common data form,netcdf)或等级划分数据格式(hierarchical dataformat,hdf)存储,该类文件作为一种自描述的二进制数据格式多用于大气科学的网格数据存储,随着各类气象或海洋数值模式精度的提升以及观测手段、观测点的增加,大气科学数据的体积呈现不断增长的趋势,所以数据存储需要为大气环境数据提供充足的、高可扩展性的存储环境,同时为数据提供可靠的冗余备份策略。另一方面,由于netcdf和hdf文件提供了一个非常灵活的框架,其格式能够使用者根据需求自己定义,数据之间缺少统一性,加大了传输共享的难度。

2、hadoop是在工业领域十分成功的分布式系统基础框架,是google公司文件系统(google file system,gfs)的java版本开源实现。hadoop针对数据冗余备份、分布式集群的节点管理、负载均衡等问题都有可靠的解决方案。该框架包含两个重要组件,其中本文档来自技高网...

【技术保护点】

1.一种基于HDFS的大气科学数据传输方法,其特征在于,所述传输方法包括:

2.根据权利要求1所述的一种基于HDFS的大气科学数据传输方法,其特征在于,数据访问协议转换器将数据访问请求转换为查询指令,包括:

3.根据权利要求1所述的一种基于HDFS的大气科学数据传输方法,其特征在于,后端程序客户端向后端程序服务端发送查询指令,后端程序服务端根据查询指令在分布式文件系统获取查询结果,将查询结果发送至后端程序客户端,包括:

4.根据权利要求1所述的一种基于HDFS的大气科学数据传输方法,其特征在于,数据访问请求为URL请求,查询指令为XML格式。

<...

【技术特征摘要】

1.一种基于hdfs的大气科学数据传输方法,其特征在于,所述传输方法包括:

2.根据权利要求1所述的一种基于hdfs的大气科学数据传输方法,其特征在于,数据访问协议转换器将数据访问请求转换为查询指令,包括:

3.根据权利要求1所述的一种基于hdfs的大气科学数据传输方法,其特征在于,后端程序客户端向后端程序服务端发送查询指令,后端程序服务端根据查询指令在分布式文件系统获取查询结果,将查询结果发送至后端程序客户端,包括:

4.根据权利要求1所述的一种基于hdfs的大气科学数据传输方法,其特征在于,数据访问请求为url请求,查询指令为xml格式。

5.根据权利要求1所述的一种基于hdfs的大气科学数据传输方法,其特...

【专利技术属性】
技术研发人员:姜金荣任轩正博赵莲郝卉群迟学斌白一頔
申请(专利权)人:中国科学院计算机网络信息中心
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1