一种基于分布式文件系统的遥感数据快速并发读写方法技术方案

本发明专利技术提供一种基于分布式文件系统的遥感数据快速并发读写方法，底层物理结构上继承HDFS文件系统特点，包括在计算机群中的每台数据服务器上安装Hadoop系统，并建立HDFS文件系统，然后在每台数据服务器上划分一部分空间作为自有文件系统的物理存储空间；在HDFS业务处理层上进行了一级封装，接管操作系统对文件系统的访问，当操作系统只要求读取文件，且文件数据已经存在，则直接引用HDFS文件系统接口，由HDFS完成文件数据的读取；当操作系统要求对文件的访问包括有写文件操作则全面接管文件操作，由自有文件系统实现数据读写，并在读写数据完成后，将数据同步到HDFS中；所述自有文件系统只对一台服务器进行读写。本发明专利技术能够实现海量遥感数据的快速并发读写。

【技术实现步骤摘要】
一种基于分布式文件系统的遥感数据快速并发读写方法
本专利技术涉及计算机应用技术和遥感大数据处理领域，尤其涉及大数据文件的并发读写技术，特别涉及基于分布式文件系统实现遥感数据的快速并发读写技术。
技术介绍
随着遥感技术的迅猛发展，各国发射的遥感卫星越来越多，每天接收的卫星数据已经到达PB级，海量遥感数据处理对存储技术和处理速度提出了更高的要求。另一方面，随着计算机特别是互联网技术的迅猛发展，数据存储技术也得到了质的飞跃，特别是近年来云技术的出现，将数据存储技术提高到前所未有的水平。云技术通常采用基于分布式文件系统，既保证高了可靠性又提高了容量和性价比。在众多分布式文件系统中，提供了开源代码的HDFS(HadoopDistributedFileSystem)分布式文件系统格外受人们欢迎。HDFS是Hadoop项目的核心之一，是分布式数据存储的基础。HDFS基于流数据模式访问超大文件的需求设计，可以运行在性价比高的通用服务器上，具有高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征，为超大数据集(LargeDataSet)的处理带来了诸多便利。<本文档来自技高网...

【技术保护点】
1.一种基于分布式文件系统的遥感数据快速并发读写方法，其特征在于：底层物理结构上继承HDFS文件系统特点，包括在计算机群中的每台数据服务器上安装Hadoop系统，并建立HDFS文件系统，然后在每台数据服务器上划分一部分空间作为自有文件系统的物理存储空间；在HDFS业务处理层上进行了一级封装，接管操作系统对文件系统的访问，当操作系统只要求读取文件，且文件数据已经存在，则直接引用HDFS文件系统接口，由HDFS完成文件数据的读取；/n当操作系统要求对文件的访问包括有写文件操作则全面接管文件操作，由自有文件系统实现数据读写，并在读写数据完成后，引用HDFS文件系统的写文件接口将数据同步到HDFS中；...

【技术特征摘要】
1.一种基于分布式文件系统的遥感数据快速并发读写方法，其特征在于：底层物理结构上继承HDFS文件系统特点，包括在计算机群中的每台数据服务器上安装Hadoop系统，并建立HDFS文件系统，然后在每台数据服务器上划分一部分空间作为自有文件系统的物理存储空间；在HDFS业务处理层上进行了一级封装，接管操作系统对文件系统的访问，当操作系统只要求读取文件，且文件数据已经存在，则直接引用HDFS文件系统接口，由HDFS完成文件数据的读取；
当操作系统要求对文件的访问包括有写文件操作则全面接管文件操作，由自有文件系统实现数据读写，并在读写数据完成后，引用HDFS文件系统的写文件接口将数据同步到HDFS中；所述自有文件系统只对一台服务器进行读写。


2.根据权利要求1所述基于分布式文件系统的遥感数据快速并发读写方法，其特征在于：所述计算机群中部署多台通用的数据服务器实现数据存储与科学计算；在完成硬件安装后，在所有数据服务器上安装Hadoop系统，并建立HDFS文件系统，完成HDFS原生存储机群的组建；同时，每台数据服务器上划分一部分空间作为自有文件系统的物理存储空间。


3.根据权利要求2所述基于分布式文件系统的遥感数据快速并发读写方法，其特征在于：自有文件系统采用RAID模式读写数据。


4.根据权利要求3所述基于分布式文件系统的遥感数据快速并发读写，其特征在于：部署一台索引服务器，实现对整个分布式文件系统的管理。


5.根据权利要求4所述基于分布式文件系统的遥感数据快速并发读写，其特征在于：所述自有文件系统调度时每次总是选择读写性能最好的数据服务器进行数据读写服务，性能最好的考量标准实现方式...

【专利技术属性】
技术研发人员：段延松，张祖勋，陶鹏杰，柯涛，张永军，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北;42