一种分布式地理文件系统技术方案

本发明专利技术提供了一种分布式地理文件系统，包括：包含管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点的分布式文件系统架构，大文件访问策略在文件创建时采用staging缓存策略，在副本生成时采用流水线方式；小文件访问策略，其在数据服务器节点增加了块内索引，通过对小文件的二次索引，减少管理服务器节点的元数据存储压力；地理空间数字对象模型，所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述；分布式文件系统交互设计其用管理服务器节点管理所有的文件系统元数据，实现服务器之间，服务器与客户端的通信管理。

【技术实现步骤摘要】

本专利技术涉及地理信息和数据存储
，特别是涉及ー种分布式地理文件系统。
技术介绍
随着数字化的进程不断加速和地理信息的获取手段不断丰富，地理信息正以级数形式增长，地理数据的种类更加多祥，包括影像视频等超过64MB的大数据文件和大量图片、文本等小文件，数据结构更为复杂，这给地理信息的管理和共享带来了很大的难度和复杂性。在地理信息领域，地理空间数字对象是指存储于计算机系统中的地理信息。数字对象通过数据流(Datastream)将与该地理目标相关的文本、图像、视频、元数据以及其它 形式的多媒体数据和对这些数据的操作封装起来，它包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息、文件描述等。在数据存储领域，分布式文件系统已经成为网络信息云存储平台的主要技木。Google于2003年发表的GFS文件系统一文确立了其在云存储领域的核心地位，它用于大型、分布式、对大量数据进行访问的应用，运行于廉价的普通硬件上，提供良好的容错功能，系统设计对大文件处理有较好的效果。HDFS是Hadoop (开源组织)遵循GFS的系统架构的开源文件系统，具有高可扩展、高性能，是面向互联网服务的分布式文件系统，其设计目标是支持海量的非结构化数据，对大文件的处理有优势，最近也出现了针对小文件处理的优化技术。HDFS采用Master/Slave架构，ー个HDFS集群是由ー个管理服务器节点(NameNode)和一定数目的数据服务器节点(Data Nodes)组成。另外，近几年来，随着云计算的概念蓬勃发展，云存储技术的需求越来越迫切。云存储的核心是应用软件与存储设备相结合，通过应用软件来实现存储设备向存储服务的转变。其核心理念就是通过不断提高“云”的处理能力，減少用户终端的处理负担，最終使用户终端简化成一个单纯的输入输出设备，井能按需享受“云”的强大计算处理能力。但是，通用的分布式文件系统架构主要解决大文件存储的问题，不能够满足地理信息的Web服务对大小文件高效存储和高并发访问的需求，根据web服务对地理数据文件的存储访问的需求专利技术了一种专用的分布式地理数据文件架构，以克服现有技术存在的缺陷，高效的实现直驱风电机组最大风能跟踪。
技术实现思路
本专利技术所要解决的技术问题是提供ー种分布式地理文件系统，用以有效提高地理信息管理系统的IO性能，满足多用户的高并发信息访问需求。为了解决上述问题，本专利技术公开了ー种分布式地理文件系统，所述系统包括分布式文件系统架构，具体包括管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点；大文件访问策略，其在文件创建时采用staging缓存策略，在副本生成时采用流水线方式；小文件访问策略，其在数据服务器节点增加了块内索引，通过对小文件的二次索弓I，減少管理服务器节点的元数据存储压カ；地理空间数字对象模型，所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述；分布式文件系统交互设计，其用管理服务器节点管理所有的文件系统元数据，实现服务器之间，服务器与客户端的通信管理。优选的，文件系统采用Master/Slave结构，将管理元数据和相关功能放在管理服务器节点上。 优选的，将数据块放在数据服务器节点上。优选的，在服务器节点上増加了数据对象服务器。优选的，为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持。优选的，在管理服务器节点扩展元数据表，増加空间索引支持，实现对大文件的高效存储与索引。优选的，根据小文件在数据块中的分布特性，对存小文件的数据块在头部增加文件索引，保证了文件访问性能并避免存储碎片。与现有技术相比，本专利技术具有以下优点本专利技术提供的采用上述文件系统架构，能够实现地理数据大小文件的统一存储，并基于空间索引结构和大小文件的访问策略，实现多类数据文件的高效访问，实现web服务对地理信息文件的存储与访问需求。附图说明图I是本专利技术具体实施方式中所述的分布式地理数据文件系统架构组成示意图；图2是本专利技术具体实施方式中所述的大文件访问策略示意图；图3是本专利技术具体实施方式中所述的小文件访问策略及空间索引示意图；图4是本专利技术具体实施方式中所述的地理空间数字对象模型示意图；图5是本专利技术具体实施方式中所述的分布式文件系统交互设计示意图；图6是本专利技术具体实施方式中所述的分布式地理数据文件系统功能结构示意图。具体实施例方式为使本专利技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本专利技术作进ー步详细的说明。ー种分布式地理文件系统，包括分布式文件系统架构，具体包括管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点；大文件访问策略，其在文件创建时采用staging缓存策略，在副本生成时采用流水线方式；小文件访问策略，其在数据服务器节点增加了块内索引，通过对小文件的二次索引，減少管理服务器节点的元数据存储压力；地理空间数字对象模型，所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述；分布式文件系统交互设计，其用管理服务器节点管理所有的文件系统元数据，实现服务器之间，服务器与客户端的通信管理。进ー步的，文件系统采用Master/Slave结构，将管理元数据和相关功能放在管理服务器节点上，将数据块放在数据服务器节点上，在服务器节点上増加了数据对象服务器，为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持。在管理服务器节点扩展元数据表，増加空间索引支持，实现对大文件的高效存储与索引。根据小文件在数据块中的分布特性，对存小文件的数据块在头部增加文件索引，保证了文件访问性能并避免存储碎片。ー种分布式地理文件系统，如图I所示，系统设计考虑到在保证大文件与小文件的存储访问性能和空间存储利用率的同时满足系统可扩展性需求。文件系统采用Master/Slave结构，将管理元数据和相关功能放在管理服务器节点上，将数据块放在数据服务器节 点上。数据块为可配置的大小，例如64MB或其整数倍。对于超过ー个数据块容量的大文件，文件由ー组数据块组成。对于小于ー个数据块容量的小文件，若干个小文件组合成ー个数据块。为了保证系统的稳定可靠，除了数据服务器节点上的数据块会有至少3个副本，数据服务器节点和数字对象节点将分别配备各自的影子服务器、操作日志服务器、快照服务器以在主服务器中断服务时接替工作并妥善恢复。为了更方便的支持海量地理空间数据的访问和使用，我们在HDFS系统架构的基础上进行扩充；(I)、在管理服务器节点的元数据表中増加了文件数据块的空间索引扩展位和文件属性扩展标识，空间索引扩展主要是为了地理空间数据的快速定位提供支持，文件属性扩展标识是为了区分大小文件，便于用户对不同文件属性的数据块采用相应的访问策略；(2)、对小文件数据块的头部增加了块内索引，主要是为小文件数据块内的小文件快速定位和检索提供支持；(3)、在服务器节点上増加了数据对象服务器，为基于地理空间数据对象的文件组织、资源的优化配置以及复杂的空间检索机制等功能的实现提供支持，同时增加了系统的数据访问方式。2、大文件访问策略，在管理服务器节本文档来自技高网...

【技术保护点】
一种分布式地理文件系统，其特征在于，所述系统包括：分布式文件系统架构，具体包括管理服务器节点、数据服务器节点、数字对象服务器节点和客户端节点；大文件访问策略，其在文件创建时采用staging缓存策略，在副本生成时采用流水线方式；小文件访问策略，其在数据服务器节点增加了块内索引，通过对小文件的二次索引，减少管理服务器节点的元数据存储压力；地理空间数字对象模型，所述地理空间数字对象模型包括地理数字对象标识、数字对象元数据、空间索引存储结构及算法、地理信息版本信息和文件描述；分布式文件系统交互设计，其用管理服务器节点管理所有的文件系统元数据，实现服务器之间，服务器与客户端的通信管理。

【技术特征摘要】

【专利技术属性】
技术研发人员：崔纪锋，李超，张勇，胡庆成，张桂刚，邢春晓，
申请(专利权)人：清华大学，
类型：发明
国别省市：