应用于石油勘探的数据存储和处理的三级存储硬件架构制造技术

本实用新型专利技术公开了一种应用于石油勘探的数据存储和处理的三级存储硬件架构，包括一级存储硬件、二级存储硬件和三级存储硬件，三者通过网络实现数据的逐级存储；一级存储硬件包括刀片服务器，通过HDFS进行构建与连接；二级存储硬件包括光纤磁盘阵列和集群服务器，通过Lustre进行构建与连接；三级存储硬件包括本地硬盘和天河一号超级计算机；三级存储硬件中的本地硬盘与千兆计算机核心交换机电连接，千兆计算机核心交换机与天河一号超级计算机分别与登录节点连接，登录节点与系统接入交换机连接，系统接入交换机通过千兆以太网连接到用户的客户端。本实用新型专利技术采用逐级递进式存储硬件构成了三级存储架构，实现了对石油勘探大数据的准确快速地存储。

Three level storage hardware architecture for data storage and processing in petroleum exploration

Three level storage hardware structure of the utility model discloses an application to petroleum exploration data processing and storage, including a storage hardware, two level and three level storage hardware storage hardware, the three achieved by the data storage through the network; a storage hardware including blade servers, build and connected by HDFS; two level storage hardware including optical disk array and cluster server, build and connected by Lustre; three level storage hardware includes local hard disk and Tianhe supercomputer; three level storage hardware in the local hard disk and Gigabit computer core exchange electrical connection, Gigabit computer core switch and Tianhe supercomputer are connected with the login node, node connection and system login access switch system, access switch connected to the user's client via Gigabit Ethernet End. The utility model adopts a progressive storage hardware to form a three level storage structure, and realizes the accurate and fast storage of the large data of petroleum exploration.

【技术实现步骤摘要】

本技术涉及信息
，主要涉及一种应用于石油勘探的数据存储和处理的三级存储硬件架构。
技术介绍
石油行业是计算机应用水平较高的一个行业，特别是近年来，随着石油勘探开发的难度不断增加，增加科技含量已成为世界各石油公司和服务公司的共识，掌握和应用最新的计算机技术已成为提高一个石油公司和服务公司竞争力的主要方向。而目前我国的石油区域地质结构与中东等石油丰富国家的石油地质结构不同，其地质条件较复杂。为适应油气藏的动态预测和寻找复杂构造和岩性油气藏，对地震勘探的精度提出了很高的要求，要求地震处理后的剖面具有高信噪比、高分辨率和高保真度的“三高”特点。面对我国油气勘探开发的地质条件越来越复杂，三维大连片数据处理（上千平方公里）规模越来越大、数量越来越多，迫切需要“天河一号”这样的超级计算机，以及与超级计算机相结合的高性能、高质量的石油勘探数据处理一体化平台。通过平台，一是解决了我国石油勘探数据处理的能力问题，借助于“天河一号”这样的高性能超级计算机实现了高效、高质量大规模数据处理，提高我国石油勘探处理能力，实现二维勘探到三维勘探、简单油气藏勘探到复杂油气藏勘探的快速发展；二是推动了石油勘探处理领域的技术进步，基于高性能超级计算机开展逆时偏移、全波形反演技术等研究，加快国内在高精度石油勘探方面的研究步伐，推动我国石油勘探技术的进步，实现与国际接轨；三是掌握了石油勘探处理的核心技术，增强我国在油气勘探领域的国际竞争力。本技术指在提供一种应用于石油勘探数据处理，依托于天河一号超级计算机的运算能力，解决石油勘探数据地快速处理和存储问题。
技术实现思路
针对目前石油勘探所采集和处理过程中产生的各类庞大数据的问题，本技术主要提供一种应用于石油勘探的数据存储和处理的三级存储硬件架构，通过三级存储硬件架构，实现对数据阶梯式存储，从而保证采集的数据快速准确地存储和快速高效地处理。本技术解决上述技术问题所采用的技术方案是：一种应用于石油勘探的数据存储和处理的三级存储硬件架构，其特征在于，所述三级存储硬件架构是由分级式存储硬件构成，包括一级存储硬件、二级存储硬件和三级存储硬件；所述一级存储硬件、二级存储硬件和三级存储硬件采用逐级式连接，并通过网络实现数据的逐级存储；所述一级存储硬件包括刀片服务器，所述刀片服务器设有若干个，通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列和集群服务器，所述集群服务器设有若干个，通过Lustre进行构建与连接；所述三级存储硬件包括本地硬盘和天河一号超级计算机；所述三级存储硬件中的本地硬盘与千兆计算机核心交换机电连接，所述千兆计算机核心交换机与天河一号超级计算机分别与登录节点连接，所述登录节点与系统接入交换机连接，所述系统接入交换机通过千兆以太网连接到用户的客户端。较佳地，所述刀片服务器与三级存储上联交换机通过千兆以太网进行数据传输，所述三级存储上联交换机与万兆核心交换机通过万兆光纤以太网进行数据传输；所述万兆核心交换机与数据中转节点和二级存储下联交换机连接，通过二级存储下联交换机进行数据传输。较佳地，所述二级存储硬件与三级存储硬件之间通过互联网连接。较佳地，所述天河一号超级计算机与登录节点之间通过互联网连接。较佳地，所述刀片服务器设有115台，根据实际需求动态扩展刀片服务器的数量。较佳地，所述集群服务器设有32台，根据实际需求动态扩展集群服务器的数量。本技术的优点在于：本技术提供的一种应用于石油勘探的数据存储和处理的三级存储硬件架构，采用是逐级式存储模式，其中一级存储硬件通过并行刀片服务器，基于HDFS进行构建，采用多副本模式保证数据的可靠性。一级存储主要实现海量数据的存储服务，主要包括石油勘探计算处理的大量结果数据，生物医药的海量基因数据等；其次二级存储硬件采用Lustre构建的并行存储文件系统，主要针对项目研究的石油勘探大数据应用提供数据分析处理的存储系统，满足大容量临时数据的存储需求，又能满足计算过程中频繁的I/O访问需求；再次三级存储硬件是基于节点内存构建的高I/O带宽的内存文件系统，可以充分利用设备的内存和高速访问Cache等资源；逐级递进式存储硬件构成了三级存储架构，实现了对石油勘探大数据的准确快速地存储。附图说明为了更清楚地说明本技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本技术的结构示意图。其中：1.一级存储硬件 2.二级存储硬件3.三级存储硬件 4.千兆计算机核心交换机5.三级存储上联交换机 6.万兆核心交换机7.数据中转节点 8.二级存储下联交换机9.登录节点 10.系统接入交换机11.客户端 101.刀片服务器201.光纤磁盘阵列 202.集群服务器301.本地硬盘 302.天河一号超级计算机。具体实施方式下面将结合附图对本技术的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。在本技术的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或 位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本技术的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。在本技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本技术中的具体含义。实施例1：一种应用于石油勘探的数据存储和处理的三级存储硬件架构，其特征在于，所述三级存储硬件架构是由分级式存储硬件构成，包括一级存储硬件1、二级存储硬件2和三级存储硬件3；所述一级存储硬件、二级存储硬件和三级存储硬件采用逐级式连接，并通过网络实现数据的逐级存储；所述一级存储硬件包括刀片服务器101，所述刀片服务器101设有若干个，通过HDFS进行构建与连接；所述二级存储硬件2包括光纤磁盘阵列201和集群服务器202，所述集群服务器202设有若干个，通过Lustre进行构建与连接；所述三级存储硬件3包括本地硬盘301和天河一号超级计算机302；所述三级存储硬件中的本地硬盘301与千兆计算机核心交换机4电连接，所述刀片服务器101本文档来自技高网...

【技术保护点】
应用于石油勘探的数据存储和处理的三级存储硬件架构，其特征在于，所述三级存储硬件架构是由分级式存储硬件构成，包括一级存储硬件、二级存储硬件和三级存储硬件；所述一级存储硬件、二级存储硬件和三级存储硬件采用逐级式连接，并通过网络实现数据的逐级存储；所述一级存储硬件包括刀片服务器，所述刀片服务器通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列和集群服务器，所述集群服务器通过Lustre进行构建与连接；所述三级存储硬件包括本地硬盘和天河一号超级计算机；所述三级存储硬件中的本地硬盘与千兆计算机核心交换机电连接，所述千兆计算机核心交换机与天河一号超级计算机分别与登录节点连接，所述登录节点与系统接入交换机连接，所述系统接入交换机通过千兆以太网连接到用户的客户端。

【技术特征摘要】
1.应用于石油勘探的数据存储和处理的三级存储硬件架构，其特征在于，所述三级存储硬件架构是由分级式存储硬件构成，包括一级存储硬件、二级存储硬件和三级存储硬件；所述一级存储硬件、二级存储硬件和三级存储硬件采用逐级式连接，并通过网络实现数据的逐级存储；所述一级存储硬件包括刀片服务器，所述刀片服务器通过HDFS进行构建与连接；所述二级存储硬件包括光纤磁盘阵列和集群服务器，所述集群服务器通过Lustre进行构建与连接；所述三级存储硬件包括本地硬盘和天河一号超级计算机；所述三级存储硬件中的本地硬盘与千兆计算机核心交换机电连接，所述千兆计算机核心交换机与天河一号超级计算机分别与登录节点连接，所述登录节点与系统接入交换机连接，所述系统接入交换机通过千兆以太网连接到用户的客户端。2.根据权利要求1所述的应用于石油勘探的数据存储和处理的三级存储...

【专利技术属性】
技术研发人员：孟祥飞，马庆珍，魏小强，雷秀丽，章晓，刘光明，冯景华，徐斌，
申请(专利权)人：国家超级计算天津中心，
类型：新型
国别省市：天津;12