【技术实现步骤摘要】
地震大数据存储应用模型的创建方法和装置
[0001]本专利技术涉及地震勘探领域，尤其涉及一种地震大数据存储应用模型的创建方法和装置。
技术介绍
[0002]随着石油勘探采集技术的不断进度，勘探数据的采集密度和精度不断提高，数据体量不断增大，采集数据体达到PB级。数据量的不断增大，给勘探类数据的存储、检索和应用造成了诸多瓶颈。主要问题有：
[0003]存储难：PB级的地震数据体同时向集群并行机加载，常规的按顺序数据解析和读写，效率比较慢，极大的影响数据处理实施的周期和效率。
[0004]检索难：从亿级的数据道中，检索到目标数据的存储位置，对检索的要求是非常高。常规的基于数据库构建的检索模型存在的问题：一是PB级数据体索引在数据库中存储所占用的存储资源非常多，对存储磁盘的容量要求非常高；二是数据库针对亿级数据条数范围类检索效率具有不稳定性。
[0005]读写难：在读写处理过程对数据的需求分成两种，一种是按道计算，每次的数据需求为KB，一种是多个道组成的道集计算，数据量需求最多到MB，常规按数据需求进行数据...
【技术保护点】
【技术特征摘要】
1.一种地震大数据存储应用模型的创建方法，其特征在于，步骤包括：获取预设地震数据，将所述数据根据格式组成切分形成文件头、数据道头和数据体，依据所述数据体的大小及存储过程中可应用计算线程数和内存量将所述数据体切分成预设大小的数据块；分别将所述文件头的通用文件信息存储至数据库，形成通用数据库模型；所述数据的道头信息和索引信息存储至文件系统，所述数据体存储至磁盘阵列内，形成通用数据存储模型；构建由第一层树形顺序号索引、第二层hash数据位置索引形成的多层动态键值对的索引模型，构建基于分块数据存储的数据块缓存同步I/O技术。2.根据权利要求1所述的地震大数据存储应用模型的创建方法，其特征在于，将地震数据文件头内的通用文件信息存储至数据库，并基于数据库构建数据分块存储的逻辑模型，包括如下步骤：所述通用文件信息至少包括目标地震数据的道头字结构、采样间隔、采样点数、数据道长度、数据道总数；基于数据库的数据存储逻辑模型包括数据存储路径、子文件信息和索引信息，与所述数据体信息构建存储映射关系，构建成通用文件的数据库模型，所述通用文件的数据库模型包括下表的内容：
3.根据权利要求2所述的地震大数据存储应用模型的创建方法，其特征在于，基于数据库构建的数据分块存储逻辑模型包括子文件信息，所述子文件信息的存储模型包括下表内容：属性名称描述id子文件顺序号path子文件数据的存储路径headerpath子文件道头信息的存储路径startLocal子文件内数据在原始文件的起始位置traceCount子文件内存储的数据道数gatherCount子文件内存储默认道集数gatherRange子文件存储默认道集的范围值。4.根据权利要求3所述的地震大数据存储应用模型的创建方法，其特征在于，基于数据据库构建的数据分块存储逻辑模型包括索引信息，所述索引信息的存储模型包括下表内容：属性名称描述id索引顺序号indexFlag索引对应的关键字treePath索引树存储路径keyPathHash索引存储路径
indePathHash序号对应数据实际存储位置存储路径5.根据权利要求4所述的地震大数据存储应用模型的创建方法，其特征在于，在基于数据据库构建的数据分块存储逻辑模型下的具体数据实施过程包括：查询文件信息，获取索引列表；查询目标关键字索引或创建新的关键字索引；查询目标数据储存位置；查询文件信息获取子文件储存位置；根据索引信息从文件中读取数据。6.根据权利要求1所述的地震大数据存储应用模型的创建方法，其特征在于，依据地震数据体的大小及存储过程中可应用计算线程数和内存量将地震数据体切分成预设大小的数据块,包括如下步骤：依据地震数据内占用空间最大的数据体进行数据体的分块，预设数据块为B，储存的最大数据块为B
Max
；B＝D/TB
Max
...
【专利技术属性】
技术研发人员：赵伟，刘雪飞，
申请(专利权)人：北京易源兴华软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。