一种测井数据动态高效存取方法技术

本发明专利技术涉及测井技术领域，具体公开了一种测井数据动态高效存取方法，包括如下步骤：步骤1：将测井数据中的曲线数据按照指定数据个数进行拆分，拆分为多个数据块，再将数据块压缩后存入文件或数据库中；步骤2：根据应用模块请求，找到相应的一个或多个数据块，对比哈希值，解压缩，组合成一个数据体，从中筛选出符合请求条件的数据,传递给应用模块；步骤3：利用数据块的创建与删除，数据块大小动态切分与合并，实现数据增加、删除和修改等的高效操作。本发明专利技术通过对测井数据进行拆分和压缩，以及数据块的动态切分和合并，解决了测井数据处理解释软件遇到的数据量大以及创建、增加、删除和修改效率等问题。

【技术实现步骤摘要】
一种测井数据动态高效存取方法
本专利技术涉及测井
，特别涉及一种测井数据动态高效存取方法。
技术介绍
石油勘探过程中，必须依赖测井技术采集地下岩石的各种物理方法，如电法，声波，核等，的响应数据，然后对测井数据进行处理解释，最终得到地下岩石的孔隙度，渗透率和含油饱和度等信息。随着物理，电子及信息技术的发展，测井仪器中数据采集的传感器已经实现阵列化，如声电成像和阵列声波等，采集数据中包含的信息越来越丰富，数据量也越来越大，例如电成像XRMI测井数据，深度采样间隔为0.00254米，每个深度上采集144个数据点，随着测量深度的增加，所采集数据量从几十KB到数百MB乃至数GB，这对测井数据处理解释软件在处理解释过程中的数据存取效率提出了更高的要求。目前，测井数据处理解释软件的数据存取，主要有两种方案：(1)将测井数据中的层级关系，如工区-井-井次等关系通过建立相应层级的文件夹来表达，将一个井次采集的测井数据的属性信息和数据体都存放在一个定义良好的二进制文件中(如马玲华，ECLIPS5700测井系统XTF文件格式分析)；(2)将测井数据中的层级关系和采集的测井数据的属性信息等存在数据库的相应结构体中，将一个井次采集的测井数据数据体则以通用二进制形式存放在外部文件或者数据库中(如CN201010506077，一种测井曲线数据的检索方法及装置)。现有方案存在三个缺点：1)成像测井数据量过大：以电成像XRMI测井数据为例，XRMI测井数据深度采样间隔为0.00254米，每个深度上采集144个数据点，随着测量深度的增加，所采集数据量从几十KB到数百MB乃至数GB，一般采集的原始数据都会有数百兆，经过处理形成的数据量则会更大，数GB都是常事。过大的数据量，不适合数据的交换、共享和网络传输等；2)大数据量的测井曲线数据操作效率低：测井处理解释软件在进行数据处理时，会不断生成新的曲线，以及修改曲线的某些数值、插入或删除某些数值等操作。目前现有技术是对曲线进行整体操作处理，对于成像测井数据，单条曲线数据量往往较大，几十到几百MB，上述操作效率低；3)无法判断已经损坏的数据体：软件在运行过程中，会不断的修改和删除数据体中的数据。由于写入数据量较大，写入过程往往会持续一段时间，持续时间从几十毫秒到几十秒不等，一旦写入过程因各种原因而中断，会导致存盘的数据体不完整或者损坏。另外，目前计算机病毒活动猖獗，也会损坏已经存盘的数据体。但现有技术都没有给出如何检测被损坏的数据文件。
技术实现思路
本专利技术要解决的技术问题是：本专利技术通过将单条数据量较大的测井曲线数据动态拆分为多个数据量较小的数据块，以及将多个数据量较小的数据块动态合并为较大的数据块，以此实现曲线数据的插入、修改、删除等高效操作；本专利技术通过对拆分后的数据量较小的数据块压缩后存入文件或数据库中，以此解决测井数据体积过大的问题；本专利技术计算已存盘压缩数据体的哈希值，并保存到文件或数据库相应表中，以此解决数据损坏检测的问题。为了解决上述技术问题，本专利技术所采用的技术方案是：一种测井数据动态高效存取方法，包括如下步骤：步骤1，将测井数据中的曲线数据按照指定数据个数进行拆分，拆分为多个数据块，再将数据块压缩后存入文件或数据库中；步骤2，由应用模块请求，找到相应的一个或多个数据块，对比哈希值，解压缩，组合成一个数据体，从中筛选出符合要求的数据传递给应用模块；步骤3，利用数据块的创建与删除，数据块大小动态切分及合并，实现数据增加、删除和修改等的高效操作。优选的，所述步骤1包含：S11，将测井数据拆分为多个数据块：对一维曲线数据，按照索引顺序每隔指定数据个数将数据拆分为多个数据块；对二维曲线数据，按照先时间维，再深度维将数据由二维组合为一维数据，按照索引顺序每隔指定数据个数将数据拆分为多个数据块；对于三维曲线数据，按照时间维，传感器维，深度维将数据由三维组合为一维数据，最后按照索引顺序每隔指定数据个数将数据拆分为多个数据块；对拆分所形成的多个数据块进行命名或者取ID；将拆分所形成的多个数据块暂存在内存中；S12，对拆分后得到数据块进行压缩处理；S13，将压缩后的数据块存入文件或数据库中；S14，对压缩后的数据块计算哈希值；S15，更新文件或数据库相关表格信息：在文件或数据库的相应结构体中记录一条曲线总共拆分的数据块的个数，每个数据块的名字或ID，每个数据块所包含的数据索引范围，每个数据块存储的位置信息，以及每个数据块的哈希值。优选的，所述步骤2包含：S21，应用模块请求读取某一条件数据；S22，根据测井曲线名字和/或数据索引范围，在文件或数据库中找到相应的一个或多个数据块；S23，将找到的一个或多个数据块，读取到内存中，计算找到的数据块的哈希值；S24，将找到的数据块的哈希值，与保存在文件或数据库中的该数据块相应的哈希值进行比较，如果一致，则继续后续步骤，否则退出；S25，使用解压缩算法将找到的一个或多个数据块解压缩，获得原始数据，保存在内存中；S26，根据文件或数据库中所保存的上述一个或多个数据块在索引上的关系，将解压后的数据组合成一个数据体；S27，将所述组合的数据体中符合请求要求的数据传递给应用模块。优选的，所述步骤3包含：S31，在数据块中插入数据后，如果新生成的数据块中包含数据个数不超过规定个数，则保留；如果新生成的数据块中包含数据个数超出了设定的数据个数上限，则将新生成的数据块按照指定数据个数进行拆分，生成多个新的、较小的数据块；S32，在数据块中删除数据后，如果新生成的数据块中包含数据个数不少于规定个数，则保留；如果新生成的数据块中包含数据个数少于设定的数据个数下限，则将本数据块与上一个数据块合并；S33，在数据块中修改数据后，保留新生成的数据块；S34，对新生成的数据块进行压缩，存入文件或数据库中，计算哈希值，同时更新文件或数据库中相应结构中的数据块名字或ID，数据索引范围和数据个数；S35，将所读取的原始数据块从文件或数据库中删除。优选的，步骤1中，所述指定数据个数由用户指定，形成的数据块大小由用户指定。本专利技术技术方案带来的有益效果是：1)本专利技术对测井曲线数据进行拆分，后续的修改，删除和增加等操作就只需要在对应的拆分后的较小的数据块中进行操作，不再需要对整条曲线进行读写操作，效率显著提升；2)本专利技术对拆分后的数据块进行压缩，显著减小了存储的数据量；3)本专利技术计算压缩后的数据块的哈希值，如果数据块有微小变化，那么其变化后的数据块的哈希值就与原始哈希值不一样，以此判断存储在磁盘或数据库中的数据块是否有损坏或篡改；4)本专利技术数据块的二次动态切分和合并，使得删除或插入数据后的数据块的大小趋于合理，不至于过大或者过小；5)本专利技术由于数据块是被压缩后存储的，所以数据的每次操作(删除、插入和修改等)都在内存中进行，然后直接保存新的数据块，删除旧的数据块。由于数据块不大，这种操作的效率很高。附图说明图1本专利技术一种测井数据动态高效存取方法流程示意图。图2本专利技术一种测井数据动态高效存取方法步骤1流程示意图。图3本专利技术一种测井数据动态高效存取方法步骤2流程示意图。图4本专利技术一种测井数据动态高效存取方法步骤3流程示意图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术本文档来自技高网...

【技术保护点】
1.一种测井数据动态高效存取方法，其特征在于，包括如下步骤：步骤1，将测井数据中的曲线数据按照指定数据个数进行拆分，拆分为多个数据块，再将数据块压缩后存入文件或数据库中；步骤2，根据应用模块请求，找到相应的一个或多个数据块，对比哈希值，解压缩，组合成一个数据体，从中筛选出符合请求条件的数据,传递给应用模块；步骤3，利用数据块的创建与删除，数据块大小动态切分与合并，实现数据增加、删除和修改等的高效操作。

【技术特征摘要】
1.一种测井数据动态高效存取方法，其特征在于，包括如下步骤：步骤1，将测井数据中的曲线数据按照指定数据个数进行拆分，拆分为多个数据块，再将数据块压缩后存入文件或数据库中；步骤2，根据应用模块请求，找到相应的一个或多个数据块，对比哈希值，解压缩，组合成一个数据体，从中筛选出符合请求条件的数据,传递给应用模块；步骤3，利用数据块的创建与删除，数据块大小动态切分与合并，实现数据增加、删除和修改等的高效操作。2.如权利要求1所述的测井数据动态高效存取方法，其特征在于，所述步骤1包含：S11，将测井数据拆分为多个数据块：对一维曲线数据，按照索引顺序每隔指定数据个数将数据拆分为多个数据块；对二维曲线数据，按照先时间维，再深度维将数据由二维组合为一维数据，然后按照索引顺序每隔指定数据个数将数据拆分为多个数据块；对于三维曲线数据，按照时间维，传感器维，深度维将数据由三维组合为一维数据，最后按照索引顺序每隔指定数据个数将数据拆分为多个数据块；对拆分所形成的多个数据块进行命名或者取ID；将拆分所形成的多个数据块暂存在内存中；S12，对拆分后得到数据块进行压缩处理；S13，将压缩后的数据块存入文件或数据库中；S14，对压缩后的数据块计算哈希值；S15，更新文件或数据库相关表格信息：在文件或数据库的相应结构体中记录一条曲线总共拆分的数据块的个数，每个数据块的名字或ID，每个数据块所包含的数据索引范围，每个数据块存储的位置信息，以及每个数据块的哈希值。3.如权利要求1所述的测井数据动态高效存取方法，其特征在于，所述步骤2包含：S21，应用模块请求读取某一条件数据；S2...

【专利技术属性】
技术研发人员：伍东，傅少庆，赵东，郭玉庆，樊春华，仵燕，
申请(专利权)人：中国石油集团长城钻探工程有限公司，
类型：发明
国别省市：北京,11