System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于物理勘探的数据处理领域,具体涉及一种混叠数据拆分系统、方法及服务器集群。
技术介绍
1、随着勘探技术的不断进步,采集新技术不断涌现,先后出现了交替扫描、滑动扫描、独立同步扫描、超高效混叠采集等高效采集技术,尤其混叠采集技术的应用加快了地震数据量的增长,单一工区采集的地震数据量达到了pb级。为了降低勘探成本,混叠采集技术使用了多组可控震源连续工作的方式和大道数无线节点持续接收记录的工作方式,每个无线节点记录了多台可控震源相互重叠的长记录。虽然混叠数据采集施工效率高,但是这些长记录中的混叠数据不能被常规处理流程直接使用,需要把长记录进行相关、切分、对相应的炮点与接收点信息提取及组装等多步处理形成常规流程能处理的地震数据,该过程称混叠数据的拆分,也称混叠数据的伪分离。不管采集现场数据质控,还是混叠数据处理项目,都需要先对混叠数据进行拆分,否则后续的地震数据处理不能进行。可见,混叠数据拆分的效率,既影响采集施工的进度,也影响地震数据处理项目的进度。保证混叠采集施工的效率最直接最有效的方式,就是对当前采集的混叠数据进行处理质控。如果数据质控的最终结果或效果存在问题,就需要及时查找采集设备或施工过程中存在的问题。保证混叠数据处理项目的进度,可以通过缩小混叠数据的拆分在整个处理项目时间的比例。目前的混叠数据拆分技术效率低,人工干预的步骤多,导致采集现场数据质控需要通过其它的方式间接质控,或者抽取小部分混叠数据质控;混叠数据处理项目的拆分只能通过增加硬件资源、作业数量等操作来缩短单节点上的拆分时间、提高混叠数据拆分的效率来解决这些
2、根据混叠数据的特点,对混叠数据的拆分:由于需要读写的数据量大,拆分属于io密集型任务;由于拆分方法的计算量大,其又属于cpu密集型任务。混叠数据的拆分方法涉及的数据种类多:地震数据、特征信号数据、震源信息、数据索引等,如果保证处理这些数据的高效性,必然导致拆分方法的复杂性。拆分方法包括两个主要核心功能:切分和相关。切分功能特点:需读入要拆分的混叠数据,输入的数据量大,但计算量不大,计算主要涉及查询震源信息、对震源起振的时间和采集的时间转换及比较、数据截取或拼接及拷贝等工作。目前业界把切分功能单独实现,这样需要增加输出一份切分后的数据,正常情况下,输出的数据量远大于混叠数据量。相关功能特点:运算量大,需输出计算后的结果,输出的数据量大。目前业界把相关功能单独实现,需要读取相关运算的切分数据,这样会导致输入工作量变大,并且依赖于处理系统提供的数据道方式,相关效率低。虽然切分和相关功能分开设计会简化算法的复杂性,但会严重影响混叠数据拆分的效率,同时会增加多倍地震数据存储空间。
3、因此,亟需一种高效的数据拆分解决方案。
技术实现思路
1、为解决以上问题,本专利技术提出了一种混叠数据拆分系统,包括:
2、初始化功能模块,所述初始化功能模块配置用于创建用于混叠数据拆分的多个数据结构;
3、扫描信号相关运算初始化模块,所述扫描信号相关运算初始化模块配置用于获取并解析扫描信号数据文件,使用扫描信号数据文件中的信号数据生成扫描信号相关运算的对象;
4、震源炮点信息处理模块,所述震源炮点信息处理模块配置用于解析震源数据并基于所述多个数据结构将所述震源数据进行提取并生成炮点信息容器;
5、混叠数据拆分实施模块,所述混叠数据拆分实施模块配置用于基于所述扫描信号相关对象和炮点信息容器对混叠数据进行拆分。
6、在本专利技术的一些实施方式中,系统还包括:
7、拆分线程创建模块,所述拆分线程创建模块配置用于根据初始化功能模块中的计算线程有界队列创建与所述计算线程有界队列个数相同的拆分线程,以及响应于所述拆分线程执行完拆分任务释放对应的拆分线程。
8、在本专利技术的一些实施方式中,系统还包括:
9、启动拆分线程模块,所述启动拆分线程模块配置用于通过所述拆分线程调用所述混叠数据拆分实施模块以实现所述混叠数据拆分实施模块对拆分数据进行拆分,并将拆分后的数据信息保存到所述到计算线程有界队列。
10、在本专利技术的一些实施方式中,系统还包括:
11、数据道属性转换模块,所述数据道属性转换模块配置用于根据用户提供的数据道属性的定制转换关系模板和/默认转换关系模板生成一个或多个转换关系容器。
12、在本专利技术的一些实施方式中,系统还包括:
13、拆分数据存储模块,所述拆分数据存储模块配置用于基于所述一个或多个转换关系容器生成输出数据结构体,并基于所述输出数据结构体创建输出数据缓冲区。
14、在本专利技术的一些实施方式中,系统还包括:
15、拆分数据管理模块,所述拆分数据管理模块配置用于从所述初始化功能模块中获取对应的计算线程有界队列,并从所述计算线程有界队列中读取对应的拆分后的数据信息,根据所述拆分后的数据信息读取对应的拆分后的数据保存到所述输出数据缓冲区。
16、在本专利技术的一些实施方式中,所述混叠数据拆分实施模块还配置用于基于所述扫描信号相关对象、一个或多个转换关系容器和炮点信息容器对混叠数据进行拆分。
17、在本专利技术的一些实施方式中,系统还包括:
18、混叠数据处理模块,所述混叠数据处理模块配置用于获取并解析混叠数据文件,根据混叠数据文件中的接收点信息对混叠数据文件进行分类,并将分类后的混叠数据文件名与对应的接收点信息保存到所述初始化功能模块创建的混叠数据并发队列。
19、本专利技术的另一方面还提出一种混叠数据拆分方法,包括:
20、创建多个用于混叠数据拆分的数据结构;
21、获取并解析扫描信号数据文件,使用扫描信号数据文件中的信号数据生成扫描信号相关运算的对象;
22、解析震源数据并基于所述多个数据结构将所述震源数据进行提取并生成炮点信息容器;
23、基于所述扫描信号相关对象和炮点信息容器对混叠数据进行拆分。
24、本专利技术的又一方面还提出一种分布式服务器集群,所述服务器集群包括若干个节点,任一节点均部署有上述实施方式中所述的系统。
25、通过本专利技术提出的一种混叠数据拆分系统,通过根据用户提供的扫描信号文件生成扫描信号相关对象,以及通过对震源数据进行提取并生成炮点信息容器,基于扫描信号相关对象和炮点信息容器对混叠数据进行拆分,采用多线程或分布式的并行处理。大大提高混叠数据拆分效率。
本文档来自技高网...【技术保护点】
1.一种混叠数据拆分系统,其特征在于,包括:
2.根据权利要求1所述的系统,其特征在于,还包括:
3.根据权利要求2所述的系统,其特征在于,还包括:
4.根据权利要求1所述的系统,其特征在于,还包括:
5.根据权利要求4所述的系统,其特征在于,还包括:
6.根据权利要求5所述的系统,其特征在于,还包括:
7.根据权利要求4所述的系统,其特征在于,所述混叠数据拆分实施模块还配置用于基于所述扫描信号相关对象、一个或多个转换关系容器和炮点信息容器对混叠数据进行拆分。
8.根据权利要求1所述的系统,其特征在于,还包括:
9.一种混叠数据拆分方法,其特征在于,包括:
10.一种分布式服务器集群,其特征在于,所述服务器集群包括若干个节点,任一节点均部署有如权利要求1-8所述的系统。
【技术特征摘要】
1.一种混叠数据拆分系统,其特征在于,包括:
2.根据权利要求1所述的系统,其特征在于,还包括:
3.根据权利要求2所述的系统,其特征在于,还包括:
4.根据权利要求1所述的系统,其特征在于,还包括:
5.根据权利要求4所述的系统,其特征在于,还包括:
6.根据权利要求5所述的系统,其特征在于,还包括:
7.根据权利要求...
【专利技术属性】
技术研发人员:王增波,王文闯,王宝彬,杜吉国,尚民强,赵剑,
申请(专利权)人:中国石油天然气集团有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。