基于日志分析的地震资料处理机时精细化计算方法及系统技术方案

本发明专利技术提供一种基于日志分析的地震资料处理机时精细化计算方法及系统，该方法包括步骤：S1、采集作业日志信息；S2、从所述作业日志信息中获取关键字段，根据所述关键字段将所述作业日志信息分配到相应的作业队列中；S3、采用所述作业队列对应的机时算法对所述作业队列中的作业进行机时计算，获取机时数据。本发明专利技术解决以往地球云计算中心高性能计算资源机时统计在操作系统层面较为笼统的问题，可以根据多个处理项目所使用不同业务软件环境的机时统计，实现计算资源的动态灵活调度。同时为云计算中心用户计费提供客观标准依据，为系统管理人员提供直观精细的机时数据参考。

Time refinement calculation method and system of seismic data processor based on log analysis

【技术实现步骤摘要】
基于日志分析的地震资料处理机时精细化计算方法及系统
本专利技术属于信息技术与石油物探领域，具体涉及一种基于日志分析的地震资料处理机时精细化计算方法及系统。
技术介绍
在地球物理勘探领域，随着多方位、高密度等地震数据采集方法普及应用，深度偏移、逆时偏移成像技术更新迭代，地震资料目标化精细化处理等新勘探需求出现，计算资源硬件规模、专业软件模块种类、单个勘探工区对应的运算数据量与算法复杂度相比较传统勘探开发流程都产生了超大幅度增涨。在地球物理云计算中心软硬件规模的不断扩充的背景下，越来越多地球物理勘探项目与用户依赖于云计算中心的高性能计算资源，针对在以地震资料处理为核心的主要业务环境，系统管理人员需要对相关业务机时使用有量化的准确掌控，并为云中心用户提供精细的机时使用报表，为整个工作流程中的计费环节提供客观标准与依据。以往通过系统级日志及业务进程进行机时统计分析，存在死进程、业务信息缺乏、判断条件模糊、计算方法不够精细等一系列问题，同时具体到应用环境，相同集群可能同时承担多种不同业务软件的高性能计算任务，更加增加了机时统计的复杂性。因此如何解决在实际地震资料处理业务的复杂计算环境下，以往根据操作系统级日志及业务进程进行机时统计分析过程中存在计算方法不够精细的问题仍是本领域亟待解决的问题。
技术实现思路
本专利技术的特征和优点在下文的描述中部分地陈述，或者可从该描述显而易见，或者可通过实践本专利技术而学习。为克服现有技术的问题，本专利技术提供一种基于日志分析的地震资料处理机时精细化计算方法，包括步骤：S1、采集作业日志信息；S2、从所述作业日志信息中获取关键字段，根据所述关键字段将所述作业日志信息分配到相应的作业队列中；S3、采用所述作业队列对应的机时算法对所述作业队列中的作业进行机时计算，获取机时数据。可选地，所述步骤S1中包括：获取作业调度系统中待处理信息；将所述待处理信息进行缓存、正则匹配后得到所述业日志信息。可选地，所述获取作业调度系统中待处理信息包括：获取作业调度系统输出的网页信息；通过爬虫对所述网页信息进行爬取；将爬取后的网页信息进行分析以获价值数据作为所述待处理信息。可选地，所述关键字段通过正则表达式获取的。可选地，所述作业队列包括单节点单核作业队列、单节点多核作业队列以及多节点并行队列。可选地，在所述步骤S3中，对所述单节点单核队列中的作业进行机时计算时，包括：根据数据库中作业关键字段分析，得出作业的起始时间与终止时间，计算出作业运行时长，作业机时＝计算节点单核心×作业运行时长；对所述单节点多核队列中的作业进行机时计算时，包括：通过正则方法将作业关键字段中涉及作业模块的NPE数值录入数据库，进行过滤分析，作业机时＝作业模块所使用的NPE详细数值×作业运行时长；对所述多节点并行队列中的作业进行机时计算时，包括：通过数据库中关键字段对应的多个并行队列的主节点host过滤判断出作业类型及所使用哪个并行队列，进而得出该并行队列所占用的总核数，作业机时＝所使用并行队列总核数×作业运行时长。可选地，在所述步骤S3中，包括计算分析出基于项目、用户、流程模块等多维度的机时数据。可选地，所述步骤S3之后，包括：将所述关键字段与所述机时数据生成机时统计报告，写入数据库中；结合机时统计报告对作业队列中的作业分配计算节点，并设置优先等级，使作业队列中的作业处于多种作业状态。可选地，所述步骤S3之后，包括：将所述机时数据进行展示。本专利技术提供一种基于日志分析的地震资料处理机时精细化计算系统，包括：数据采集模块，用于采集作业日志信息；队列分配模块，用于从所述作业日志信息中获取关键字段，根据所述关键字段将所述作业日志信息分配到相应的作业队列中；机时计算模块，用于采用所述作业队列对应的机时算法对所述作业队列中的作业进行机时计算，获取机时数据。本专利技术提供一种基于日志分析的地震资料处理机时精细化计算方法及其系统、计算机存储介质，实现了对地震资料处理工区，以及向下细化到作业模块，处理流程的机时统计，并建立了地震资料处理工区信息数据库，能从业务软件层面在多个维度对地震资料处理业务的高性能资源使用进行统计分析，显著提升了机时计量统计的精细度和相关数据的参考价值。附图说明下面通过参考附图并结合实例具体地描述本专利技术，本专利技术的优点和实现方式将会更加明显，其中附图所示内容仅用于对本专利技术的解释说明，而不构成对本专利技术的任何意义上的限制，在附图中：图1为本专利技术实施例的基于日志分析的地震资料处理机时精细化计算方法的流程示意图。图2为本专利技术通过地震资料处理调度系统使用网页爬虫技术进行作业关键信息采集示意图。图3为本专利技术实施例的基于日志分析的地震资料处理机时精细化计算方法的流程示意图。图4为本专利技术实施例的基于日志分析的地震资料处理机时精细化计算系统的结构示意图。具体实施方式如图1所示，本专利技术提供一种基于日志分析的地震资料处理机时精细化计算方法，包括：S1、采集作业日志信息；地震勘探数据加载到地震资料处理作业流后提交至作业调度系统，作业日志信息可以来自于一个以上不同的主流商业处理软件提供的作业调度系统。有的作业调度系统输出的信息是网页信息，需要从网页信息中获取价值数据作为待处理信息。有的业调度系统输出的信息是日志形式，可以直接作为待处理信息。一般地，在采集作业日志信息时可以按地震资料处理工区进行采集。在本专利技术的一个实施例中，可以通过Java语言对网页信息进行抓取。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，具有简单性、面向对象、分布式、健壮性、安全性、平台独立与可移植性、多线程、动态性等特点。如图2所示，互联网41中多个URL42(即网页信息)会相互关联，可以通过爬虫43对该些URL进行爬取以获取价值数据44。更具体地，URL管理器判断是否有待爬URL，并从调度器获取待爬取的URL，定时器将所有待爬内容存放在缓存中，爬虫程序从缓存中获取URL地址，获取后从缓存中移除此URL。解析器将正确解析的页面相应的URL重新存入URL缓存中，解析器还将解析出的价值数据输出至应用层。在进行作业日志信息的采集时，先读取相关文件，即待处理信息，并将已读取的待处理信息进行缓存，通过正则匹配后获取作业日志信息并持久化至统一的数据层。S2、从所述作业日志信息中获取关键字段，根据所述关键字段将所述作业日志信息分配到相应的作业队列中；考虑到程序的健壮性和效率问题，结合处理业务的关键字特征，关键字段是通过正则表达式技术获取对预先定义好的特定字符串进行逻辑过滤。本实施例中的关键字段涉及作业模块功能类型，运算负载，计算时长、资源需求、流程工期、处理类型等信息。本实施例中，作业队列包括单节点单核作业队列、单节点多核作业队列以及多节点并行队列。本文档来自技高网...

【技术保护点】
1.一种基于日志分析的地震资料处理机时精细化计算方法，其特征在于，包括步骤：/nS1、采集作业日志信息；/nS2、从所述作业日志信息中获取关键字段，根据所述关键字段将所述作业日志信息分配到相应的作业队列中；/nS3、采用所述作业队列对应的机时算法对所述作业队列中的作业进行机时计算，获取机时数据。/n

【技术特征摘要】
1.一种基于日志分析的地震资料处理机时精细化计算方法，其特征在于，包括步骤：
S1、采集作业日志信息；
S2、从所述作业日志信息中获取关键字段，根据所述关键字段将所述作业日志信息分配到相应的作业队列中；
S3、采用所述作业队列对应的机时算法对所述作业队列中的作业进行机时计算，获取机时数据。


2.根据权利要求1所述基于日志分析的地震资料处理机时精细化计算方法，其特征在于，所述步骤S1中包括：
获取作业调度系统中待处理信息；
将所述待处理信息进行缓存、正则匹配后得到所述业日志信息。


3.根据权利要求2所述基于日志分析的地震资料处理机时精细化计算方法，其特征在于，所述获取作业调度系统中待处理信息包括：
获取作业调度系统输出的网页信息；
通过爬虫对所述网页信息进行爬取；
将爬取后的网页信息进行分析以获价值数据作为所述待处理信息。


4.根据权利要求1所述基于日志分析的地震资料处理机时精细化计算方法，其特征在于，所述关键字段通过正则表达式获取的。


5.根据权利要求1所述基于日志分析的地震资料处理机时精细化计算方法，其特征在于，所述作业队列包括单节点单核作业队列、单节点多核作业队列以及多节点并行队列。


6.根据权利要求5所述基于日志分析的地震资料处理机时精细化计算方法，其特征在于，在所述步骤S3中，
对所述单节点单核队列中的作业进行机时计算时，包括：根据数据库中作业关键字段分析，得出作业的起始时间与终止时间，计算出作业运行时长，作业机时＝计算节点单核心×作业运行...

【专利技术属性】
技术研发人员：雍晨天，葛鑫，冯佳丽，
申请(专利权)人：中国石油化工股份有限公司，中国石油化工股份有限公司石油物探技术研究院，
类型：发明
国别省市：北京;11