一种基于深度学习的游梁式抽油机运动学分析方法技术

本发明专利技术公开了一种基于深度学习的游梁式抽油机运动学分析方法，该方法包括如下步骤，步骤1：数据预处理。步骤2：训练基于Yolov4的目标检测模型，对抽油机进行运动目标检测。步骤3：基于上述运动检测结果，对抽油机进行实时运动学分析。本发明专利技术针对油田中抽油机运动参数监控难的问题，提出利用基于Yolov4的深度卷积神经网络对抽油机运动视频进行识别，并搭建数学模型输出计算出的运动学参数。实验结果显示，在高IOU阈值下，本方法的mAP能够达到94％以上，输出识别后的视频可以达到10FPS，基本能够胜任实际油田的监控工作。胜任实际油田的监控工作。胜任实际油田的监控工作。

【技术实现步骤摘要】
一种基于深度学习的游梁式抽油机运动学分析方法


[0001]本专利技术属于计算机视觉领域，是一种基于深度学习的游梁式抽油机运动学分析方法，可以在实际油田场景下将游梁式抽油机视频流作为输入，输出实时运动学参数序列。

技术介绍

[0002]游梁式抽油机(以下简称“抽油机”)是石油机械行业中最重要的工程机械之一，被广泛应用在世界各地的油田中。对抽油机进行运动学分析是研究抽油装置动力学、确定抽油装置的基本参数以及对抽油机进行结构优化设计的基础。
[0003]目前对于抽油机的运动学分析主要有两种方法，分别为基于数学模型的分析方法和基于软件建模的分析方法。基于数学模型的分析方式主要是通过人工设计的数学解析模型，推导数学以及物理公式对抽油机进行运动分析。此方法提供了简洁的形式化语言，用数学符号、图像、公式揭示原型的性质、规律和结构。基于软件建模的抽油机运动学分析方法是使用主流3D建模软件如Adams、Pro/E、SolidWorks，对抽油机进行仿真建模。此种方法能够更加直观的研究抽油机的运动学规律，并且通过搭建抽油机的3D场景，实现技术人员与抽油机的虚拟交互。
[0004]以上两种分析方法对抽油机的发展和应用有着重要的影响。但是，随着深度学习技术的发展，基于实时视频流的运动学分析方法逐渐兴起。该方法能够以视频作为输入，实时分析并输出人体或者物体的运动状态，且无需对外界环境信息进行模拟。现如今，各国都在积极开展智慧油田建设，移动巡检机器人和固定摄像头等视频获取装置被部署在油田中，这使得实时获取抽油机的视频数据成为可能。基于此，专利技术了一种基于深度学习的抽油机运动学分析方法，可以根据拍摄的视频数据对抽油机进行实时的运动学分析。希望此专利技术可以对抽油机的故障检测、日常监测、效能分析等方面起到积极作用。

技术实现思路

[0005]设计了一种基于深度学习的抽油机运动分析方法，将实地采集的抽油机工作视频输入其中，通过深度神经网络的识别和数学模型的计算，能够自动输出抽油机运行时的运动参数，人们可以利用此方法更加高效便捷的对油田中抽油机进行监控工作。如图1为本专利总览图。
[0006]为实现上述目的，本方法包括以下步骤：
[0007]步骤1：数据预处理。借助油田巡检机器人以及人工定点拍摄，对新疆克拉玛依油田内20余台游梁式抽油机进行了数据采集。采集的数据中包含多种不同天气下不同角度、大小的抽油机工作视频。接下来对于驴头、支点、游梁后端、曲柄以及抽油机整体等关键运动构建进行标注。最终得到5000多条有效数据。
[0008]接下来，应用了Mixup算法的基本思想，对自然场景下拍摄的数据集进行增广。应用此方法进行数据增广后，数据集体量从5000张扩大到20000张，其中用于训练的图片为16000张，用于验证的图片4000张。
[0009]如图2，Mixup算法主要原理如下：
[0010]λ＝Beta(α,β)
ꢀꢀꢀ
(1)
[0011][0012]如上式，x
i
和x
j
为原始输入向量，即数据样本，λ是参数α,β由贝塔分布计算出的混合系数，且λ∈[0,1]。在训练集中选出某个数据x
i
和x
j
，按照上述公式进行合成，再将这种合成后的数据输入神经网络获得输出。
[0013][0014]在网络中计算出的loss是由y
i
和y
j
合成的。当然，loss的计算也分为两部分，先计算模型预测x
i
输出y
i
的loss，再乘以λ，同样再计算预测x
j
输出y
j
的loss，乘以其对应比例(即1
‑
λ)，二者加权求和。
[0015]步骤2：训练基于Yolov4的目标检测模型，对抽油机进行运动目标检测。抽油机在工作时具有整体静止，部分运动的特点，所以决定采用Yolov4这种端到端的实时目标检测框架。目标识别神经网络由以下几部分组成：输入图像为416
×
416像素，由CSPdarknet53作为主干网络，SPP作为附加块，PANet作为实例分割网络，由基于Yolov3锚点机制的头作为输出。整体流程如图3所示。
[0016]首先，将抽油机的视频数据通过脚本将其按帧转化为416
×
416像素的图像以便输入网络。首先要经过的是CSPdarknet53主干网络。CSPdarknet53的结构由一个大残差块和内部堆叠的若干小残差块组成，首先利用Zeropadding2D和步长为2x2的卷积核进行步长为1的高和宽的压缩，然后建立一个大的残差边shortconv，绕过了许多残差结构。由于先进行降采样，因此计算量大大减小，速度大大提升。接下来的主干部分会对若干个残差结构块进行循环。最后将大的残差边再堆叠回来，对通道数进行整合，从不同部位的残差块输出三个有效特征层，分别为256张52
×
52图， 512张26
×
26图，1024张13
×
13图。
[0017]在实验过程中，发现由于抽油机的工作环境恶劣，视频的拍摄清晰度受光照、扬沙等天气因素影响较大，给的模型造成了一定困难。因此，决定在CSPdarknet53 主干网络中加入注意力机制来缓解外部条件的干扰，使模型更加鲁棒。注意力机制的基本思想就是让神经网络去多关注一些有用的信息，忽略无关的信息。本文将空间注意力模块SAM加入了CSPdarknet53，即将输入分成两个部分，其中一部分用平均池化和最大池化处理经过卷积后的特征图，与正常操作经过卷积层的输入共同生成两张新的特征图。然后，将这两张特征图进行一维卷积降维，再通过sigmoid激活函数，作为空间注意力权值。用此权值与之前的特征图进行乘法操作，以此将注意力加入到特征图中(如图4)。然后将CSPdarknet53的13
×
13图进入SPP块，将特征图进行不同尺度的池化，拼接后输出特征图。
[0018]接着，参考Yolov4使用了一种新的方法来分割实例，称为Path AggregationNetwork(PANet)，主要通过保留空间信息来增强实例分割过程。在本项目中， PANet使用另一条自底向上的路径，使用了来自所有层的特征，并让网络决定哪些是有用的，使参数聚合以适应各种大小的特征图。这样一来，PANet快速、简单、非常有效地对所有大小的特征进行池化，缩短了最低层和顶层之间的距离，并且使用增强路径来丰富每个级别的特征。
[0019]最后，输出的特征图将参照Yolov3提出的基于anchor机制的yolo
‑
head来识别抽油机的各个部件。
[0020]如图5为基于Yolov4的抽油机运动识别模型输入图片后处理过程总览。
[0021]步骤3：基于上述运动检测结果，对抽油机进行实时运动学分析。的目标是基于深度学习技术以及输入视频流，对抽油机进行实时运动学分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的游梁式抽油机运动学分析方法，其特征在于：该方法包括如下步骤，步骤1：数据预处理；借助油田巡检机器人以及人工定点拍摄进行数据采集；采集的数据中包含多种不同天气下不同角度、大小的抽油机工作视频；对于驴头、支点、游梁后端、曲柄以及抽油机整体等关键运动构建进行标注；最终得到5000多条有效数据；应用Mixup算法的基本思想，对自然场景下拍摄的数据集进行增广；进行数据增广后，数据集体量从5000张扩大到20000张，其中用于训练的图片为16000张，用于验证的图片4000张；Mixup算法主要原理如下：λ＝Beta(α，β)
ꢀꢀꢀꢀ
(1)x
i
和x
j
为原始输入向量，即数据样本，λ是参数α，β由贝塔分布计算出的混合系数，且λ∈[0，1]；在训练集中选出某个数据x
i
和x
j
，按照公式进行合成，再将这种合成后的数据输入神经网络获得输出；在网络中计算出的loss是由y
i
和y
j
合成的；当然，loss的计算也分为两部分，先计算模型预测x
i
输出y
i
的loss，再乘以λ，同样再计算预测x
j
输出y
j
的loss，乘以其对应比例，二者加权求和；步骤2：训练基于Yolov4的目标检测模型，对抽油机进行运动目标检测；抽油机在工作时具有整体静止，部分运动的特点，采用Yolov4这种端到端的实时目标检测框架；目标识别神经网络由以下几部分组成：输入图像为416
×
416像素，由CSPdarknet53作为主干网络，SPP作为附加块，PANet作为实例分割网络，由基于Yolov3锚点机制的头作为输出；步骤3：基于上述运动检测结果，对抽油机进行实时运动学分析；的目标是基于深度学习技术以及输入视频流，对抽油机进行实时运动学分析；根据之前所构造的深度神经网络识别模型，实时的获取抽油机各个构件的位置；根据这些位置，设计并实现了一个抽油机运动学分析模型；将抽油机抽象为一个简单的几何结构，并总结出八个对于抽油机运动学分析较为重要的八个角度，分别为∠HSC、∠HSE、∠HBE、∠ECS、∠BEC、∠BCE、∠HBC、∠CES；有了这八个特征角度，对游梁式抽油机进行更深一步的运动学分析；基于上述的游梁式抽油机抽象模型以及特征角度，计算出更深一步的运动学特征参数；分析五种对游梁式抽油机较为重要的五个运动学特征参数：驴头位移、驴头速度、驴头加速度、驴头角速度、驴头角加速度。2.根据权利要求1所述的一种基于深度学习的游梁式抽油机运动学分析方法，其特征在于：将抽油机的视频数...

【专利技术属性】
技术研发人员：黄志清，孙峻礁，王聿超，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：