一种基于目标检测的中间包亮眼检测方法技术

本发明专利技术属于视频图像处理技术领域，提出一种基于目标检测的中间包亮眼检测方法。其为轻量级的基于卷积神经网络和长短时记忆神经网络实现的亮眼检测方法，目的在于解决炼钢生产过程中，对于亮眼现象无法及时捕捉的问题，提高生产过程的自动效率。利用传统图像处理进行半自动化标注，实现目标识别的自我深度学习。本发明专利技术有效利用了炼钢中间包亮眼区域的变化特性，将亮眼视为观察目标，与钢水覆盖层阴影等干扰因素区分开，有效利用了视频的时序信息，实现亮眼实时检测。实现亮眼实时检测。实现亮眼实时检测。

【技术实现步骤摘要】
一种基于目标检测的中间包亮眼检测方法


[0001]本专利技术涉及视频图像处理
，尤其涉及一种基于目标检测的中间包亮眼检测方法。

技术介绍

[0002]基于炼钢厂炼钢中包摄像头的炼钢视频，图像处理技术加持下的亮眼检测方法，拥有半自动化，自我标注，可以实现自我学习。现今，炼钢工艺与钢材良品率所需求的工艺水平越来越高，而亮眼的水平很大程度上反应了炼钢的实时质量。迄今为止，有许多研究人员尝试从传统炼钢工艺方法进行相关分析，但是使用新兴信息技术，例如基于CNN网络图像处理的相关研究十分少。相关工作，如“Tao H and Lu X,Smoke vehicle detection based on spatiotemporal bag
‑
of
‑
features and professional convolutional neural network[J].IEEE Transactions on Circuits and Systems for Video Technology,2020,30(10):3301
‑
3316.”，该文中模型结构较大，存在较高延时，无法应用于对延时要求较高的钢厂环境。传统的目标检测可以根据“黄咨.基于卷积神经网络的目标检测模型的研究[D].上海:上海交通大学控制科学与工程,2014.”，该文中为了关注感兴趣区域，忽略无效和冗余信息，提出一种高效空间注意力模型ESA
‑
Net实现亮眼检测；这种亮眼检测方法对于炼钢中的高亮度、低覆盖面积的亮眼缺乏适配能力。同时，传统的简单的边缘检测算法难以应对炼钢厂复杂的现场情况，单一的特征提取无法完成厂房需求，而且钢厂摄像头往往会发生变动，导致之前学习的特征无法继续使用，复杂多变的环境使得这类算法的亮眼检测精度较低，不能满足实际生产要求。实际上，无论是国内或者国外对于这个方向的研究依然比较少，较为可信的是Chatterjee S和Chattopadhyay K发表在Metallurgical and Materials Transactions B上Physical modelling of slag eye in an inert gas shrouded un tundish using dimensional analysis，该文章根据加拿大当地炼钢厂，但是，两国之间的原料、工艺和设备存在方方面面的不同，而且模型缺乏一定的迁移能力，无法应用到我国炼钢现状。

技术实现思路

[0003]本专利技术提出了一种基于目标检测的中间包亮眼检测方法，为轻量级的基于卷积神经网络和长短时记忆神经网络实现的亮眼检测方法，目的在于解决炼钢生产过程中，对于亮眼现象无法及时捕捉的问题，提高生产过程的自动效率。利用传统图像处理进行半自动化标注，实现目标识别的自我深度学习。
[0004]本专利技术的技术方案如下：一种基于目标检测的中间包亮眼检测方法，具体步骤如下，
[0005]一种基于目标检测的中间包亮眼检测方法，具体步骤如下，
[0006]步骤1、以亮眼视频监控器为视频数据来源，通过包括残差模块和自注意力模块的CNN网络对视频数据进行初步提取，获得候选亮眼区域；
[0007]步骤2、使用传统边缘检测算子，从候选亮眼区域提取出亮眼边缘；通过设置亮眼亮度阈值进一步提取亮眼范围图像，计算亮眼范围图像面积，亮眼范围图像面积和亮眼范围图像亮度作为预测亮眼变化的特征；
[0008]步骤3、使用LSTM网络对上述提取出来的亮眼范围图像进行处理，预测其变化趋势；
[0009]所述基于目标检测的中间包亮眼检测方法基于一种基于目标检测的中间包亮眼检测网络实现，基于目标检测的中间包亮眼检测网络分为4层，依次为CNN网络层、late_pooling、两个时域卷积层和三个LSTM网络层；
[0010]CNN网络层分为两部分，第一部分包括一个三维卷积层conv1、ReLU层和一个最大池化层pooling；第二部分包括一个Inception Block、ReLU层、一个最大池化层pooling；
[0011]late_pooling，将CNN网络层的输出结果输入到一个全连接层后再通过一次池化；
[0012]时域卷积层包括128个3
×
3的时域卷积核；
[0013]LSTM网络层进行训练时，其每一帧训练输出值与视频的下一帧进行对比，梯度的反向传播后将正确的下一帧加入到训练集中；
[0014]经过基于目标检测的中间包亮眼检测网络后，亮眼范围图像进行如下处理；
[0015]X
t
＝[X
t,1
,
…
,X
t,i
](1)
[0016][0017]out＝W
i
·
X
t
+W
h
·
tan(c
t
)+W
c
·
c
t
(3)
[0018]式(1)是对步骤一CNN网络对图像的卷积处理得到的特征向量，用X
t,i
表示t时刻的图像的列向量；式(2)是LSTM中cell state和hidden state的初始和迭代计算方式；式(3)是输出结果，其中W
t
是神经元到神经元的权重矩阵，W
h
是记忆门的权重矩阵，tan(
·
)是LSTM中的非线性部分，W
c
是cell state之间权重矩阵，这三个矩阵是LSTM需要进行梯度反向迭代的矩阵。
[0019]所述CNN网络层中，卷积层中的二维卷积核大小为3
×
3，空间维度上的特征提取卷积核与二维卷积网络的同为3
×
3，在时间维度上的特征提取卷积核是5
×
5。
[0020]最后进行亮眼检测覆盖范围评估；
[0021][0022][0023][0024]式(6)是针对式(4)和式(5)组成的ROC(Receiver Operating Characteristic)图像的面积求和得到的正确率指标；TP(判断正确的正确样本数量)、FN(判断错误的正确样本数量)、FP(判断错误的错误样本数量)、TN(判断正确的错误样本数量)、m(样本数量)、y(TPR
值)、x(FPR值)
[0025]所述传统边缘检测算子，例如Canny算子提取出边缘。边缘提取是已经较为成熟的图像处理技术，但是由于量纲环境的复杂，极大可能存在干扰的范围，通过加入亮度的阈值可以有效较低亮度的炼钢设备对于边缘检测影响。
[0026]与现有技术相比本专利技术的有益效果：本专利技术志在解决炼钢过程中亮眼影响炼钢质量的问题，通过本专利技术的方法，可以在较短时间内，对亮眼范围进行较为精确的跟踪并对之后亮眼变化进行预测，使钢厂可以及时准确添加覆盖剂，由此提高炼钢质量和产量。
附图说本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于目标检测的中间包亮眼检测方法，其特征在于，具体步骤如下，步骤1、以亮眼视频监控器为视频数据来源，通过包括残差模块和自注意力模块的CNN网络对视频数据进行初步提取，获得候选亮眼区域；步骤2、使用传统边缘检测算子，从候选亮眼区域提取出亮眼边缘；通过设置亮眼亮度阈值进一步提取亮眼范围图像，计算亮眼范围图像面积，亮眼范围图像面积和亮眼范围图像亮度作为预测亮眼变化的特征；步骤3、使用LSTM网络对上述提取出来的亮眼范围图像进行处理，预测其变化趋势；所述基于目标检测的中间包亮眼检测方法基于一种基于目标检测的中间包亮眼检测网络实现，基于目标检测的中间包亮眼检测网络分为4层，依次为CNN网络层、late_pooling、两个时域卷积层和三个LSTM网络层；CNN网络层分为两部分，第一部分包括一个三维卷积层conv1、ReLU层和一个最大池化层pooling；第二部分包括一个Inception Block、ReLU层、一个最大池化层pooling；late_pooling，将CNN网络层的输出结果输入到一个全连接层后再通过一次池化；时域卷积层包括128个3
×
3的时域卷积核；LSTM网络层进行训练时，其每一帧训练输出值与视频的下一帧进行对比，梯度的反向传播后将正确的下一帧加入到训练集中；经过基于目标检测的中间包亮眼检测网络后，亮眼范围图像进行如下处理；X
t
＝...

【专利技术属性】
技术研发人员：黄张骁，刘元浩，宋帆，王洪玉，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：