铝电解槽火眼视频巡检系统及过热度深度学习识别方法技术方案

本发明专利技术公开了铝电解槽火眼视频巡检系统及过热度深度学习识别方法，包括巡检机器人、火眼视频采集装置和过热度识别系统。巡检机器人上设有火眼视频采集摄像头，巡检机器人在铝电解槽出铝端一侧自主导航行走，通过预喷涂的二维码使机器人定位到出铝端的火眼口并进行槽号识别；将巡检机器人上的摄像头对准火眼并进行视频拍摄，拍摄完毕后机器人自主导航到下一个铝电解槽，同时过热度识别系统将视频上传至远程服务器；在服务器端搭建融合机理、数据和经验的三流异维残差网络模型进行过热度识别；本发明专利技术公开的铝电解槽火眼视频巡检系统及过热度深度学习识别方法能够代替工人完成铝电解槽过热度检测，降低人力成本，实现过热度状态识别，有助于提高铝电解工业的智能化水平。平。平。

【技术实现步骤摘要】
铝电解槽火眼视频巡检系统及过热度深度学习识别方法


[0001]本专利技术涉及铝电解过程视频采集和处理
，特别涉及铝电解槽火眼视频巡检系统及过热度深度学习识别方法。

技术介绍

[0002]铝电解工业是具有战略意义的国民经济支撑性行业，铝电解过程的识别与控制技术是现代铝电解工业稳定、高效和优化运行的关键。其中，电解槽的过热度识别对铝电解过程至关重要。过热度是电解质温度和初晶温度的差值，是铝电解生产过程中的关键因素，直接影响铝电解的电流效率，对炉膛形状及稳定性、电解槽寿命等有很大的影响。由于没有有效且精确的初晶温度测量技术，目前主要通过工人对铝电解槽火眼视频进行观察以识别过热度状态，并且，严重依赖于技术人员的经验。而人工判断过热度存在诸多缺点，例如，工人经验水平有所差异，存在主观性和不一致性，容易给生产过程的操控提供错误信息；缺乏有技术的人员进入铝电解行业，人力资源短缺，过热度判别经验难以得到传承；人工判断过热度增加了工作强度，提高了生产成本等。为摆脱严重依赖经验丰富的技术人员现状，降低生产成本，提高过热度的识别精度，亟需研发铝电解槽火眼视频采集及过热度智能识别方法及装置，使用机器人代替工人完成定点定时巡航、火眼视频采集、过热度识别等工作，提高铝电解生产过程的智能化水平。

技术实现思路

[0003]为解决以上技术问题，本专利技术公开铝电解槽火眼视频巡检系统及过热度深度学习识别方法，代替工人完成定点定时巡航、火眼视频采集、过热度识别等工作，降低人力成本，提高铝电解工业的智能化水平。
[0004]本专利技术公开一种铝电解槽火眼过热度识别深度学习方法，包括以下步骤：
[0005]S3
‑
1：获取火眼视频，将火眼视频分解成若干帧RGB图像；
[0006]S3
‑
2：对获得的RGB图像进行阈值分割、去除抖动和去噪处理，得到以火眼为中心的图像；
[0007]S3
‑
3：对以火眼为中心的图像进行随机翻转、随机颜色抖动的图像数据增强操作，得到火眼视频样本；
[0008]S3
‑
4：采用角点法、阈值法提取火眼视频样本的手工特征，所述手工特征包括碳渣比、通道像素值；
[0009]S3
‑
5：采用光流法提取火眼视频样本的动态特征序列，所述光流法为融合金字塔算法的LK光流法；
[0010]S3
‑
6：构建三流异维残差网络，所述三流异维残差网络包括2D传统特征流、3D动态特征流和3D静态特征流；将颜色纹理特征，光流特征，残渣特征图依次输入2D传统特征流；将火眼视频样本进行归一化处理后输入3D静态特征流；将提取的火眼视频样本的动态特征序列输入3D动态特征流；将2D传统特征流、3D动态特征流和3D静态特征流分别输出的结果
进行融合，得到火眼过热度预测值；
[0011]S3
‑
7：将专家经验表示为IF
‑
THEN规则，利用槽控机获取的实时数据，结合IF
‑
THEN规则对火眼过热度预测值进行矫正，得到矫正后的预测结果；
[0012]S3
‑
8：将矫正后的预测结果作为最终的过热度识别结果并输出。
[0013]进一步地，所述3D静态特征流与3D动态特征流均由初始卷积层、初始池化层、3D残差子网络层、平均池化层和Softmax分类层构成；3D静态特征流通过学习过热度每一帧的RGB图像的深层特征实现过热度识别，该特征流的输入为包含全局表面信息的单张视频帧3D动态特征流；3D动态特征流通过学习过热度图像帧与帧之间的运动光流信息进行过热度识别，该特征流的输入为相邻帧图像之间的光流图组成的序列。
[0014]进一步地，所述3D残差子网络层包括4个不同卷积核的3D残差块，依次为第一3D残差卷积块、第二3D残差卷积块、第三3D残差卷积块以及第四3D残差卷积块；所述4个不同卷积核的3D残差块的卷积核数量依次增加，逐步进行深度特征的提取；所述3D残差块均包含两层3D卷积层。
[0015]进一步地，所述3D动态特征流的3D残差子网络层的每一个3D残差块的计算公式为：
[0016][0017]其中，表示3D动态特征流中该卷积块的l+1层的输出，表示3D动态特征流中该3D卷积块第l层的卷积核权重，表示3D动态特征流中该3D卷积块的l层的输出，f()表示非线性方程，δ()表示激活函数方程。
[0018]所述3D静态特征流的3D残差子网络层的每一个3D残差块的计算公式为：
[0019][0020]其中，表示3D静态特征流中该卷积块的l+1层的输出，表示3D静态特征流中该3D卷积块第l层的卷积核权重，表示3D静态特征流中该3D卷积块的l层的输出，表示3D动态特征流中该3D卷积块的l层的输出，
⊙
表示两者之间进行点积运算，f()表示非线性方程，δ()表示激活函数方程。
[0021]进一步地，所述IF
‑
THEN规则通过以下步骤得到：
[0022]S4
‑
1：通过专家经验选择出对槽况影响最大的影响特征，影响特征包括电解液颜色、碳渣数量、结壳速度；
[0023]S4
‑
2：根据下列公式，通过模糊规则的模糊化、模糊推理以及解模糊化三个模块获得专家规则的推理结果；
[0024][0025]式中x
i is A
i
(i∈1,2,3,...)表示特征x
i
在处于A
i
状态的情况，同理x
j is B
j
(j∈1,2,3,...)表示特征x
j
处于B
j
的情况。整个语句表示：在x
i
在处于A
i
状态的情况同时x
j
处于
B
j
的情况下，过热度情况y为U
k
(k∈1，2，3)的概率。其中U
k＝1，2，3
分别表示过热度处于过低，正常、过高的状态。
[0026]本专利技术还公开一种铝电解槽火眼视频巡检系统，包括巡检机器人，所述巡检机器人上安装有火眼视频采集装置，所述巡检机器人内设置有过热度识别系统，所述过热度识别系统通讯连接有远程服务器；
[0027]所述巡检机器人包括机器人底盘、充电桩、传感器及软件系统；机器人底盘实现机器人的自主行走；充电桩实现巡检机器人的自主充电；传感器包含机器视觉系统、激光雷达和GPS，实现巡检机器人自主导航和避障；软件系统包含开源的ROS、机器视觉导航和定位系统，实现机器人的自主导航与定位、SLAM建图、规避动态与静态障碍物；
[0028]所述火眼视频采集装置为一套包含电动云台的彩色工业相机系统；
[0029]所述过热度识别系统为一套嵌入式系统或工控机平台，其采用上述铝电解槽火眼过热度识别深度学习方法；过热度识别系统与火眼视频采集装置连接本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种铝电解槽火眼过热度识别深度学习方法，其特征在于，包括以下步骤：S3
‑
1：获取火眼视频，将火眼视频分解成若干帧RGB图像；S3
‑
2：对获得的RGB图像进行阈值分割、去除抖动和去噪处理，得到以火眼为中心的图像；S3
‑
3：对以火眼为中心的图像进行随机翻转、随机颜色抖动的图像数据增强操作，得到火眼视频样本；S3
‑
4：采用角点法、阈值法提取火眼视频样本的手工特征，所述手工特征包括碳渣比、通道像素值；S3
‑
5：采用光流法提取火眼视频样本的动态特征序列，所述光流法为融合金字塔算法的LK光流法；S3
‑
6：构建三流异维残差网络，所述三流异维残差网络包括2D传统特征流、3D动态特征流和3D静态特征流；将颜色纹理特征，光流特征，残渣特征图依次输入2D传统特征流；将火眼视频样本进行归一化处理后输入3D静态特征流；将提取的火眼视频样本的动态特征序列输入3D动态特征流；将2D传统特征流、3D动态特征流和3D静态特征流分别输出的结果进行融合，得到火眼过热度预测值；S3
‑
7：将专家经验表示为IF
‑
THEN规则，利用实时数据结合IF
‑
THEN规则对火眼过热度预测值进行矫正，得到矫正后的预测结果；S3
‑
8：将矫正后的预测结果作为最终的过热度识别结果并输出。2.如权利要求1所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述3D静态特征流与3D动态特征流均由初始卷积层、初始池化层、3D残差子网络层、平均池化层和Softmax分类层构成；3D静态特征流通过学习过热度每一帧的RGB图像的深层特征实现过热度识别，该特征流的输入为包含全局表面信息的单张视频帧3D动态特征流；3D动态特征流通过学习过热度图像帧与帧之间的运动光流信息进行过热度识别，该特征流的输入为相邻帧图像之间的光流图组成的序列。3.如权利要求2所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述3D残差子网络层包括4个不同卷积核的3D残差块，依次为第一3D残差卷积块、第二3D残差卷积块、第三3D残差卷积块以及第四3D残差卷积块；所述4个不同卷积核的3D残差块的卷积核数量依次增加，逐步进行深度特征的提取；所述3D残差块均包含两层3D卷积层。4.如权利要求3所述的一种铝电解槽火眼过热度识别深度学习方法，其特征在于，所述3D动态特征流的3D残差子网络层的每一个3D残差块的计算公式为：其中，表示3D动态特征流中该卷积块的l+1层的输出，W
ldynamic
表示3D动态特征流中该3D卷积块第l层的卷积核权重，表示3D动态特征流中该3D卷积块的l层的输出，f()表示非线性方程，δ()表示激活函数方程。所述3D静态特征流的3D残差子网络层的每一个3D残差块的计算公式为：其中，表示3D静态特征流中该卷积块的l+1层的输出，W
lstatic
表示3D静态特征流中
该3D卷积块第l层的卷积核权重，表示3D静态特征流中该3D卷积块的l层的输出，表示3D动态特征流中该3D卷积块的l层的输出，
⊙
表示两者之间进行点积运算，f()表示非线性方程，δ()表示激活函数方程。5.如权利要求1所述的一种铝电解槽火眼过热度识别深度学习方法...

【专利技术属性】
技术研发人员：谢世文，宁梓雄，谢永芳，陈晓方，殷泽阳，
申请(专利权)人：中南大学，
类型：发明
国别省市：