基于RGB和激光特征融合的高炉烧结矿粒径检测方法及系统技术方案

本发明专利技术公开了一种基于RGB和激光特征融合的高炉烧结矿粒径检测方法及系统，通过获取RGB数据集与激光数据集，构建编码器

【技术实现步骤摘要】
基于RGB和激光特征融合的高炉烧结矿粒径检测方法及系统


[0001]本专利技术主要涉及高炉炼铁
，特指一种基于RGB和激光特征融合的高炉烧结矿粒径检测方法及系统。

技术介绍

[0002]高炉是钢铁行业中用于炼铁的关键设备，其稳定顺行决定着炼铁质量。高炉生产过程主要包含着四大制度：送风制度、装料制度、造渣制度和热制度，四大基本制度相互依存，相互影响，直接影响高炉的工作和顺行状况进而影响炼铁质量。装料制度优化可使炉内煤气分布合理，改善矿石与煤气接触条件，减少煤气对炉料下降的阻力，避免高炉憋风、悬料，同时能够提高煤气利用率和矿石的间接还原度，可降低焦比，促进高炉生产稳定顺行。如何合理优化装料制度，很大程度上取决于运往高炉的炉料质量，如炉料粒径等。
[0003]烧结矿是高炉矿石中重要的一种。在目前的高炉装料过程中，通过人工取样的方式每隔4h对烧结矿检测一次。这样人工筛分的方式不仅检测频率低、精度低、速度慢，取样的结果也不能完全代表原燃料粒度的实际情况，无法对现场原燃料粒度进行有效的跟踪，对高炉炉况的影响程度也难以评估。精确度低、取样频次低、速度慢。因此需要一种新的方法来增加粒度检测频度和提高粒度检测精确度，以实时掌握入炉原燃料粒度大小、分布和趋势。
[0004]目前关于炉料矿石的粒径检测方法以图像分割方法为主。图像分割方法主要是通过颜色、亮度、灰度等特征区分出矿石的边缘和非边缘区域来检测矿石的粒径，目前主要包括传统的图像分割和基于深度学习的图像分割。传统的图像分割算法主要有基于阈值、基于聚类和基于区域增长等方法。由于高炉炉料表面纹理的复杂性和光照不均等客观环境所引起的噪声。噪声的低层次特征存在局部的急剧变化，导致传统的图像分割方法在高炉炉料图像的边缘检测中无法有效的区分边缘与噪声，从而出现过分割现象。
[0005]基于深度学习的图像分割算法在高炉炉料图像分割的应用相对较少，但在图像边缘检测方面有较为广泛的运用。近年来，随着FCN框架的提出，越来越多编码器
‑
解码器结构的深度学习网络在语义分割领域有广泛的应用，例如SegNet、U
‑
Net、deeplab等在医学图像上的应用效果较佳。但由于高炉上料系统所处的环境光照不均、矿石复杂纹理的干扰等情况的出现，单一RGB图像已经难以满足对高精度的需求，单一RGB信息难以区分矿石表面复杂纹理和边缘，因此UNet、PSPNet等仅仅通过学习矿石RGB图像中的信息来训练网络，并不能很准确的实现对矿石图像的分割。
[0006]从深度图像中学习有效信息是目前进行多源信息融合研究的重要手段之一，在融合RGB和深度信息的研究中，早期的尝试如简单地将RGB和深度通道级联为四通道输入，并将其送到传统的RGB模态网络中。这种方式在融合的过程中，没有考虑两种输入数据对分割结果的贡献程度的不同。这些RGB
‑
D语义分割方法比基于单一RGB的方法能获得更好的分割结果，其主要原因是与单一RGB图像相比，引入准确的稠密深度图包含了更多的位置和轮廓信息，有利于上下文关键语义分割，必然能够取得更好的分割效果。这些方法在处理两种输
入数据时没有量化地考虑两种输入数据对分割结果的贡献程度的不同，而是做了统一或者等价的处理，这就可能导致额外引入的信息对分割结果带来负面的影响(负贡献)。
[0007]这些方法大多是基于稠密的深度图来实现分割的，对于稀疏的深度图(例如激光、雷达图像等)并不适用。在高炉恶劣的生产过程中，几乎无法直接获得稠密的深度图，只能获得稀疏的深度图。
[0008]难点一：矿石图像的表面纹理过于复杂，单一信息难以取得高精度的分割效果。由于高炉上料系统所处的环境光照不均、矿石复杂纹理的干扰等情况的出现，单一RGB图像已经难以满足对高精度的需求，单一RGB信息难以区分矿石表面复杂纹理和边缘，因此本专利技术创新性地选择将RGB信息与激光信息(L)进行融合以强化有效特征进行高精度的分割。
[0009]难点二：激光信息具有明显的稀疏性，使得其在于RGB的融合过程中贡献非常有限。如果通过插值算法将稀疏深度图转化为稠密深度图，在插值过程中会产生一些错误信息(这是插值算法和标定算法固有的限制)，这些错误信息在融合过程中有可能产生负面的效果，可能会导致融合了激光信息的分割甚至于比不上单一信息的分割效果，最后的表格和分割结果给出了对比。
[0010]公开文件CN113052826A公开了一种多尺度特征选择性融合的胰腺图像分割方法，该专利技术提出一种多尺度特征选择性融合的胰腺图像分割方法,构建一个两阶段的由粗到细的胰腺分割框架,首先在预处理后的整图上进行粗分割和分割优化得到粗分割结果,确定胰腺分割区域的边界框,对预处理后的图像进行裁剪,再在裁剪图像上进行细分割和分割优化得到胰腺图像的细分割结果；将SE机制和Inception思想引入不同层次的特征融合中,构建了多尺度特征选择性融合模块MSSFM；在Unet模型基础上,编码部分利用残差卷积块使网络更深并防止模型退化,提升有效特征的学习；解码部分利用多尺度特征的选择性融合模块自下而上的融合多尺度特征,增加网络对多尺度目标的适应性并聚焦目标区域,提高模型分割的精准度。
[0011]该专利技术仅利用RGB信息，在面对表面纹理复杂的烧结矿图像时难以适用。而且利用SE机制是利用人工先验知识选择性地融合不同尺度的特征，且没有体现出不同特征对分割结果的贡献差异。
[0012]公开文件CN107766794B公开了一种特征融合系数可学习的图像语义分割方法，该专利技术涉及一种特征融合系数可学习的图像语义分割方法,该方法步骤主要包括先在图像分类数据集上训练一个由图像到类别标签的深度卷积网络分类模型；将分类模型中的全连接层类型转为卷积层类型,得到全卷积深度神经网络模型,进行像素级别的类别预测；然后扩展卷积层分枝,给每一个分支设置一个系数,特征融合层按照系数比重进行融合,将此系数设置为可学习的状态；其次在图像语义分割数据集上进行微调训练,同时进行系数学习,得到语义分割模型；经微调训练和融合系数学习,可得到1至20组融合系数；最后在每组中选出系数最大的那个分支,进行最终组合,再次微调训练和系数学习,得到最终的语义分割模型。本专利技术使特征融合效果达到最好的状态。
[0013]该专利技术也仅利用了RGB信息，通过人工先验知识给不同的分支赋予权重进行训练，同样无法体现出不同特征对分割结果的贡献差异，在面对表面纹理复杂的烧结矿图像时难以适用。

技术实现思路

[0014]本专利技术提供的基于RGB和激光特征融合的高炉烧结矿粒径检测方法及系统，解决了现有高炉烧结矿粒径检测精度低的技术问题。
[0015]为解决上述技术问题，本专利技术提出的基于RGB和激光特征融合的高炉烧结矿粒径检测方法包括：
[0016]采集高炉炉料传送带上的高炉烧结矿RGB图像和单线激光检测数据，获得RGB数据集与激光数据集；
[0017]构建编码器
‑
解码器结构的深度学习网络，深度学习网络包括RGB编码分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RGB和激光特征融合的高炉烧结矿粒径检测方法，其特征在于，所述方法包括：采集高炉炉料传送带上的高炉烧结矿RGB图像和单线激光检测数据，获得RGB数据集与激光数据集；构建编码器
‑
解码器结构的深度学习网络，所述深度学习网络包括RGB编码分支、激光编码分支、融合分支以及解码过程；根据所述RGB编码分支和激光编码分支，分别对所述RGB数据集与激光数据集进行特征提取，获得RGB初始特征张量和激光初始特征张量；在所述融合分支的最后一层构建多源特征加权融合子网络，并基于所述多源特征加权融合子网络，对所述RGB初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量；将所述融合特征张量，输入解码过程，从而获得分割图像，以及根据所述分割图像对高炉烧结矿粒径进行检测。2.根据权利要求1所述的基于RGB和激光特征融合的高炉烧结矿粒径检测方法，其特征在于，在所述融合分支的最后一层构建多源特征加权融合子网络，并基于所述多源特征加权融合子网络，对所述RGB初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量包括：对所述RGB初始特征张量和激光初始特征张量分别进行特征压缩，获得RGB压缩特征张量和激光压缩特征张量；对所述RGB压缩特征张量和激光压缩特征张量分别进行特征展开，获得RGB展开特征张量和激光展开特征张量；对所述RGB展开特征张量和激光展开特征张量分别进行卷积计算和线性变换，获得所述RGB初始特征张量和激光初始特征张量中的每一个特征通道的特征权重；基于所述RGB初始特征张量和激光初始特征张量中的每一个特征通道的特征权重，对所述RGB初始特征张量和激光初始特征张量进行加权融合，获得融合特征张量。3.根据权利要求2所述的基于RGB和激光特征融合的高炉烧结矿粒径检测方法，其特征在于，对所述RGB展开特征张量和激光展开特征张量分别进行卷积计算和线性变换，获得所述RGB初始特征张量和激光初始特征张量中的每一个特征通道的特征权重包括：将RGB展开特征张量和激光展开特征张量的每个特征通道视为神经元，每个特征通道的通道系数视为神经元的权重，分别建立RGB通道系数训练神经网络和激光通道系数训练神经网络；对RGB展开特征张量和激光展开特征张量的每个特征通道的通道系数进行训练，获得RGB通道系数和激光通道系数；基于RGB展开特征张量和RGB通道系数，获得RGB卷积特征张量，基于激光展开特征张量和激光通道系数，获得激光卷积特征张量；对RGB卷积特征张量和激光卷积特征张量进行线性变换，获得RGB初始特征张量和激光初始特征张量中的每一个特征通道的特征权重。4.根据权利要求3所述的基于RGB和激光特征融合的高炉烧结矿粒径检测方法，其特征在于，基于RGB卷积特征张量和RGB通道系数，获得RGB卷积特征张量，基于激光卷积特征张
量和激光通道系数，获得激光卷积特征张量的计算公式为：其中，和分别表示RGB卷积特征张量和激光卷积特征张量，w
c,0
和w
c,1
分别表示RGB初始特征张量和激光初始特征张量中第c个特征通道的通道系数，w
c+j,0
和w
c+j,1
分别表示RGB初始特征张量和激光初始特征张量中第c+j个特征通道的通道系数，且w
c,0
、w
c,1
、w
c+j,0
和w
c+j,1
的初始值均为1，d表示特征通道的邻域大小，取1，D表示在一次T形卷积运算...

【专利技术属性】
技术研发人员：蒋朝辉，刘金狮，何瑞清，余金花，桂卫华，张海峰，
申请(专利权)人：广西柳钢东信科技有限公司，
类型：发明
国别省市：