一种幽光高温工业立体内窥镜取像方法及系统技术方案

本发明专利技术公开了一种幽光高温工业立体内窥镜取像方法及系统，通过获取多组光学成像系统采集的原始视频流，对原始视频流进行高亮视频合成，获得亮度增强输出视频流，并通过对布料周期内料面下降运动过程中提取的关键帧图像进行时空匹配，获得料面－内窥镜相对位置估计，从而反推出虚拟内窥镜的空间位置，并构建虚实多目相机阵列以及对工业炉窑内料面进行重构，从而获得高炉料面的立体图像，解决了在极弱光条件下难以获得高清晰度和高亮度的三维料面图像的技术问题，通过对多组光学成像系统采集的视频流进行高亮合成以及构建虚实多目内窥镜阵列重构高炉料面，提高了输出的高炉料面图像亮度，实现了幽光环境下高炉料面图像的三维高亮成像。的三维高亮成像。的三维高亮成像。

【技术实现步骤摘要】
一种幽光高温工业立体内窥镜取像方法及系统


[0001]本专利技术主要涉及高温工业内窥镜
，特指一种幽光高温工业立体内窥镜取像方法及系统。

技术介绍

[0002]高炉作为钢铁冶炼中最关键的设备，其能耗和成本约占整个钢铁生产过程的60％～70％，其二氧化碳排放量占90％以上。因此，控制其能耗是实现钢铁工业绿色生产的关键。高炉料面三维形貌信息能够有效反映高炉内部运行状况及流场分布，对指导精细化布料、改善气流分布、保障高炉顺行、减少冶炼能耗具有重要意义。然而，高炉内部环境恶劣，温度可达800℃以上，整体密闭无光，其内部料层具有强吸光作用，使内部照度达到幽光级(小于0.0001Lux)，且充满着大量工业煤气与粉尘，极大限制了检测设备的成像范围和性能，在这种环境下要获取高清高亮的料面三维形貌信息，实现立体成像，一直是一个极具挑战性的难题。目前主要依靠红外成像系统、激光成像系统及雷达扫描系统实现立体成像，其中红外成像系统通过多台红外摄像机获取多段光谱信息，基于双目立体成像原理获取物体深度信息，然而红外摄像机在高炉内容易受到高浓度粉尘及水汽的影响，所获取的图像质量和清晰度较低，难以提供有效的料面形貌信息；激光成像系统通过激光扫描仪测量目标的距离位置等信息，并对数据信息进行处理，最终通过立体影像合成装置输出立体图像，然而激光扫描仪的探头易被高炉内粉尘堵塞，影响其测量精度，实用价值较低；雷达扫描系统通过多维度的雷达构件测量物体不同位置的数据，利用数据进行数学建模从而实现立体成像，获取物体各点坐标及高度信息，但该系统需要在高炉顶部开多个检测孔，容易影响高炉的气密性，且检测精度易受粉尘干扰。
[0003]专利公开号CN209787294U公开了一种多光谱立体成像系统，其通过两台相同的多光谱摄像机来获取目标的视差图像，每台摄像机包含近红外与远红外摄像机和分光镜，保障采集到的图像间具有高重叠度，并将视差图像送入视觉信息处理系统，从而获取实时、清晰的立体图像。但该系统电子器件较多，难以适应高炉内高温高压的环境，且在极弱光条件下，无法获取高清高亮的料面立体图像。此外，红外摄像机易受炉内高浓度粉尘浓度的影响，大大降低检测精度。
[0004]专利公开号CN205643889U公开了一种立体成像系统，包括激光扫描仪、动态差分GPS、姿态测量装置、数据处理器及立体影像合成装置，通过激光扫描仪、姿态测量装置和动态差分GPS对目标的姿态、距离、位置等信息进行测量，将数据传送到数据处理器，最后通过立体影像合成装置合成立体图像。然而，此系统所包含的装置较多，难以安装在高炉受限的安装空间中，且炉内高温粉尘易粘附于激光扫描仪等设备探头上，形成结痂堵塞，影响成像系统的精密性，因此该系统在高炉的恶劣环境下不具有很大的实用价值。
[0005]专利公开号CN111273272B公开了一种用于高炉料面成像的3D雷达扫描器及高炉料面检测系统，其中3D雷达扫描器包括安装于高炉顶部的基座构件、高温隔离罩构件以及多维度雷达构件。该系统能在高温环境下，通过3D雷达扫描器测量高炉多个点位的料位高
度信息，通过光纤传送至上位机进行数学建模，仿真显示高炉内料面的3D图像，图像中包含各测量点的高度和坐标。然而，通过高度信息仿真出的3D图像，缺少料面轮廓及炉料颗粒等细节信息，无法反映全面的高炉运行状况。同时，利用雷达扫描的方式测量料位高度，易受炉内粉尘的影响，测量误差较大，限制了所仿真3D图像的精确性。

技术实现思路

[0006]本专利技术提供的幽光高温工业立体内窥镜取像方法及系统，解决了在极弱光条件下难以获得高清晰度和高亮度的三维料面图像的技术问题。
[0007]为解决上述技术问题，本专利技术提出的幽光高温工业立体内窥镜取像方法包括：
[0008]获取光学成像系统采集的原始视频流，光学成像系统用于对工业炉窑内料面进行成像，其中光学成像系统的组数大于1；
[0009]对光学成像系统采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流；
[0010]提取布料周期内料面下降运动过程中的亮度增强输出视频流的关键帧图像，通过对关键帧图像的时空匹配，获得料面－内窥镜相对位置估计；
[0011]根据料面－内窥镜相对位置估计，反推虚拟内窥镜的空间位置；
[0012]根据虚拟内窥镜的空间位置，构建虚实多目相机阵列；
[0013]基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。
[0014]进一步地，对光学成像系统采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流包括：
[0015]根据亮度增强视频帧估计和输入的原始视频流中的弱光图像之间的相似性，计算保真函数；
[0016]根据亮度增强视频帧估计与前一帧的亮度增强视频帧估计之间的时间一致性，计算一致性函数；
[0017]根据亮度增强视频帧估计，计算正则化函数；
[0018]采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，获取与亮度增强视频帧估计对应的亮度增强输出视频帧；
[0019]根据亮度增强输出视频帧，获得亮度增强输出视频流。
[0020]进一步地，采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，获取与亮度增强视频帧估计对应的亮度增强输出视频帧包括：
[0021]采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像系统中与亮度增强视频帧估计对应的亮度增强视频帧；
[0022]根据亮度增强输出视频帧估计和每一组亮度增强视频帧之间的相似性，计算多组保真函数；
[0023]采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧。
[0024]进一步地，采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像系统中与亮度增强视频帧估计对应的亮度增强视频帧的计算公式
为：
[0025][0026]其中，i表示光学成像系统的组编号，和分别表示第i组光学成像系统在t时刻和t
‑
1时刻的亮度增强视频帧估计，Y
it
表示第i组光学成像系统在t时刻的亮度增强视频帧，I
ij
表示第i组光学成像系统在j时刻的弱光图像，以及分别表示保真函数，一致性函数及正则化函数，表示的后验概率，D和B分别表示模糊矩阵和下采样矩阵，表示联合分布方差，表示到I
ij
的运动补偿矩阵，且其中ρ为标量，表示和的运动补偿矩阵，和分别表示将图像在水平和垂直方向上分别移动l和h像素，Wide是移动窗口的大小，r为亮度增强视频帧估计使用的原始视频流在t时刻前的弱光图像帧数，b为亮度增强视频帧估计使用的原始视频流在t时刻后的弱光图像帧数。
[0027]进一步地，采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧的计算公式为：
[0028][0029]其中，光学成像系统的组数为三，以及分别表示第一组至第三组光学成本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种幽光高温工业立体内窥镜取像方法，其特征在于，所述方法包括：获取光学成像系统采集的原始视频流，所述光学成像系统用于对工业炉窑内料面进行成像，其中所述光学成像系统的组数大于1；对光学成像系统采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流；提取布料周期内料面下降运动过程中的亮度增强输出视频流的关键帧图像，通过对关键帧图像的时空匹配，获得料面－内窥镜相对位置估计；根据料面－内窥镜相对位置估计，反推虚拟内窥镜的空间位置；根据虚拟内窥镜的空间位置，构建虚实多目相机阵列；基于虚实多目相机阵列，对工业炉窑内料面进行重构，从而获得高炉料面的立体图像。2.根据权利要求1所述的幽光高温工业立体内窥镜取像方法，其特征在于，对光学成像系统采集的原始视频流进行高亮视频合成，获得亮度增强输出视频流包括：根据亮度增强视频帧估计和输入的原始视频流中的弱光图像之间的相似性，计算保真函数；根据亮度增强视频帧估计与前一帧的亮度增强视频帧估计之间的时间一致性，计算一致性函数；根据亮度增强视频帧估计，计算正则化函数；采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，获取与亮度增强视频帧估计对应的亮度增强输出视频帧；根据亮度增强输出视频帧，获得亮度增强输出视频流。3.根据权利要求2所述的幽光高温工业立体内窥镜取像方法，其特征在于，采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，获取与亮度增强视频帧估计对应的亮度增强输出视频帧包括：采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像系统中与亮度增强视频帧估计对应的亮度增强视频帧；根据亮度增强输出视频帧估计和每一组亮度增强视频帧之间的相似性，计算多组保真函数；采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧。4.根据权利要求3所述的幽光高温工业立体内窥镜取像方法，其特征在于，采用最大后验概率方法，融合保真函数，一致性函数及正则化函数，分别计算每一组光学成像系统中与亮度增强视频帧估计对应的亮度增强视频帧的计算公式为：
其中，i表示光学成像系统的组编号，和分别表示第i组光学成像系统在t时刻和t
‑
1时刻的亮度增强视频帧估计，Y
it
表示第i组光学成像系统在t时刻的亮度增强视频帧，I
ij
表示第i组光学成像系统在j时刻的弱光图像，以及分别表示保真函数，一致性函数及正则化函数，表示的后验概率，D和B分别表示模糊矩阵和下采样矩阵，表示联合分布方差，表示到I
ij
的运动补偿矩阵，且其中ρ为标量，表示和的运动补偿矩阵，和分别表示将图像在水平和垂直方向上分别移动l和h像素，Wide是移动窗口的大小，r为亮度增强视频帧估计使用的原始视频流在t时刻前的弱光图像帧数，b为亮度增强视频帧估计使用的原始视频流在t时刻后的弱光图像帧数。5.根据权利要求3所述的幽光高温工业立体内窥镜取像方法，其特征在于，采用最大后验概率方法，对多组保真函数进行加权融合，获得亮度增强输出视频帧的计算公式为：其中，光学成像系统的组数为三，以及分别表示第一组至第三组光学成像系统的亮度增强输出视频帧估计的后验概率，O
1t
、O
2t
以及O
3t
分别表示第一组至第三组光学成像系统的亮度增强输出视频帧的计算结果，D和B分别表示模糊矩阵和
下采样矩阵，σ1、σ2和σ3分别为三组光学成像系统的联合分布标准差，和分别为到和的运动补偿矩阵，和分别为到和的运动补偿矩阵，和分别为到和的运动补偿矩阵，μ1、μ2以及μ3分别为自定义的合成权值，且三个合成权值均大于0，小于1。6.根据权利要求1
...

【专利技术属性】
技术研发人员：陈致蓬，王新羿，桂卫华，阳春华，蒋朝辉，
申请(专利权)人：中南大学，
类型：发明
国别省市：