一种双目热成像系统及超分辨率图像获取方法技术方案

本申请公开了一种双目热成像系统及超分辨率图像获取方法，方法包括：获取多张可见光图像以及多张热成像图像；将热成像图像进行退化处理，得到退化热成像图像；将可见光图像以及退化热成像图像作为超分辨率网络的输入样本，将热成像图像作为训练标签；将插值后的退化热成像图像与可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合可见光图像的纹理特征以及退化热成像图像的内容特征的纹理迁移特征图；提取退化热成像图像的浅层特征，将浅层特征与纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。本申请解决了传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
一种双目热成像系统及超分辨率图像获取方法


[0001]本申请涉及热成像
，尤其涉及一种双目热成像系统及超分辨率图像获取方法。

技术介绍

[0002]纹理迁移重构(Texture Transformer based Reconstruction)又称风格迁移重构(Style Transfer Reconstruction)，是一种自动将给定样本的样式化纹理迁移到目标图像的神经网络成像技术，近年来在计算机图像风格化迁移领域引发了广泛的关注，产生了许多令人印象深刻的样式化迁移效果。典型的神经网络图像超分辨率是通过学习网络学习低分辨率(LR)特征与高分辨率(HR) 特征之间的映射关系，将低分辨率特征映射到高分辨率特征空间，并定义联合损失函数，均衡提升重建图像质量。在纹理参考重构中，通常使用高分辨率参考(Ref)图像来帮助共享相似视点的低分辨率(LR)图像进行超分辨率重构。算法的输入图像包含待重构低分辨率图像以及可见光纹理参考图像。待重构低分辨率图像负责提供图像内容特征，纹理参考图像则进行纹理建模，并通过纹理匹配网络与图像内容特征进行融合。由于纹理参考图像具备的高分辨率纹理细节，使得纹理参考重构技术在图像超分辨率重构领域具有巨大的应用价值。
[0003]热成像系统是一种通过红外传感器探测物体红外辐射，并经由信号处理、光电转化等方式，将目标物体温度分布可视化的系统，其具备测量精确量化、实时显示以及非接触式测量等功能，在设备检测、自然灾害监控和医疗体检领域发挥着举足轻重的作用。热成像系统的主体结构由光机组件、调焦/变倍组件、内部非均匀性校正组件、成像电路组件等硬件以及计算机图像处理软件组成。传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高。而纹理参考重构算法作为一种新型的神经网络重构技术，能有效解决传统热成像系统中存在的问题，如通过超分辨率技术实现低成本的高分辨率图像获取、增强图像对比度以及细化纹理细节等，能使热成像系统的应用领域进一步扩充。因此将纹理参考重构技术应用于热成像系统具有十分重要的意义。

技术实现思路

[0004]本申请提供了一种双目热成像系统及超分辨率图像获取方法，解决了传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高的技术问题。
[0005]有鉴于此，本申请第一方面提供了一种双目热成像系统，所述系统包括：可见光图像采集装置、热成像图像采集装置、用于控制所述可见光图像采集装置和热成像图像采集装置的控制器；
[0006]所述可见光图像采集装置用于采集可见光图像；
[0007]所述热成像图像采集装置用于采集热成像图像；
[0008]所述控制器用于控制所述可见光图像采集装置以及所述热成像图像采集装置，并与远程终端进行通信，使得所述远程终端通过所述控制器获取所述可见光图像采集装置以
及所述热成像图像采集装置采集的图像数据。
[0009]可选的，所述可见光图像采集装置由依次连接的可见光物镜，可见光对焦环，可见光镜筒，可见光变焦环，可见光传感器以及可见光传感器底座构成；
[0010]所述热成像图像采集装置由依次连接的热成像物镜，热成像对焦环，热成像镜筒，热成像变焦环，热成像传感器以及热成像传感器底座构成。
[0011]本申请第二方面提供一种超分辨率图像获取方法，所述方法包括：
[0012]获取多张可见光图像以及多张热成像图像；
[0013]将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像；
[0014]将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像；
[0015]将裁剪后的所述可见光图像以及所述退化热成像图像作为超分辨率网络的输入样本，将所述热成像图像作为超分辨率网络的训练标签，所述超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；
[0016]将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致；
[0017]将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图；
[0018]提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。
[0019]可选的，所述将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像，包括：
[0020]裁剪出所述可见光图像的中心区域，使得裁剪得到的所述可见光图像的尺寸与所述热成像图像的尺寸相同。
[0021]可选的，所述将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像，包括：
[0022]将所述热成像图像依次进行模糊核卷积，平均池化下采样以及添加高斯噪声处理，得到退化热成像图像。
[0023]可选的，所述将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，包括：
[0024]将所述退化热成像图像进行双三次插值，使得所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，得到的双三次插值热成像图像为：
[0025][0026]上式中v表示像素行数的偏差，u表示像素列数的偏差，S(row
‑
v)与 S(col
‑
u)是卷积插值公式。
[0027]可选的，所述将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图，包括：
[0028]提取所述退化热成像图像的内容特征以及所述可见光图像的参考纹理特征
[0029]将提取得到的内容特征图和参考纹理特征图都等分为两部分都等分为两部分
[0030]将所述可见光图像的参考纹理特征图融合到所述退化热成像图像的内容特征图中，得到第一纹理迁移特征图
[0031]将所述第一纹理迁移特征图分别与所述参考纹理特征图以及所述内容特征图进行拼接并提取特征，得到第二内容特征图与第二纹理参考特征
[0032]将与所述第一纹理迁移特征图拼接并提取特征后的所述参考纹理特征图以及所述内容特征图都等分为两部分
[0033]将所述可见光图像的参考纹理特征图融合到所述退化热成像图像的内容特征图中，得到第二纹理迁移特征图
[0034]将所述第二纹理迁移特征图分别与所述参考纹理特征图以及所述内容特征图进行拼接并提取特征，得到第三内容特征图与第三纹理参考特征
[0035]将所述可见光图像的参考纹理特征图融合到所述退化热成像图像的内容特征图中，得到第三纹理迁移特征图
[0036]可选的，在所述将所述可见光图像的参考纹理特征图融合到所述退化热成像图像的内容特征图中，得到第一纹理迁移特征图之前还包括：
[0037]分别对所述退化热成像图像的内容特征以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目热成像系统，其特征在于，包括可见光图像采集装置、热成像图像采集装置、用于控制所述可见光图像采集装置和热成像图像采集装置的控制器；所述可见光图像采集装置用于采集可见光图像；所述热成像图像采集装置用于采集热成像图像；所述控制器用于控制所述可见光图像采集装置以及所述热成像图像采集装置，并与远程终端进行通信，使得所述远程终端通过所述控制器获取所述可见光图像采集装置以及所述热成像图像采集装置采集的图像数据。2.根据权利要求1所述的双目热成像系统，其特征在于，所述可见光图像采集装置由依次连接的可见光物镜，可见光对焦环，可见光镜筒，可见光变焦环，可见光传感器以及可见光传感器底座构成；所述热成像图像采集装置由依次连接的热成像物镜，热成像对焦环，热成像镜筒，热成像变焦环，热成像传感器以及热成像传感器底座构成。3.一种超分辨率图像获取方法，其特征在于，包括：获取多张可见光图像以及多张热成像图像；将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像；将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像；将裁剪后的所述可见光图像以及所述退化热成像图像作为超分辨率网络的输入样本，将所述热成像图像作为超分辨率网络的训练标签，所述超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致；将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图；提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。4.根据权利要求1所述的超分辨率图像获取方法，其特征在于，所述将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像，包括：裁剪出所述可见光图像的中心区域，使得裁剪得到的所述可见光图像的尺寸与所述热成像图像的尺寸相同。5.根据权利要求1所述的超分辨率图像获取方法，其特征在于，所述将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像，包括：将所述热成像图像依次进行模糊核卷积，平均池化下采样以及添加高斯噪声处理，得到退化热成像图像。6.根据权利要求1所述的超分辨率图像获取方法，其特征在于，所述将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，包括：将所述退化热成像图像进行双三次插值，使得所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，得到的双三次插值热成像图像为：
上式中v表示像素行数的偏差，u表示像素列数的偏差，S(row
‑
v)与S(col
‑
u)是卷积插值公式。7.根据权利要求1所述的超分辨率图像获取方法，其特征在于，...

【专利技术属性】
技术研发人员：程良伦，吴宇彬，吴衡，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：