一种双目热成像系统及超分辨率图像获取方法技术方案

本申请公开了一种双目热成像系统及超分辨率图像获取方法，方法包括：获取多张可见光图像以及多张热成像图像；将热成像图像进行退化处理，得到退化热成像图像；将可见光图像以及退化热成像图像作为超分辨率网络的输入样本，将热成像图像作为训练标签；将插值后的退化热成像图像与可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合可见光图像的纹理特征以及退化热成像图像的内容特征的纹理迁移特征图；提取退化热成像图像的浅层特征，将浅层特征与纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。本申请解决了传统的热成像系统图像对比度低，分辨细节较差，且获取高分辨率图像成本极高的技术问题。技术问题。技术问题。

【技术实现步骤摘要】
一种双目热成像系统及超分辨率图像获取方法


[0001]本申请涉及热成像
，尤其涉及一种双目热成像系统及超分辨率图像获取方法。

技术介绍

[0002]纹理迁移重构(Texture Transformer based Reconstruction)又称风格迁移重构(Style Transfer Reconstruction)，是一种自动将给定样本的样式化纹理迁移到目标图像的神经网络成像技术，近年来在计算机图像风格化迁移领域引发了广泛的关注，产生了许多令人印象深刻的样式化迁移效果。典型的神经网络图像超分辨率是通过学习网络学习低分辨率(LR)特征与高分辨率(HR) 特征之间的映射关系，将低分辨率特征映射到高分辨率特征空间，并定义联合损失函数，均衡提升重建图像质量。在纹理参考重构中，通常使用高分辨率参考(Ref)图像来帮助共享相似视点的低分辨率(LR)图像进行超分辨率重构。算法的输入图像包含待重构低分辨率图像以及可见光纹理参考图像。待重构低分辨率图像负责提供图像内容特征，纹理参考图像则进行纹理建模，并通过纹理匹配网络与图像内容特征进行融合。由于纹理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种双目热成像系统，其特征在于，包括可见光图像采集装置、热成像图像采集装置、用于控制所述可见光图像采集装置和热成像图像采集装置的控制器；所述可见光图像采集装置用于采集可见光图像；所述热成像图像采集装置用于采集热成像图像；所述控制器用于控制所述可见光图像采集装置以及所述热成像图像采集装置，并与远程终端进行通信，使得所述远程终端通过所述控制器获取所述可见光图像采集装置以及所述热成像图像采集装置采集的图像数据。2.根据权利要求1所述的双目热成像系统，其特征在于，所述可见光图像采集装置由依次连接的可见光物镜，可见光对焦环，可见光镜筒，可见光变焦环，可见光传感器以及可见光传感器底座构成；所述热成像图像采集装置由依次连接的热成像物镜，热成像对焦环，热成像镜筒，热成像变焦环，热成像传感器以及热成像传感器底座构成。3.一种超分辨率图像获取方法，其特征在于，包括：获取多张可见光图像以及多张热成像图像；将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像；将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像；将裁剪后的所述可见光图像以及所述退化热成像图像作为超分辨率网络的输入样本，将所述热成像图像作为超分辨率网络的训练标签，所述超分辨率网络包括递进式纹理迁移网络以及跨尺度残差聚合网络；将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致；将插值后的所述退化热成像图像与裁剪后的所述可见光图像输入递进式纹理迁移网络中进行纹理迁移，得到融合所述可见光图像的纹理特征以及所述退化热成像图像的内容特征的纹理迁移特征图；提取所述退化热成像图像的浅层特征，将所述浅层特征与所述纹理迁移特征图输入到跨尺度残差聚合网络，得到热成像超分辨率红外图像。4.根据权利要求1所述的超分辨率图像获取方法，其特征在于，所述将所述可见光图像以及所述热成像图像裁剪成相同尺寸的图像，包括：裁剪出所述可见光图像的中心区域，使得裁剪得到的所述可见光图像的尺寸与所述热成像图像的尺寸相同。5.根据权利要求1所述的超分辨率图像获取方法，其特征在于，所述将裁剪后的所述热成像图像进行退化处理，得到退化热成像图像，包括：将所述热成像图像依次进行模糊核卷积，平均池化下采样以及添加高斯噪声处理，得到退化热成像图像。6.根据权利要求1所述的超分辨率图像获取方法，其特征在于，所述将所述退化热成像图像进行插值，使得插值后的所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，包括：将所述退化热成像图像进行双三次插值，使得所述退化热成像图像的尺寸与裁剪后的所述可见光图像尺寸一致，得到的双三次插值热成像图像为：
上式中v表示像素行数的偏差，u表示像素列数的偏差，S(row
‑
v)与S(col
‑
u)是卷积插值公式。7.根据权利要求1所述的超分辨率图像获取方法，其特征在于，...

【专利技术属性】
技术研发人员：程良伦，吴宇彬，吴衡，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：