超分辨数据集、模型与图像获取方法、系统、设备及介质技术方案

本发明专利技术提供了一种超分辨数据集、模型与图像获取方法、系统、设备及介质，所述方法为基于焦距相等且等间距布设于第三相机两侧的第一相机和第二相机分别获取第一低分辨率图像和第二低分辨率图像，基于第三相机获取高分辨率图像后，基于第一低分辨率图像和第二低分辨率图像得到与第三相机共光轴的虚拟相机的第一虚拟低分辨率图像，并将第一虚拟低分辨率图像剪裁得到的与高分辨率图像的尺寸大小相同的第二虚拟低分辨率图像与高分辨率图像构成第一图像对。本发明专利技术基于设计的红外热成像图像采集结构解决因时间推移和空间视角不同而导致高、低分辨图像间存在的场景不匹配问题，有效提高真实场景下超分辨率数据集的构建质量。

【技术实现步骤摘要】

本专利技术涉及红外热成像，特别是涉及一种超分辨数据集、模型与图像获取方法、系统、设备及介质。

技术介绍

1、红外热成像技术可应用于夜视观测、消防救援、火灾检测和电力检测等众多领域，红外热成像超分辨技术作为能提升红外热成像设备的图像质量和细节表现力的关键技术而成为领域内热衷研究的对象。红外热成像超分辨技术通常采用基于深度学习训练得到的超分辨率模型实现，而超分辨率模型的性能效果往往受训练所用超分辨数据集的质量影响。

2、目前在红外热成像超分辨应用场景下，真实场景的超分辨数据集获取方案主要有两种：1)利用变焦镜头进行两倍变焦；2)利用多个相机进行空间对齐，截取高低分辨率。然而，利用变焦镜头进行两倍变焦的方法无法解决时间对场景的影响，导致出现图1所示的t1时刻和t2时刻的图像不匹配和对象偏差问题；同时，利用多个相机进行空间对齐截取的方法无法解决空间视角对场景的影响，又会出现图2所示的因camera1相机和camera2相机的观测面区别导致的图像不匹配问题。因此，亟需提供一种能够提升真实世界场景红外热成像超分辨技术应用效果的超分辨率数据集构建方法。...

【技术保护点】

1.一种超分辨率数据集获取方法，其特征在于，所述方法包括：

2.如权利要求1所述的超分辨率数据集获取方法，其特征在于，所述第三相机的焦距f2为所述第一相机的焦距f1的2n倍，其中，n为正整数；所述第三相机、所述第一相机和所述第二相机的高度相同、姿态一致和镜头焦点齐平。

3.如权利要求1所述的超分辨率数据集获取方法，其特征在于，基于所述第一相机的内参矩阵K1和外参矩阵Pose1与所述第二相机的内参矩阵K2和外参矩阵Pose2，得到所述虚拟相机的参数，基于所述虚拟相机的参数、所述第一低分辨率图像和所述第二低分辨率图像，得到基于所述虚拟相机的第一虚拟低分辨率图像。...

【技术特征摘要】

1.一种超分辨率数据集获取方法，其特征在于，所述方法包括：

2.如权利要求1所述的超分辨率数据集获取方法，其特征在于，所述第三相机的焦距f2为所述第一相机的焦距f1的2n倍，其中，n为正整数；所述第三相机、所述第一相机和所述第二相机的高度相同、姿态一致和镜头焦点齐平。

3.如权利要求1所述的超分辨率数据集获取方法，其特征在于，基于所述第一相机的内参矩阵k1和外参矩阵pose1与所述第二相机的内参矩阵k2和外参矩阵pose2，得到所述虚拟相机的参数，基于所述虚拟相机的参数、所述第一低分辨率图像和所述第二低分辨率图像，得到基于所述虚拟相机的第一虚拟低分辨率图像。

4.如权利要求3所述的超分辨率数据集获取方法，其特征在于，得到所述虚拟相机的参数的步骤包括：

5.如权利要求3或4所述的超分辨率数据集获取方法，其特征在于，所述基于所述虚拟相机的参数、所述第一低分辨率图像和所述第二低分辨率图像，得到基于所述虚拟相机的第一虚拟低分辨率图像的步骤包括：

6.如权利要求5所述的超分辨率数据集获取方法，其特征在于，所述基于所述虚拟相机的内参矩阵k3和外参矩阵pose3对所述第一匹配点集中各个匹配点的位置坐标进行的投影计算，得到所述第一虚拟低分辨率图像的步骤包括：

7.如权利要求1所述的超分辨率数据集获取方法，其特征在于，所述方法还包括：基于所述高分辨率图像对所述第二虚拟低分辨率图像进行的场景对齐，得到第三虚拟低分辨率图像；基于所述第三虚拟低分辨率图像与所述高分辨率图像，构成第二图像对；其中，所述场景对齐的步骤包括：

8.如权利要求7所述的超分辨率数据集获取方法，其特征在于，所述方法还包括：基于所述高分辨率图像对所述第三虚拟低分辨率图像进行的亮度对齐，得到第四虚拟低分辨率图像；基于所述第四虚拟低分辨率图像与所述高分辨率图像，构成第三图像对；其中，所述亮度对齐的步骤包括：

9.一种超分辨率网络模型获取方法，其特征在于，所述方法包括：

10.如权利要求9所述的超分辨率网络模型获取方法，其特征在于，所述第三相机的焦距f2为所述第一相机的焦距f1的2n倍；所述第三相机、所述第一相机和所述第二相机的高度相同、姿态一致和镜头焦点齐平。

11.如权利要求9所述的超分辨率网络模型获取方法，其特征在于，基于所述第一相机的内参矩阵k1和外参矩阵pose1与所述第二相机的内参矩阵k2和外参矩阵pose2，得到所述虚拟相机的参数。

12.如权利要求11所述的超分辨率网络模型获取方法，其特征在于，得到所述虚拟相机的参数的步骤包括：

13.如权利要求11或12所述的超分辨率网络模型获取方法，其特征在于，所述基于与所述第三相机共光轴的虚拟相机参数、所述第一低分辨率图像样本和所述第二低分辨率图像样本，得到基于虚拟相机的第一虚拟低分辨率图像样本的步骤包括：

14.如权利要求13所述的超分辨率网络模型获取方法，其特征在于，所述基于所述虚拟相机的内参矩阵k3和外参矩阵pose3对所述第一样本匹配点集中各个匹配点的位置坐标进行的投影计算，得到所述第一虚拟低分辨率图像样本的步骤包括：

15.如权利要求9所述的超分辨率网络模型获取方法，其特征在于，所述方法还包括：基于所述...

【专利技术属性】
技术研发人员：严鑫，陆家骏，董勇，吴涛，黄泽锷，
申请(专利权)人：先导原创上海新技术研究有限公司，
类型：发明
国别省市：