图像重建模型训练方法、重建方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及机器人视觉技术领域，具体公开了一种图像重建模型训练方法、重建方法、装置、设备及介质，其中，图像重建模型训练方法包括以下步骤：获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；利用初始重建模型根据多个灰度图像信息重建生成多个初步重建图像信息；根据初步重建图像信息和基准图像信息建立对抗判别器；根据初步重建图像信息、基准图像信息和对抗判别器建立损失函数；利用损失函数训练初始重建模型以生成重建模型；该模型训练方法根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化。使得模型训练过程平滑化。使得模型训练过程平滑化。

【技术实现步骤摘要】
图像重建模型训练方法、重建方法、装置、设备及介质


[0001]本申请涉及机器人视觉
，具体而言，涉及一种图像重建模型训练方法、重建方法、装置、设备及介质。

技术介绍

[0002]伴随着我国电力需求的不断增长和科学技术的日新月异，无人机电力巡检这一新型、高效的巡检模式应运而生。相比于传统人工巡检方式，机器人（移动式机器人或无人机）电力巡检具有安全性高、巡检效率高和巡检效果好等优势。
[0003]为了满足无人机电力巡检中电力线故障检测、电力线图像记录、机器人自主避障、定位和路径规划等功能，机器人的机器视觉在智能化电力巡检中显得极为重要。
[0004]目前机器人视觉一般采用双目RGB相机、RGB
‑
D相机和红外结合可见光的相机等基于帧图像的相机方案，根据上述相机方案获取的视觉图像存在常常因为环境变化、机器人移动等原因产生的分辨率不足、清晰度不足等问题。
[0005]针对上述问题，目前尚未有有效的技术解决方案。

技术实现思路

[0006]本申请的目的在于提供一种图像重建模型训练方法、重建方法、装置、设备及介质，以在低延迟的情况下获取超分辨率图像。
[0007]第一方面，本申请提供了一种图像重建模型训练方法，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，所述方法包括以下步骤：获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；利用所述损失函数训练所述初始重建模型以生成所述重建模型。
[0008]本申请的图像重建模型训练方法，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像。
[0009]所述的图像重建模型训练方法，其中，所述初始重建模型包括先后设置的多个卷积层及多个反卷积层，所述卷积层数量大于所述反卷积层。
[0010]该示例的图像重建模型训练方法通过多个卷积层对灰度图像信息进行卷积特征提取能逐步去除灰度图像信息中不必要特征且生成卷积特征图像，通过反卷积层的上采样处理能将卷积特征图像逐步转变为分辨率与基准图像信息分辨率一致的图像，以能与基准图像信息进行对抗比较。
[0011]所述的图像重建模型训练方法，其中，所述对抗判别器包括第一对抗判别器和第二对抗判别器，所述第一对抗判别器用于对比所述初步重建图像信息和在前的所述基准图像信息，所述第二对抗判别器用于对比所述初步重建图像信息和在后的所述基准图像信息。
[0012]该示例的图像重建模型训练方法设计第一对抗判别器和第二对抗判别器分别判别初始重建模型重建生成的初步重建图像信息与两个基准图像信息的差异程度，应当理解的是，在该示例中，损失函数包含了第一对抗判别器和第二对抗判别器的判别结果，使得最终训练获取的重建模型基于上述投入的多个灰度图像信息重建出的超分辨率图像与两个基准图像信息均高度相似，以提高重建获取的超分辨率图像的真实度。
[0013]所述的图像重建模型训练方法，其中，所述根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数的步骤包括：根据所述初步重建图像信息、所述基准图像信息和所述第一对抗判别器建立第一目标函数；根据所述初步重建图像信息、所述基准图像信息和所述第二对抗判别器建立第二目标函数；基于预设权重根据所述第一目标函数和所述第二目标函数建立所述损失函数。
[0014]所述的图像重建模型训练方法，其中，所述灰度图像信息基于双目DAVIS事件相机采集生成。
[0015]所述的图像重建模型训练方法，其中，每个所述初步重建图像信息为通过初始重建模型基于至少一个所述灰度图像信息重建生成。
[0016]第二方面，本申请还提供了一种图像重建方法，用于重建获取超分辨率图像，所述方法包括以下步骤：利用上述第一方面提供的所述的图像重建模型训练方法训练获取的所述重建模型重建待处理的灰度图像信息，生成所述超分辨率图像。
[0017]本申请的图像重建方法，利用上述第一方面训练获取的重建模型进行图像重建，能根据高频的灰度图像信息生成高频的超分辨率图像，能作为机器人视觉数据使用，使得机器人能在低延迟、高动态范围的前提下迅速获取无动态模糊超分辨率图像，从而提高机器人的环境识别精度，可应用在各类移动机器人中。
[0018]第三方面，本申请还提供了一种图像重建模型训练装置，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，所述装置包括：获取模块，用于获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；初步重建模块，用于利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；判别器模块，用于根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；损失模块，用于根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；训练模块，用于利用所述损失函数训练所述初始重建模型以生成所述重建模型。
[0019]本申请的图像重建模型训练装置，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像。
[0020]第四方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面或第二方面提供的所述方法中的步骤。
[0021]第五方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面或第二方面提供的所述方法中的步骤。
[0022]由上可知，本申请提供了一种图像重建模型训练方法、重建方法、装置、设备及介质，其中，图像重建模型训练方法，其中，图像重建模型训练方法利用作为先验图像的基准图像信息和基于初始重建模型根据灰度图像信息重建的初步重建图像信息建立对抗判别器，根据该对抗判别器具有对抗特点的判别结果建立损失函数以进行模型训练，使得初始重建模型的重建效果快速靠近真实图片，使得模型训练过程平滑化，训练生成的重建模型能根据高频采集的图像信息快速重建生成超分辨率图像，以在低成本、低延迟前提下实现了超分辨率图像的重建。
附图说明
[0023]图1为本申请实施例提供的图像重建模型训练方法的流程图。
[0024]图2为初始重建模型的网络层结构示意图。
[0025]图3为初始重建模型、第一对抗判别器及第二对抗判别器的连接结构示意图。
[0026]图4为本申请实施例提供的图像重建模型训练装置的结构示意图。
[0027]图5为本申请实施例提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像重建模型训练方法，用于训练初始重建模型以获取能重建生成超分辨率图像的重建模型，其特征在于，所述方法包括以下步骤：获取两个基准图像信息及拍摄于两个基准图像信息之间的多个灰度图像信息；利用所述初始重建模型根据多个所述灰度图像信息重建生成多个初步重建图像信息；根据所述初步重建图像信息和所述基准图像信息建立对抗判别器；根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数；利用所述损失函数训练所述初始重建模型以生成所述重建模型。2.根据权利要求1所述的图像重建模型训练方法，其特征在于，所述初始重建模型包括先后设置的多个卷积层及多个反卷积层，所述卷积层数量大于所述反卷积层。3.根据权利要求1所述的图像重建模型训练方法，其特征在于，所述对抗判别器包括第一对抗判别器和第二对抗判别器，所述第一对抗判别器用于对比所述初步重建图像信息和在前的所述基准图像信息，所述第二对抗判别器用于对比所述初步重建图像信息和在后的所述基准图像信息。4.根据权利要求3所述的图像重建模型训练方法，其特征在于，所述根据所述初步重建图像信息、所述基准图像信息和所述对抗判别器建立损失函数的步骤包括：根据所述初步重建图像信息、所述基准图像信息和所述第一对抗判别器建立第一目标函数；根据所述初步重建图像信息、所述基准图像信息和所述第二对抗判别器建立第二目标函数；基于预设权重根据所述第一目标函数和所述第二目标函数建立所述损失函数。5.根据权利要求1所述的图像重建模型训练方法，其特征在于，所述灰度图像信息基于双目DAVIS事件相机采集生成。6.根据权利要求1所述的图...

【专利技术属性】
技术研发人员：张晟东，邓涛，张立华，李志建，蔡维嘉，王济宇，古家威，
申请(专利权)人：季华实验室，
类型：发明
国别省市：