深度图像超分辨率方法、训练方法及装置、设备、介质制造方法及图纸

本申请公开了一种深度图像超分辨率方法、训练方法及装置、设备、介质，通过设置多个第一基本单元，且前一个第一基本单元的输出图像作为下一个第一基本单元的输入图像，能够使得下一个第一基本单元获取到上一个第一基本单元确定的将输入图像转换为输出图像所需的信息，进而通过多次迭代，使得最终确定的恢复图像与待处理图像对应的标准图像越来越接近。

【技术实现步骤摘要】
深度图像超分辨率方法、训练方法及装置、设备、介质
本公开涉及人工智能技术，尤其涉及深度图像超分辨率技术。
技术介绍
深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像超分辨率是指由一幅低分辨率深度图像恢复出高分辨率图像。目前，可以基于插值的实现方式、传统机器学习的实现方式以及深度学习的实现方式进行深度图像超分辨率。但是，基于插值的实现方式恢复出的深度图像物体边界平滑，导致恢复出的深度图像效果很差。而传统机器学习以及深度学习的实现方式中，不能充分的描述低分辨率深度图像与高分辨率深度图像之间的映射模型，导致恢复的深度图像的不够准确。因此，现有技术中将低分辨率深度图像恢复为高分辨率深度图像的方案存在一定的局限性，不能准确的恢复出深度图像中包括的信息。
技术实现思路
本实施例提供的深度图像超分辨率方法、训练方法及装置、设备、介质，能够通过渐进式的方式对原图像进行处理，以得到包含信息更加丰富的目标图像，从而提高深度图像回复效果。第本文档来自技高网...

【技术保护点】
1.一种深度图像超分辨率方法，其特征在于，模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；/n所述方法包括：/n将待处理深度图像输入模型链式结构中的第一个第一基本单元，以使所述第一基本单元确定一恢复图像；/n基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；/n将所述链式结构中最后一个第一基本单元确定的恢复图像确定为与所述待处理深度图像对应的目标图像。/n

【技术特征摘要】
1.一种深度图像超分辨率方法，其特征在于，模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；
所述方法包括：
将待处理深度图像输入模型链式结构中的第一个第一基本单元，以使所述第一基本单元确定一恢复图像；
基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
将所述链式结构中最后一个第一基本单元确定的恢复图像确定为与所述待处理深度图像对应的目标图像。


2.根据权利要求1所述的方法，其特征在于，所述第一基本单元对输入的图像的处理过程包括：
提取输入的图像包括的第一图像特征、第二图像特征；
将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征；
根据第一高分辨率特征确定输入的图像对应的高频信息、根据第二高分辨率特征确定输入的图像对应的低频信息；
将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像。


3.根据权利要求2所述的方法，其特征在于，
所述根据高分辨率特征确定输入的图像对应的高频信息，包括：
通过多个第一卷积层对所述第一高分辨率特征进行卷积处理得到第一卷积结果，根据所述第一卷积结果确定所述输入恢复图像对应的高频信息；
通过多个第二卷积层对所述低分辨率特征进行卷积处理得到第二卷积结果，根据所述第二卷积结果确定所述输入恢复图像对应的低频信息。


4.根据权利要求3所述的方法，其特征在于，每个卷积层中包括多个通道，每个通道对应一权重值；所述权重值是预先训练得到的。


5.根据权利要求2所述的方法，其特征在于，所述将所述高频信息、所述低频信息与输入的图像进行累加得到输出的恢复图像，包括：
将所述高频信息、所述低频信息与输入的图像进行像素级累加，得到所述输出恢复图像。


6.一种用于深度图像超分辨率的模型的训练方法，其特征在于，预先搭建模型，所述模型包括多个第一基本单元；多个所述第一基本单元依次连接形成链式结构，一个第一基本单元的输出数据作为与其连接的下一个第一基本单元的输入数据；
所述方法包括：
将训练图像输入模型链式结构中的第一个第一基本单元，以使所述第一基本单元确定与所述训练图像对应的一恢复图像；
基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元，以使下一个第一基本单元确定一恢复图像，并继续执行基于所述模型的链式结构，将所述恢复图像输入下一个第一基本单元的步骤；
通过所述链式结构中的最后一个第一基本单元确定与所述训练数据对应的目标图像；
比对所述训练图像对应的标准图像与最后一个所述第一基本单元确定的标准图像，和/或比对所述训练图像对应的标准图像与多个所述第一基本单元确定的恢复图像，并根据比对结果修正所述第一基本单元中的参数。


7.根据权利要求6所述的方法，其特征在于，所述第一基本单元对输入的图像的处理过程包括：
根据当前提取参数提取输入的图像包括的第一图像特征、第二图像特征；
根据当前映射关系将所述第一图像特征映射为第一高分辨率特征、将所述第二图像特征映射为第二高分辨率特征；
根据第一高分辨率特征确定输入的图像对应的高频信息，根据第二高分辨率特征确定输入的图像对应的低频信息；
将所述高频信息、所述低频信息与所述输入的图像进行累加得到输出图像。


8.根据权利要求7所述的方法，其特征在于，所述根据第一高分辨率特征确定输入的图像对应的高频信息，根据第二高分辨率特征确定输入的图像对应...

【专利技术属性】
技术研发人员：宋希彬，张良俊，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11