【技术实现步骤摘要】
一种结合高低频分解和两级融合策略的深度图去噪方法
[0001]本专利技术属于图像质量增强领域，具体涉及的是一种结合高低频分解和两级融合策略的深度图去噪方法。
技术介绍
[0002]近年来，在计算机视觉任务的各种实际应用中，场景的深度信息发挥着极其重要的作用。很多研究工作已经表明深度信息能够显著地提升各种任务的性能，如汽车车牌号的识别和检测、面向自动驾驶的障碍物识别、自然场景的三维重建等。现如今，消费级别的深度相机如ToF、Kinect等能够很容易地获得深度图。但是，这些深度图的分辨率远远小于对应彩色图的分辨率，往往包含了很多的噪声像素点和无效的深度值，从而导致拍摄到的深度图质量不能满足实际应用需求。为了解决该问题，目前有很多的学者致力于研究深度图去噪方法。
[0003]图像的去噪方法大致可以分为两类：传统的图像去噪方法和基于深度学习的图像去噪方法。早期的图像去噪方法往往只利用图像的局部空间相关性来实现图像的加权求和滤波。这些方法往往无法很好地恢复图像的细节信息。例如，钟等人提出了一种改进的非局部均值滤波方法。在图像噪...
【技术保护点】
【技术特征摘要】
1.一种结合高低频分解和两级融合策略的深度图去噪方法，其特征在于：包括以下步骤：步骤1)训练数据构建步骤2)基于高斯滤波的高低频分解模块使用基于高斯滤波的高低频分解模块将含有噪声的深度图分成两个部分：深度图的低频分量X
low
和深度图的高频分量X
high
＝X
‑
X
low
，并将它们作为基于多尺度两级融合策略的特征提取模块中两个支路的输入，即低频特征提取自编码器网络和高频特征提取自编码器网络；步骤3)基于多尺度两级融合策略的特征提取模块在基于多尺度两级融合策略的特征提取模块中，低频特征提取自编码器网络的下采样支路包括四个阶段，第一阶段使用一个序列化的操作CSC去提取深度图低频分量的低级特征，CSC包括卷积层、Swish激活函数和卷积层，然后，利用一个残差卷积ResConv进一步提取深度图低频分量的特征以获得在第二阶段中，首先，使用最大池化层Avgpool对进行下采样来降低特征图的分辨率，其次，使用一个序列化地操作包括卷积层、Swish激活函数和卷积层，去提取深度图低频分量的低级特征，然后，利用一个残差卷积进一步提取深度图低频分量的特征以获得按照第二阶段相同操作，在下采样支路中低频特征提取自编码器网络的第三阶段和第四阶段的输出和在低频特征提取自编码器网络的上采样支路中，第一阶段首先使用一个序列化的操作TCS包括一个转置卷积层、一个卷积层和一个Swish激活函数对进行上采样来提升特征图的分辨率，其次，通过跳跃连接将上采样之后的与下采样支路中第三阶段获得的合并，即将这些特征图沿着通道维度进行串联，该操作可以表示为Concat，然后，采用一个残差卷积ResConv进一步提取特征，接下来，将残差卷积输出的特征输入到一个序列化的模块CSC，该模块含有两个卷积层和一个激活函数Swish，它的输出为以此类推，在低频特征提取自编码器网络的上采样支路中，第二阶段输入为合并的是下采样支路中第二阶段获得的最终输出为第三阶段输入为合并的是下采样支路中第二阶段获得的最终输出为基于多尺度两级融合策略的特征提取模块的高频特征提取自编码器网络拓扑结构与低频特征提取自编码器网络结构一样，它们的差异之处在于替换成步骤3)多尺度两级融合策略在高频和低频特征提取自编码器网络的下采样支路中，第一级融合通过互补的特征加权融合机制将高频的不同尺度特征和低频的不同尺度特征进行聚合，得到低级的高低频互补增强特征，在下采样支路第一阶段的尾端，将获得的和进行融合，以获得融合特征图F1，以此类推，在下采样支路第二阶段的尾端、第三阶段的尾端和第四阶段的尾端，将深度图高频分量特征和低频分量特征进行加权融合，以获得融合特征图F2、F3和F4；
同样地，在低频特征提取自编码器网络上采样支路中，第二级融合通过采用互补的特征加权融合机制将高级的低频特征与高低频互补增强特征进行合并，在输入到上采样支路第一阶段之前将和F4进行融合，以获得融合特征图接下来，将和相加融合获得低频特征提取自编码器网络上采样支路第一阶段的输入以此类推，在低频特征提取自编码器网络的上采样支路中可得到和高频特征提取自编码器网络第二级融合拓扑结构和低频特征提取自编码器网络第二级融合拓扑结构一样，它们的差异之处在于替换成步骤5)高低频合并重...
【专利技术属性】
技术研发人员：赵利军，王可，张晋京，任康，王昊，史炳贤，王安红，
申请(专利权)人：太原科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。