【技术实现步骤摘要】
基于神经网络的单深度相机深度图实时增强方法及装置
本专利技术涉及计算机视觉和计算机图形学
，特别涉及一种基于神经网络的单深度相机深度图实时增强方法及装置。
技术介绍
近年来消费级深度相机逐渐普及，特别是最新的IphoneX中更是内置了基于结构光的深度相机。这使得从三维扫描到虚拟现实，混合现实中很多崭新移动端应用成为可能。尽管传感器采集的原始数据的分辨率和质量均有提升，现阶段从消费级深度相机得到的深度图仍然有很多的噪声，也缺乏足够的细节。例如体三维重建是计算机图形学和计算机视觉领域的重点问题。高质量的人体三维模型在影视娱乐、人口数据统计分析等领域有着广泛的应用前景和重要的应用价值。但是高质量人体三维模型的获取通常依靠价格昂贵的激光扫描仪或者多相机阵列系统来实现，虽然精度较高，但是也显著存在着无法实时，成本高等缺点，无法普及到普通民众日常生活中。有很多方法利用高分辨率RGB图像中的高频信息，同时去除深度传感器特有的大量结构化噪声。传统的类双边滤波方法无法在增强细节的同时保证深度图的真实性，由明暗恢复物体的三维形状的方法通常需要复杂的优化算法且对特定的输入失效，基...
【技术保护点】
1.一种基于神经网络的单深度相机深度图实时增强方法，其特征在于，包括以下步骤：通过深度相机采集样本的深度图像和RGB图像，根据标定的深度相机内外参矩阵将所述深度图像与所述RGB图像对齐，以及将所述RGB图像转换到灰度空间并进行放射变换，得到与所述深度图像的特征对齐的灰度图；构建前向神经网络和损失函数，将所述深度图像和所述灰度图输入所述前向神经网络进行训练，并根据所述损失函数反向传播更新所述前向神经网络的权重；将所述灰度图输入到训练更新所述权重后的前向神经网络以输出增强深度图像。
【技术特征摘要】
1.一种基于神经网络的单深度相机深度图实时增强方法，其特征在于，包括以下步骤：通过深度相机采集样本的深度图像和RGB图像，根据标定的深度相机内外参矩阵将所述深度图像与所述RGB图像对齐，以及将所述RGB图像转换到灰度空间并进行放射变换，得到与所述深度图像的特征对齐的灰度图；构建前向神经网络和损失函数，将所述深度图像和所述灰度图输入所述前向神经网络进行训练，并根据所述损失函数反向传播更新所述前向神经网络的权重；将所述灰度图输入到训练更新所述权重后的前向神经网络以输出增强深度图像。2.根据权利要求1所述的方法，其特征在于，所述放射变换为：Zcpc＝RZdpd+T其中，(Rc，Tc)和(Rd，Td)分别为标定的彩色和深度传感器的外参矩阵，Kc和Kd分别为标定的彩色和深度传感器的内参矩阵，Zd为像素的深度值，Zc表示彩色或灰度图像上对应点的齐次坐标值。3.根据权利要求1所述的方法，其特征在于，所述损失函数公式为：L(Ddt，D，I)＝λshlsh+λfidlfid+λsmolsmo其中，Ddt为所述深度图，D为所述深度图像，I为所述灰度图像；lsh为光照损失项，根据增强的深度图Ddt计算的法向图为Ndt，lsh项定义为：其中，B(·)为辐照度计算函数，l*是估计的光照系数，R是反照率图，I为所述灰度图，表示梯度的差值；lfid为保值损失项，定义为：lfid(Ddt，D)＝|Ddt-D|1lsmo为平滑损失项，定义为Ddt中各向异性的全变分：4.根据权利要求1所述的方法，其特征在于，所述RGB图像辅助所述深度图像去噪并增强的所述前向神经网络中，包含多个相同或相邻尺度特征图经过卷积后输出特征图的堆叠操作。5.根据权利要求3所述的方法，其特征在于，通过所述深度图像估计所述光照系数，根据所述光照系数计算所述光照损失项的数值。6.一种基于神经网络...
【专利技术属性】
技术研发人员：刘烨斌，闫石，戴琼海，方璐，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。