深度数据的处理方法、装置及可读存储介质制造方法及图纸

本发明专利技术实施例提供一种深度数据的处理方法、装置及可读存储介质。本发明专利技术方法实施例中，基于彩色影像确定基准影像，基于第一深度影像生成与基准影像分辨率一致的第二深度影像，基于第二深度影像生成视差标记矩阵mask，基于所述视差标记矩阵mask，获得深度数据。通过将飞行时间法相机获取的深度影像引入到双目密集匹配过程中，减少了各像素视差搜索范围，进而减少了计算量，实现了快速深度恢复，同时能够适应低纹理场景，提高了深度数据的精度。

【技术实现步骤摘要】
深度数据的处理方法、装置及可读存储介质
本专利技术涉及机器视觉
，尤其涉及一种深度数据的处理方法、装置及可读存储介质。
技术介绍
随着科学技术的不断发展，3D相机不仅能获得平面图像，还可以获得拍摄对象的深度信息。其能够实时获取环境物体深度信息、三维尺寸以及空间信息，为动作捕捉、三维建模、室内导航与定位等场景提供了技术支持。如动作捕捉识别、人脸识别、自动驾驶领域的三维建模、巡航和避障，工业领域的零件扫描检测分拣，安防领域监控、人数统计等。目前市面上3D相机深度信息成像方案包括结构光、双目立体视觉和飞行时间法(TOF，TimeofFlight)三种。结构光通常采用特定波长的不可见的红外激光作为光源，它发射出来的光经过一定的编码投影在物体上，通过一定算法来计算返回编码图案的畸变来得到物体的位置和深度信息。结构光技术是主动光源，容易受环境光干扰，室外体验差，随着距离增加，深度数据的精度会变差；飞行时间法是通过给目标连续发射激光脉冲，然后用传感器接收从反射光线，通过探测光脉冲的飞行往返时间来得到确切的目标距离。飞行时间法检测距离远，但对设备本文档来自技高网...

【技术保护点】
1.一种深度数据的处理方法，其特征在于，包括：/n获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像；/n基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像；/n基于所述第二深度影像生成对应的视差标记矩阵mask；/n基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据。/n

【技术特征摘要】
1.一种深度数据的处理方法，其特征在于，包括：
获取目标物体影像，所述目标物体影像包括飞行时间法相机获取的第一深度影像和左右彩色相机分别获取的第一彩色影像和第二彩色影像；
基于所述第一彩色影像和第二彩色影像确定基准影像和参考影像，将所述第一深度影像映射到彩色相机坐标系下，生成与所述基准影像分辨率一致的第二深度影像；
基于所述第二深度影像生成对应的视差标记矩阵mask；
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据。


2.根据权利要求1所述的深度数据的处理方法，其特征在于，所述基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得各像素点对应的深度数据，具体包括：
基于所述基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价；
基于所述基准影像上各像素点的路径代价获得各像素点对应的视差匹配代价；
基于所述视差匹配代价获得各像素点对应的视差；
基于所述各像素点对应的视差获得各像素点对应的深度数据。


3.根据权利要求2所述的深度数据的处理方法，其特征在于，所述基于基准影像上各像素点对应的视差标记矩阵mask的矩阵值，获得所述各像素点的路径代价，具体包括：
基于当前像素的匹配代价、路径上前一个像素在当前视差处的路径代价、路径上前一个像素在当前视差前一视差处的路径代价、路径上前一个像素在当前视差后一视差处的路径代价以及路径上前一个像素路径代价的最小值获取当前像素的路径代价：
影像中某一像素p，视差为d，沿方向为r的路径代价定义为：
Lr(p，d)＝CSAD(p，d)+min(Lr(p-r，d)，Lr(p-r，d-1)+P1，Lr(p-r，d+1)+P1，mini(Lr(p-r，i))+P2)-mini(Lr(p-r，i))；
式中，CSAD(p，d)为像素p的匹配代价，Lr(p-r，d)为沿方向为r的路径上前一个像素在视差d处的路径代价，Lr(p-r，d-1)为沿方向为r的路径上前一个像素在视差为d-1处的路径代价，Lr(p-r，d+1)为沿方向为r的路径上前一个像素视差为d+1处的路径代价，mini(Lr(p-r，i))为沿方向为r的路径上前一个像素路径代价的最小值，P1和P2为惩罚系数；
当前像素点对应的视差标记矩阵mask的矩阵值若为0，则当前像素点的视差搜索范围为0-D，D代表最大视差值；若当前像素点对应的视差标记矩阵mask的矩阵值不为0，则当前像素点的视差搜索范围为以当前矩阵值左右波动预设像素位置。


4.根据权利要求3所述的深度数据的处理方法，其特征在于，
所述各像素点对应的视差表示为：mindS(p，d)，即像素p所对应的最小视差匹配代价处的视差，其中，S(p，d)为像素p的视差匹配代价，其为像素p各方向的路径代价之和，计算公式为S(p，d)＝∑rLr(p，d)；
所述基于所述各像素点对应的视差获得各像素点对应的深度数据之前，还包括：
基于当前像素点对应的视差，采用三次卷积插值方法进行亚像素插值，获得当前像素点的亚像素视差，对当前像素点的亚像素视差及...

【专利技术属性】
技术研发人员：户磊，化雪诚，刘祺昌，王海彬，李东洋，
申请(专利权)人：北京的卢深视科技有限公司，合肥的卢深视科技有限公司，
类型：发明
国别省市：北京;11