一种结构光数据与制造技术

一种结构光数据与

【技术实现步骤摘要】
一种结构光数据与TOF数据深度融合的深度相机


[0001]本专利技术涉及图像数据处理领域，具体地，涉及一种结构光数据与
TOF
数据深度融合的深度相机
。

技术介绍

[0002]随着“懒人经济”的发展，家用扫地机的市场规模越来越大，其智能程度也一直在提高，自动导航
、
自动避障，自动清洁，这些功能越来越常见
。
其中自动避障功能主要依赖
3D
视觉传感器，主流的如线结构光传感器
、
双目立体相机
、ToF
相机
、
单目散斑结构光深度传感器
。
[0003]这些传感器各有优缺点，线结构光可以完整的重建出激光亮条纹处的场景深度，但其深度视场小；双目立体相机在弱纹理处容易匹配失败导致深度重建失败，且计算量大；
ToF
相机会有多径效应，导致墙角等场景容易深度失真，影响测距结果，且飞点较多，干扰障碍物分割；单目散斑结构光在细小障碍物处容易深度缺失
。
[0004]为了能够使得扫地机避障效果能够尽可能的满足家庭各种常见场景，提高用户的使用体验，需要解决上述单一视觉传感器带来的各种弊端，为此，我们专利技术了一种深度融合算法，能够很好的将单目散斑结构光深度数据与
ToF
深度数据进行融合，发挥各自的长处，规避各自的缺点
。

技术实现思路

[0005]为此，本专利技术将结构光技术与
TOF
技术结合使用，获取同一场景的两种深度数据，通过对点云数据的处理，获得高精度
、
完整
、
准确的深度数据，使得三维重建效果更好
。
[0006]第一方面，本专利技术提供一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，包括：
[0007]激光投射器，用于向目标物体周期性投射激光光束；其中，所述激光光束具有结构光图案；
[0008]光束接收器，用于接收经所述目标物体反射的所述激光光束；
[0009]处理器，用于根据所述激光光束发射信号与接收信号的相位差获得
TOF
深度数据，根据所述结构光图案的形变获得结构光深度数据，并分别对所述
TOF
深度数据和所述结构光深度数据重建得到
TOF3D
点云和结构光
3D
点云，再根据所述结构光
3D
点云对所述
TOF3D
点云进行校正
,
将所述结构光深度数据与所述
TOF
深度数据融合得到高精度深度数据
。
[0010]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述处理器包括：
[0011]获取模块，用于获取同一场景的结构光深度数据和
TOF
深度数据，并分别生成结构光
3D
点云和
TOF3D
点云；
[0012]结构光模块，用于在所述结构光
3D
点云中识别出平面，并进行平面拟合；
[0013]TOF
模块，用于在所述
TOF3D
点云中识别出地面附近部分与地面附近以上部分，并
依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；
[0014]校正模块，用于利用所述结构光深度数据校正所述
TOF
深度数据中所述障碍物的深度值；
[0015]融合模块，用于融合所述结构光深度数据与校正后的所述
TOF
深度数据，得到高精度深度数据
。
[0016]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述结构光模块包括：
[0017]中心点单元，用于在所述结构光
3D
点云中识别出地面，并识别出相邻地面的分割线；
[0018]分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；
[0019]拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合
。
[0020]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述结构光模块包括：
[0021]继承单元，用于获取前一图像中分割线位置；
[0022]微调单元，用于在当前图像上，根据所述分割线位置向外扩展得到扩展区域，并在所述扩展区域内通过法向量方向确定当前图像分割线位置；
[0023]分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；
[0024]拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合
。
[0025]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述
TOF
模块包括：
[0026]对齐单元，用于将所述结构光深度数据与所述
TOF
深度数据对齐；
[0027]第一标记单元，用于在所述
TOF3D
点云中将距离所述平面的距离不大于所述第一阈值的像素点标记为地面附近部分，并将距离所述平面的距离大于所述第一阈值的像素点标记为地面附近以上部分；
[0028]法向量单元，用于计算所述地面附近部分中的每个像素点的法向量，并计算其与地面法向量的夹角
a
；
[0029]第二标记单元，用于当夹角
a
大于第二阈值时，将该像素点标记为第一像素；
[0030]第三标记单元，用于当相邻的所述第一像素的数量大于第三阈值时，将所述第一像素所属的物体标记为障碍物
。
[0031]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述校正模块包括：
[0032]对齐单元，用于将所述结构光深度数据和所述
TOF
深度数据对齐；
[0033]第一校正单元，用于所述结构光深度数据，对所述障碍物的对应的所述
TOF
深度数据进行校正；
[0034]第二校正单元，用于根据校正过的所述
TOF
深度数据，对未校正的所述
TOF
深度数据进行校正
。
[0035]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：
1。
[0036]可选地，所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述激光投射器与所述光束接收器的数量比为1：
2。
[0037]第二方面，本专利技术提供一种机器人，其特征在于，包含上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，包括：激光投射器，用于向目标物体周期性投射激光光束；其中，所述激光光束具有结构光图案；光束接收器，用于接收经所述目标物体反射的所述激光光束；处理器，用于根据所述激光光束发射信号与接收信号的相位差获得
TOF
深度数据，根据所述结构光图案的形变获得结构光深度数据，并分别对所述
TOF
深度数据和所述结构光深度数据重建得到
TOF3D
点云和结构光
3D
点云，再根据所述结构光
3D
点云对所述
TOF3D
点云进行校正
,
将所述结构光深度数据与所述
TOF
深度数据融合得到高精度深度数据
。2.
根据权利要求1所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述处理器包括：获取模块，用于获取同一场景的结构光深度数据和
TOF
深度数据，并分别生成结构光
3D
点云和
TOF3D
点云；结构光模块，用于在所述结构光
3D
点云中识别出平面，并进行平面拟合；
TOF
模块，用于在所述
TOF3D
点云中识别出地面附近部分与地面附近以上部分，并依据所述地面附近部分表面的法向量信息，分割出障碍物；其中，所述地面附近部分是指距离地面在第一阈值内的点云部分；校正模块，用于利用所述结构光深度数据校正所述
TOF
深度数据中所述障碍物的深度值；融合模块，用于融合所述结构光深度数据与校正后的所述
TOF
深度数据，得到高精度深度数据
。3.
根据权利要求2所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述结构光模块包括：中心点单元，用于在所述结构光
3D
点云中识别出地面，并识别出相邻地面的分割线；分割单元，用于根据所述分割线将所述地面划分为第一部分和第二部分；拟合单元，用于对所述第一部分和所述第二部分分别进行平面拟合
。4.
根据权利要求2所述的一种结构光数据与
TOF
数据深度融合的深度相机，其特征在于，所述结构光...

【专利技术属性】
技术研发人员：姚想，王刚，黄龙祥，汪博，朱力，吕方璐，
申请(专利权)人：深圳市光鉴科技有限公司，
类型：发明
国别省市：