一种基于飞行时间深度相机的运动伪差减小方法技术

本发明专利技术公开了一种基于飞行时间深度相机的运动伪差减小方法，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块并进行数据存储处理的控制模块。所述运动伪差减小方法包括如下步骤：S1、所述光发射模块向外发射光线；S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图；S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；其中，步骤S2中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。本发明专利技术通过减小数据传输过程带来的不同帧曝光的时间差，减少运动情况下物体边缘出现的伪差现象。

A Kinematic Artifact Reduction Method Based on Time-of-Flight Depth Camera

【技术实现步骤摘要】
一种基于飞行时间深度相机的运动伪差减小方法
本专利技术涉及深度测量相机
，特别是一种在运动情况下使用的基于飞行时间深度相机的运动伪差减小方法。
技术介绍
近年来，深度相机越来越多的应用于人脸识别、流量统计、行车导航、行车避障、工业件检测和物体扫描等领域。市场上的深度相机采用的技术可分为双目、飞行时间法(TOF)和结构光三类。TOF深度相机是通过测量光从相机发出到经过物体反射回相机的时间来确定物体到相机的距离。TOF深度相机按照其测距原理，可分为连续波调制TOF(CVM_TOF)和脉冲TOF(P_TOF)。CVM_TOF先发送一束连续的调制光，通过测量返回光和发送光的相位差，计算飞行时间，进一步确定物体距离。P_TOF发射光脉冲到物体上，通过测量返回的光脉冲计算飞行时间，进一步确定物体距离。TOF深度相机采用最为直接的方式测量物体距离，以最小的计算资源获得良好的深度信息。TOF深度相机的帧率较高，非常适用于运动场景。然而TOF深度相机需要采集若干幅相关时间图来计算一幅深度图，当运动速度较快时物体的边缘会出现严重的运动伪差现象。为减小TOF深度相机的运动伪差，一种方法是对若干幅相关时间图做图像匹配，将同一物体移动到相同的图像位置上，再进行深度计算，然而此方法算法复杂度较高，图像匹配的准度也有限；另一种方法是利用若干幅相关时间图的约束规则，将物体边缘不匹配的点去掉，但是此种方法不能完全去除运动伪差现象，同时会将有效点去除。解决或者降低TOF深度相机的运动伪差，对于TOF深度相机应用于物体相对运动的场景有着重大意义。
技术实现思路
本专利技术的目的是提出一种基于飞行时间深度相机的运动伪差减小方法；通过对飞行时间深度相机传感芯片感光区域分割，各区域时间相关帧分别采集，有效减少运动伪差。本专利技术的目的是通过以下技术方案实现的：一种基于飞行时间深度相机的运动伪差减小方法，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块，并进行数据存储和数据处理的控制模块；所述运动伪差减小方法包括如下步骤：S1、所述光发射模块向外发射光线；S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图；S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；其中，步骤S2中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。进一步的，步骤S2中，所述传感模块的传感阵列由所述控制模块控制分成多个区域，或者基于传感芯片预设的方式分成多个区域。进一步的，步骤S1中，所述光发射模块由控制模块调节光发射功率和频率，且向外发射光线的照明范围至少包含所述传感模块曝光区域的视场范围。进一步的，所述控制模块包括传感控制单元、照明控制单元、数据采集单元、数据缓存单元、数据计算单元和数据发送单元；所述传感控制单元用于控制传感模块芯片上电顺序、配置芯片寄存器和读取芯片工作温度；所述照明控制单元用于控制光发射模块照明的开启或关闭、调节光发射功率和频率；所述数据采集单元用于采集传感模块芯片不同曝光区域的各相关时间图、工作温度数据；所述数据缓存单元用于存储数据采集单元采集的相关时间图数据；所述数据计算单元用于对采集到的各相关时间图进行拼接和深度计算；所述数据发送单元用于发送计算好的数据。进一步的，步骤S3还包括，所述控制模块读取传感模块的芯片工作温度，并基于温度补偿系数对计算的深度图进行补偿。进一步的，步骤S3具体包括：S31、所述控制模块分别存储由传感模块的不同区域获取的相关时间图，其中每个区域获取的相关时间图包括若干相关时间帧数据；S32、所述控制模块计算存储的各相关时间帧数据，得到相关时间偏移图，并根据初始相关时间偏移计算深度图；S33、所述控制模块根据温度补偿系数，对深度图进行补偿；S34、所述控制模块根据距离标定结果对补偿后的深度图进行距离校正。进一步的，步骤S3还包括：S35、所述控制模块根据传感模块的镜头内参，将所述校正后的深度图转到传感模块相机的相机坐标系下；S36、所述控制模块根据传感模块的镜头外参，将所述相机坐标系下的深度图转到世界坐标系下。进一步的，步骤S3中，所述控制模块在对各相关时间帧数据进行计算时，先对相关时间帧进行拼接得到完整的相关时间图，再根据不同时间偏移的完整相关时间帧进行深度计算得到完整的深度图；或者，先对传感模块各区域不同时间偏移的相关时间帧进行深度计算得到各区域的深度帧，再对这些深度帧做拼接得到完整的深度图。由于采用了以上所述技术方案，本专利技术具有如下优点：1)传感模块成像区域分多个区域采集，减少了各个区域内若干相关时间图采集的时间差，能有效降低运动伪差的情况；2)各个区域采集的图像拼接之后能够合成完整的深度图像，不会造成信息的丢失，同样适用于静态物体的测量；3)光发射模块的发射光功率可调，可适用于不同距离和不同光反射率的物体测量。本专利技术的其它优点、目标特征在某种程度上将在下文的说明书中说明，并且在某种程度上，基于对下文的研究，本领域技术人员可以从本专利技术的实践中得到教导。本专利技术的目的和优点可以通过下文的说明书来实现和获得。附图说明本专利技术的附图说明如下。图1为本专利技术中的深度相机包括的三大模块连接示意图。图2为本专利技术中传感模块的传感阵列第一种区域分割实施例的示意图。图3为本专利技术中传感模块的传感阵列第二种区域分割实施例的示意图。图4为本专利技术中控制模块处理得到深度图的第一种实施例的流程示意图。图5为本专利技术中控制模块处理得到深度图的第二种实施例的流程示意图。具体实施方式为了更好的理解，在以下的描述中将参照附图进一步更详细地解释本专利技术。实施例1如图1所示，本专利技术的第一个实施例中，飞行时间深度相机包括相互连接的光发射模块、传感模块和控制模块。光发射模块向外发射调制光线；传感模块接收来自接收范围内物体的反射光线；控制模块控制光发射模块的开启/关断和传感模块的工作状态，以及接收传感模块的光线信号，并处理该光线信号得到物体与深度相机的距离。本实施的基于上述飞行时间深度相机的运动伪差减小方法包括如下步骤：第一步、飞行时间深度相机的光发射模块向外发射光线。作为一种优选实施方式，光发射模块由控制模块调节光发射功率和频率，调节范围根据使用场景确定；发射光线的区域大于或等于传感模块接收光线区域，且发射光线在区域内分布均匀或较为均匀。第二步，飞行时间深度相机的传感模块接收来自目标物体的反射光线信号生成相关时间图，其中，传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。可选的，本实施例中，传感模块的传感阵列由控制模块控制分成多个区域，或者基于传感芯片预设的方式分成多个区域。在一种优选实施方式中，如图2所示，传感模块的传感阵列从中间向上下两侧分割为若干曝光区域。或者，在另一种优选实施方式中，如图3所示，传感模块的传感阵列上到下划分为若干曝光区域。值得注意的是，图2和图3所示仅作为更清楚的展示区域划分的效果，本专利技术所指区域划分方法，不只是如上所示的两种方式，还包括其它任意将整块区域划分为较小区域组合的划分方式。采用上述方式，传感模块成像区域分多个区域采集，减少了各个区域内若干相关时间图采集的时间差，能有效降低运动伪差的情况。并且，传感模块本文档来自技高网...

【技术保护点】
1.一种基于飞行时间深度相机的运动伪差减小方法，其特征在于，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块，并进行数据存储和数据处理的控制模块；所述运动伪差减小方法包括如下步骤：S1、所述光发射模块向外发射光线；S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图；S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；其中，步骤S2中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。

【技术特征摘要】
1.一种基于飞行时间深度相机的运动伪差减小方法，其特征在于，所述飞行时间深度相机包括光发射模块，传感模块，以及用于控制光发射模块和传感模块，并进行数据存储和数据处理的控制模块；所述运动伪差减小方法包括如下步骤：S1、所述光发射模块向外发射光线；S2、所述传感模块接收来自目标物体的反射光线信号生成相关时间图；S3、所述控制模块处理所述相关时间图，通过深度计算生成深度图；其中，步骤S2中，所述传感模块的传感阵列分成多个区域逐块曝光，每个区域分别连续获取若干用于深度计算的相关时间图。2.如权利要求1所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S2中，所述传感模块的传感阵列由所述控制模块控制分成多个区域，或者基于传感芯片预设的方式分成多个区域。3.如权利要求1所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，步骤S1中，所述光发射模块由控制模块调节光发射功率和频率，且向外发射光线的照明范围至少包含所述传感模块曝光区域的视场范围。4.如权利要求1-3任一项所述的基于飞行时间深度相机的运动伪差减小方法，其特征在于，所述控制模块包括传感控制单元、照明控制单元、数据采集单元、数据缓存单元、数据计算单元和数据发送单元；所述传感控制单元用于控制传感模块芯片上电顺序、配置芯片寄存器和读取芯片工作温度；所述照明控制单元用于控制光发射模块照明的开启或关闭、调节光发射功率和频率；所述数据采集单元用于采集传感模块芯片不同曝光区域的各相关时间图、工作温度数据；所述数据缓存单元用于存储数据采集单元采集的相关时间图数据；所述...

【专利技术属性】
技术研发人员：刘志冬，王蓉，徐永奎，齐伟，
申请(专利权)人：杭州蓝芯科技有限公司，
类型：发明
国别省市：浙江,33