一种消除运动伪影的深度相机及方法技术

本发明专利技术涉及一种消除运动伪影的深度相机及方法，深度相机包括：发射器，用于在多个帧周期内向空间区域中的目标发射脉冲光束；采集器，用于在每个帧周期内采集由目标反射回的反射脉冲光束并生成rawphase图；其中，采集器包括由多个像素组成的图像传感器，每个像素包括多个抽头，每个抽头用于采集反射脉冲光束或背景光以产生电荷量，rawphase图中的像素值为抽头产生的电荷量；控制与处理电路，接收多张rawphase图并进行处理获取每张rawphase图对应的IR图；根据IR图中的像素值确定运动像素，并对运动像素对应的rawphase图中的像素值进行校正获得校正后的rawphase图；根据校正后的rawphase图计算目标深度图。通过本发明专利技术的实施，提升了去运动伪影的准确性。提升了去运动伪影的准确性。提升了去运动伪影的准确性。

【技术实现步骤摘要】
一种消除运动伪影的深度相机及方法


[0001]本专利技术属于深度相机
，尤其涉及一种消除运动伪影的深度相机及方法。

技术介绍

[0002]利用飞行时间原理(TOF，Time of Flight)可以对目标进行距离测量以获取包含目标的深度值的深度图，基于飞行时间原理的深度相机已被广泛应用于消费电子、无人架驶、AR/VR等领域。基于飞行时间原理的深度相机通常包括发射器、采集器以及控制与处理电路。发射器向目标场景连续发射光信号，被目标反射的光信号被采集器收集并输出电荷量，控制与处理电路接收该电荷量并进行处理以计算出脉冲往返目标点对应的飞行时间，进一步计算出目标点距离测量系统的距离。在ToF技术中直接对光飞行时间进行测量的技术被称为dToF(direct TOF)；对发射光信号进行周期性调制，通过对反射光信号相对于发射光信号的相位延迟进行测量，再由相位延迟对飞行时间进行计算的测量技术被成为TOF(Indirect TOF)技术，且按照调制解调类型方式的不同可以分为连续波(Continuous Wave，CW)调制解调方式和脉冲调制(Pulse Modulated，PM)调制解调方式。
[0003]目前，TOF技术主要应用于基于抽头传感器构建的深度相机中，在一定积分时间内调控多个抽头依次进行曝光积累电荷量获取多张rawphase图(相位图)，利用多张rawphase图进行深度计算。若在积分时间内，目标或者模组发生运动，就会导致各rawphase图记录的场景不同，最终在深度图中出现的运动伪影现象。相关技术中，一般采用以下几种假设方式进行消除：如假设被采集的目标是匀速运动、或者假设积分时间内，目标只发生一次运动，又或者是将运动伪影的求解问题构造成很理想化的数学模型来优化求解。但这些假设过于理想化，不能切合实际进行消除运动伪影，导致消除运动伪影的效果差。

技术实现思路

[0004]本专利技术提供一种消除运动伪影的深度相机及方法，用以解决去运动伪影效果差的技术问题。
[0005]一方面本专利技术提供一种消除运动伪影的深度相机，包括：发射器，用于在多个帧周期内向空间区域中的目标发射脉冲光束；采集器，用于在每个所述帧周期内采集由目标反射回的反射脉冲光束并生成rawphase图；其中，所述采集器包括由多个像素组成的图像传感器，每个所述像素包括多个抽头，每个所述抽头用于采集所述反射脉冲光束或背景光以产生电荷量，所述rawphase图中的像素值为所述抽头产生的电荷量；控制与处理电路，接收多张所述rawphase图并进行处理获取每张所述rawphase图对应的IR图；根据所述IR图中的像素值确定运动像素，并对所述运动像素对应的所述rawphase图中的像素值进行校正获得校正后的rawphase图；根据所述校正后的rawphase图计算目标深度图。
[0006]第二方面，本专利技术提供一种消除运动伪影的方法，所述方法包括：在多个帧周期内向空间区域中的目标发射脉冲光束；在每个所述帧周期内采集由目标反射回的反射脉冲光束并生成rawphase图；所述rawphase图中的像素值为抽头采集所述反射脉冲光束或背景光
产生的电荷量；接收多张所述rawphase图并进行处理获取每张所述rawphase图对应的IR图；根据所述IR图中的像素值确定运动像素，并对所述运动像素对应的所述rawphase图中的像素值进行校正获得校正后的rawphase图；根据所述校正后的rawphase图计算目标深度图。
[0007]第三方面，本专利技术提供一种消除运动伪影的深度相机，包括：发射器，用于在连续帧周期向空间区域中的目标发射具有第一频率或第二频率的脉冲光束；采集器，用于采集由目标反射回的所述第一频率的反射脉冲光束并生成第一rawphase图，以及采集由目标反射回的所述第二频率的反射脉冲光束并生成第二rawphase图；其中，所述采集器包括由多个像素组成的图像传感器，每个所述像素包括多个抽头，每个所述抽头用于采集所述反射脉冲光束或背景光以产生电荷量，rawphase图中的像素值为所述抽头产生的电荷量；控制与处理电路，接收所述第一rawphase图并进行处理获得第一深度图和对应的第一IR图，接收所述第二rawphase图并进行处理获得第二深度图和对应的第二IR图，对所述第一深度图与所述第二深度图进行融合获得目标深度图，以及根据所述第一IR图和第二IR图中的像素值进行对比确定运动像素，并对所述运动像素对应的所述目标深度图中的深度值进行校正。
[0008]第四方面，本专利技术提供一种消除运动伪影的方法，所述方法还包括：在连续帧周期向空间区域中的目标发射具有第一频率或第二频率的脉冲光束；采集由目标反射回的所述第一频率的反射脉冲光束并生成第一rawphase图，以及采集由目标反射回的所述第二频率的反射脉冲光束并生成第二rawphase图；rawphase图中的像素值为抽头采集所述反射脉冲光束或背景光产生的电荷量；接收所述第一rawphase图并进行处理获得对应的第一深度图和对应的第一IR图，以及接收所述第二rawphase图并进行处理获得第二深度图和对应的第二IR图；融合所述第一深度图与所述第二深度图获得目标深度图；根据所述第一IR图和第二IR图中的像素值进行对比确定运动像素，并对所述运动像素对应的所述目标深度图中的深度值进行校正。
[0009]第五方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述方法中的步骤。
[0010]从上述本专利技术实施例可知，通过控制与处理电路对采集得到的所有rawphase图的IR图的像素值比对，确定rawphase图中的运动像素，进而对运动像素的像素值进行校正以消除rawphase图中的伪影，进而根据校正后的rawphase图计算目标区域的深度图；通过IR图之间的像素值的差异确定运动像素，提升了确度运动像素的准确度，进而保证了去运动伪影的准确性。
附图说明
[0011]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0012]图1为本专利技术实施例的一种深度相机示意图。
[0013]图2为本专利技术实施例的深度相机光信号发射与采集方法示意图；
[0014]图3为本申请实施例中采集动态手掌多张rawphase展示图；
[0015]图4为本申请图3对应的两张rawphase图相减的运动伪影展示图；
[0016]图5为本申请图3对应的存在运动伪影的深度展示图；
[0017]图6为本申请一个实施例的消除运动伪影的方法的流程图；
[0018]图7为本申请另一个实施例的消除运动伪影的方法的流程图。
具体实施方式
[0019]为使得本专利技术的专利技术目的、特征、优点能够更加的明显和易懂，下面将结合本专利技术实施例中的附图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种消除运动伪影的深度相机，其特征在于，包括：发射器，用于在多个帧周期内向空间区域中的目标发射脉冲光束；采集器，用于在每个所述帧周期内采集由目标反射回的反射脉冲光束并生成rawphase图；其中，所述采集器包括由多个像素组成的图像传感器，每个所述像素包括多个抽头，每个所述抽头用于采集所述反射脉冲光束或背景光以产生电荷量，所述rawphase图中的像素值为所述抽头产生的电荷量；控制与处理电路，接收多张所述rawphase图并进行处理获取每张所述rawphase图对应的IR图；根据所述IR图中的像素值确定运动像素，并对所述运动像素对应的所述rawphase图中的像素值进行校正获得校正后的rawphase图；根据所述校正后的rawphase图计算目标深度图。2.根据权利要求1所述的深度相机，其特征在于，每个所述帧周期内包括多个曝光时刻，每个所述抽头在对应的曝光时刻采集所述反射脉冲光束或背景光；所述控制与处理电路控制所述像素中的多个抽头在所述多个帧周期内依据轮转采样模式采集所述反射脉冲光束或背景光以产生电荷量使得所述采集器输出多张rawphase图。3.根据权利要求2所述的深度相机，其特征在于，多个所述抽头包括第一抽头、第二抽头及第三抽头；所述多个帧周期包括第一帧周期、第二帧周期及第三帧周期；所述采集器还用于：在所述第一帧周期内，所述第一抽头、所述第二抽头及所述第三抽头采集所述反射脉冲光束或背景光以产生电荷量，得到第一张所述rawphase图；在所述第二帧周期内，所述第二抽头、所述第三抽头及所述第一抽头采集所述反射脉冲光束或背景光以产生电荷量，得到第二张所述rawphase图；在所述第三帧周期内，所述第三抽头、所述第一抽头及所述第二抽头采集由所述反射脉冲光束或背景光以产生电荷量，得到第三张所述rawphase图。4.根据权利要求1所述的深度相机，其特征在于，所述控制与处理电路还用于：将每张所述rawphase图各个所述像素对应的所述抽头采集的电荷量相加得到对应的所述IR图；从多张所述rawphase图中选取任一帧图确定基准rawphase图及对应的基准IR图；计算所述基准IR图中的像素值与非基准IR图中的像素值的差值，将所述差值不小于差值阈值的像素确定为非基准rawphase图中的所述运动像素；根据预设的运动像素校正规则对所述运动像素的像素值进行校正，得到多张所述校正后的rawphase图。5.根据权利要求4所述的深度相机，其特征在于，所述控制与处理电路还用于：选择所述运动像素对应的所述rawphase图在上一个深度探测周期内的rawphase图，所述深度探测周期包括所述多个帧周期；根据所述上一个深度探测周期内的rawphase图对应的IR图中的像素值与所述基准IR图中的像素值计算所述差值；若所述差值小于所述差值阈值，则利用所述上一个深度探测周期内的rawphase图中的像素值校正所述运动像素的像素值；若所述差值不小于所述差值阈值，则利用所述基准rawphase图中的像素值校正所述运
动像素的像素值。6.一种消除运动伪影的方法，其特征在于，所述方法包括：在多个帧周期内向空间区域中的目标发射脉冲光束；在每个所述帧周期内采集由目标反射回的反射脉冲光束并生成rawphase图；所述rawphase图中的像素值为抽头采集所述反射脉冲光束或背景光产生的电荷量；接收多张所述rawphase图并进行处理获取每张所述rawphase图对应的IR图；根据所述IR图中的像素值确定运动像素，并对所述运动像素对应的所述rawphase图中的像素值进行校正获得校正后的rawphase图；根据所述校正后的rawphase图计算目标深度图。7.根据权利要求6所述消除运动伪影的方法，其特征在于，所述根据所述IR图中的像素值确定运动像素，包括：从多张所述rawphase图中选取任一帧图确定基准rawphase图及对应的基准IR图；计算所述基准IR图中的像素值与非基准IR图中的像素值的差值，将所述差值不小于差值阈值的像素确定为非基准rawphase图中的所述运动像素。8.根据权利要求7所述消除运动伪影的方法，其特征在于，对所述运动像素对应的所述rawphase图中的像素值进行校正获得校正后的rawphase图，包括：选择所述运动像素对应的所述rawphase图在上一个深度探测周期内的rawphase图，所述深度探测周期包括所述多个帧周期；根据所述上一个深度探测周期内的rawphase图对应的IR图中的像素值与所述基准IR图中的像素值计算所述差值；若所述差值小于所述差值阈值，则利用所述上一个深度探测周期内的rawphase图中的像...

【专利技术属性】
技术研发人员：陈珂，王飞，
申请(专利权)人：深圳奥芯微视科技有限公司，
类型：发明
国别省市：