一种工作范围可调的三维深度感知方法及装置制造方法及图纸

本发明专利技术公开了一种工作范围可调的三维深度感知方法及装置，可由外部设定或自适应调整方式设置工作范围模式，并通过调节激光图形投射器驱动电路的驱动电流将编码图案投向相应的工作范围内，调节接收摄像头焦距和基线距离，并采集所投射的编码图像序列送入深度感知模块，深度感知模块根据工作范围模式调整图像预处理的控制参数，选择与工作范围模式相符的一组参考编码图像对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。基于所述方法实现了一种工作范围可调的三维深度感知装置，所述装置有助于优化和实时实现所述的深度感知计算方法，并使其适合不同的工作范围，突破了现有三维深度感知装置的应用局限。

【技术实现步骤摘要】
一种工作范围可调的三维深度感知方法及装置
本公开涉及属于图像处理、自然交互和集成电路
，具体涉及一种工作范围可调的三维深度感知方法及装置。
技术介绍
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令，其中，深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印、无人机等领域有着广泛的应用前景。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到物体表面进行编码，由图像传感器采集获得红外编码图像，再通过深度感知计算获得物体的深度信息；所生成的深度信息可用于三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。相比ToF(TimeofFlight)，基于结构光编码的三维深度感知技术在成本、性能方面具备一定的优势。现有的三维深度感知设备，如微软Kinect一代(基于PrimeSense结构光模组)和二代(基于ToF模组)其工作范围为0.6～5米左右，主要用于一定距离的体感动作识别，比如家庭娱乐；英特尔RealSense3D深度摄像头工作范围约0.2～2米左右，可用于近距离手势动作和人脸表情识别。现有的这些三维深度感知装置无法实现工作范围可调，比如采用同一套装置可以用于近距离手势或人脸识别，也可以用于几米开外体感动作识别，或用于更远距离(比如10米开外)的行人跟踪与识别。
技术实现思路
鉴于此，本专利技术提供了一种工作范围可调的三维深度感知方法及装置，由外部设定或自适应调整方式设置工作范围模式，调节激光图形投射器驱动电路的驱动电流和输出功率、调节接收摄像头焦距和基线距离，再由深度感知模块调整图像预处理的控制参数，从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列。基于所述方法设计的装置可实现同一套三维深度感知装置在不同工作距离范围下都能获取高分辨率、高精度的深度信息。为实现以上专利技术目的，一种工作范围可调的三维深度感知方法，所述方法应用于三维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感知模块、控制模块和存储器；通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在装置中设置寄存器来存储；所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标物体或空间处于工作范围模式的参数所对应的工作范围内；对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像以生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每个工作范围模式的参数Mi对应一组距离di的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成，其中i表示第i组；所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间的位移量；所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Δm，所述Δm为Δx或Δy，参考编码图像对应的已知距离di，则通过下述深度计算的公式，得到对应的深度值d′：基于上述方法设计的一种工作范围可调的三维深度感知装置，所述装置包括激光图形投射器驱动电路、激光图形投射器、接收摄像头、深度感知模块、控制模块以及存储器；所述控制模块用于设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在原装置中设置一个寄存器来存储；所述控制模块根据设定的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向设定的工作范围内的目标物体或空间；对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；所述多组参考编码图像是指配合不同的工作范围模式，投射在与投射器光轴垂直、不同距离的垂直平面上采集得到，且经过与输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；工作范围模式Mi对应一组相同距离di的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成；所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相识度比较，求取输入编码图像中图像块与最优匹配块之间的位移量，即视差值；所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到的视差图的偏移量为Δm，所述Δm为Δx或Δy，参考编码图像的已知距离参数di，则通过下述深度计算的公式，能够得到对应的深度值d′：本专利技术通过所述方法通过调节激光图形投射器驱动电路的驱动电流，调节接收摄像头焦距f、激光图形投射器与接收摄像头的基线距离S，调整图像预处理的控制参数，结合多组已知距离的参考编码图像，可实现在不同目标距离内能生成高分辨率、高精度的深度信息，方便利用图像处理技术获取深度信息进行三维图像的识别及动作捕捉。基于所述方法实现的装置，通过用硬件完成方法的功能实现，将有助于优化和实时实现所述的深度感知计算方法，并使其适合不同的工作范围。附图说明图1是本专利技术实施本文档来自技高网...

【技术保护点】
一种工作范围可调的三维深度感知方法，其特征在于：所述方法应用于三维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感知模块、控制模块和存储器；通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在装置中设置寄存器来存储；所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标物体或空间处于工作范围模式的参数所对应的工作范围内；对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像以生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每个工作范围模式的参数Mi对应一组距离di的参考编码图像，一组参考编码图像可以是一幅或多幅图像组成，其中i表示第i组；所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间的位移量；所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Δm，所述Δm为Δx或Δy，参考编码图像对应的已知距离di，则通过下述深度计算的公式，得到对应的深度值d|：d1=di-Δmμdi2fS+Δmμdi=fSdifS+Δmμdi.]]>...

【技术特征摘要】
1.一种工作范围可调的三维深度感知方法，其特征在于：所述方法应用于三维深度感知装置，所述装置包括激光投射器驱动电路、激光投射器、接收摄像头、深度感知模块、控制模块和存储器；通过在所述装置上部署控制模块来设置或重新设置装置的工作范围模式；所述工作范围模式的参数通过在装置中设置寄存器来存储；所述控制模块根据预设的或重新设定的工作范围模式的参数向激光图形投射器驱动电路、接收摄像头和深度感知模块分别发送控制命令；对激光图形投射器驱动电路发送的控制命令用于调节激光图形投射器驱动电路的驱动电流和输出功率，通过激光图形投射器将编码图案投向目标物体或空间，所述目标物体或空间处于工作范围模式的参数所对应的工作范围内；对接收摄像头发送的控制命令用于调节接收摄像头焦距和基线距离，按一定的帧频采集激光图形投射器产生的编码图像以生成输入编码图像序列，并送入深度感知模块；所述接收摄像头用于接收激光图形投射器所投射的、特定波长范围的编码图案，其包括一种图像传感装置，包含光学聚焦成像透镜单元和滤波单元；所述基线距离是指激光图形投射器与接收摄像头之间的水平距离，两者的中心光轴平行；对深度感知模块发送的控制命令用于调整图像预处理的控制参数，使输入编码图像序列经预处理后实现一致性处理；并用于从存储器已固化的多组参考编码图像中选择输出与工作范围模式相符的一组参考编码图像，对经预处理后的输入编码图像序列进行块匹配视差计算和深度计算，输出深度图序列；所述多组参考编码图像是指配合不同的工作范围模式，其中：每个参考编码图像是投射在与投射器光轴垂直、不同距离的垂直平面上、并被预先采集，且经过与所述输入编码图像相同的图像预处理的编码图像，其作为标准参考编码图像预先固化在存储器中；每个工作范围模式的参数Mi对应一组距离di的参考编码图像，一组参考编码图像是一幅或多幅图像组成，其中i表示第i组；所述块匹配视差计算通过将图像预处理后的输入编码图像序列中各输入编码图像与参考编码图像进行块匹配相似度比较，求取输入编码图像中图像块与最优匹配块之间的位移量；所述深度计算，假设接收摄像头焦距f、接收摄像头图像传感器点距μ、激光图形投射器与接收摄像头的基线距离S、块匹配视差计算得到位移量为Δm，所述Δm为Δx或Δy，参考编码图像对应的已知距离di，则通过下述深度计算的公式，得到对应的深度值d′：所述工作范围模式为根据目标物体的远近距离分成若干个距离区间，每个工作范围参数对应特定的距离区间。2.根据权利要求1所述的方法，其特征在于：优选的，所述控制模块包括外部设定单元，所述外部设定单元由外部微处理器通过总线协议对控制模块进行工作范围模式的参数的设定。3.根据权利要求1或2所述的方法，其特征在于：所述控制模块包括自适应调整单元，所述自适应调整单元根据已产生的深度图像自动检测目标物体，并根据目标物体的远近变动来自动调整工作范围模式的参数。4.根据权利要求1所述的方法，其特征在于：所述调节激光图形投射器驱动电路的驱动电流的方式包括通过改变数字定位器或可变电阻器的电阻值来调节恒流驱动方式的电流大小；当工作范...

【专利技术属性】
技术研发人员：周艳辉，葛晨阳，
申请(专利权)人：宁波盈芯信息科技有限公司，
类型：发明
国别省市：浙江;33