一种结构光3D深度相机的自校正方法及装置制造方法及图纸

本公开提出了一种结构光3D深度相机的自校正方法及装置，将由于激光编码图形投射器光轴与图像接收传感器光轴发生变化，通过获取输入编码图像相对参考编码图像中图像块的偏移量，通过变化的偏移量反向上下调整参考编码图像的位置，使输入编码图像中心与参考编码图像中心能形成一个自反馈调节闭环系统，从而实现输入编码图像和参考编码图像在光轴发生较大范围变动时始终能找到最优匹配关系。进一步地，还可以根据校正后的偏移量进行深度计算。与现有技术相比，本公开的方法和装置可以解决激光编码图形投射器和图像接收传感器光轴发生变化所导致的深度精度下降、误匹配噪声增加等问题，实现结构光深度相机的实时自校正，提高深度相机的鲁棒性。

A Self-calibration Method and Device for Structured Light 3D Depth Camera

【技术实现步骤摘要】
一种结构光3D深度相机的自校正方法及装置
本专利技术属于图像处理、计算机视觉和人工智能
，具体涉及结构光3D深度相机的自校正方法及装置。
技术介绍
方便快捷的对场景或物体进行三维重建是近来研究的热点，越来越多的三维成像技术不断涌现，为了获取真实的三维图像，需要计算场景或物体的深度信息，也就是深度感知。深度感知技术是三维重建的核心技术，在机器视觉、人机交互、3D打印、虚拟现实、智能手机等领域有着广泛的应用和发展前景。在现有的深度感知技术中基于结构光编解码的深度感知技术可以获取较为准确的深度信息，且不受环境光的影响、算法和硬件实现相对简单便捷。它通过红外激光投射固定的图像到物体表面，经物体表面的反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知芯片计算获得物体的深度信息。基于结构光编解码技术研制的3D深度相机，其立体匹配过程较为简单、计算量小，但要获得高精度的深度信息，对装配精度提出很高要求，在使用过程中如发生跌落、摔碰等情况可能导致激光图形投射器或图像传感器的光轴发生偏移，从而导致深度精度下降、误匹配噪声增加等问题。尤其是嵌入到智能手机的结构光3D深度相机，用户在使用手机过程中难免会发生摔落、碰撞、敲打等，很容易导致结构光深度相机的光轴发生扭曲，如何解决这种光轴变化所带来的精度下降、噪声增加等问题，增强手机结构光3D深度相机的鲁棒性，实现一种结构光3D深度相机的自校正技术显得尤为重要。
技术实现思路
鉴于此，本公开提出了一种结构光3D深度相机的自校正方法及装置，将由于激光编码图形投射器光轴与图像接收传感器光轴发生变化，通过获取输入编码图像相对参考编码图像中图像块的偏移量，通过变化的偏移量反向上下调整参考编码图像的位置，使输入编码图像中心与参考编码图像中心能形成一个自反馈调节闭环系统，从而实现输入编码图像和参考编码图像在光轴发生较大范围变动时始终能找到最优匹配关系。进一步地，还可以根据校正后的偏移量进行深度计算。一方面，本公开提供了一种结构光3D深度相机的自校正方法，所述方法包括下述步骤：S100、在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；S200、在输入编码图像中，搜索与第一特征块相对应的第一匹配块；S300、根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；S400、根据所述第一偏移量，校正参考编码图像的位置；S500、若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回步骤S200。在所述方法中，其中：所述方法还包括下述步骤：S600、获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；S700、在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；S800、获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；S900、返回步骤S600，直至获取到输入编码图像中所有像素对应的深度距离。在所述方法中，其中：所述步骤S200和所述步骤S700中的搜索包括下述步骤：确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。在所述方法中，其中：所述步骤S300中的获取包括下述步骤：S301、对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；S302、获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。在所述方法中，其中：所述步骤S300中的校正包括下述步骤：S311、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；S312、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第以分量的绝对值；所述第一偏移分量为二维向量。另一方面，本公开提供了一种结构光3D深度相机的自动校正装置，其特征在于，所述装置包括下述模块：第一获取模块，被配置用于：在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；第一搜索模块，被配置用于：在输入编码图像中，搜索与第一特征块相对应的第一匹配块；第一偏移量获取模块，被配置用于：根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；校正模块，被配置用于：根据所述第一偏移量，校正参考编码图像的位置；第一返回模块，被配置用于：若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回第一搜索模块。在所述装置中，其中：所述装置还包括下述模块：第二获取模块，被配置用于：获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；第二搜索模块，被配置用于：在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；计算模块，被配置用于：获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；第二返回模块，被配置用于：返回第二获取模块，直至获取到输入编码图像中所有像素对应的深度距离。在所述装置中，其中：所述第一搜索模块和第二搜索模块中的搜索包括下述操作：确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。在所述装置中，其中：所述第一偏移量获取模块通过下述方法获取第一偏移量：对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。在所述装置中，其中：所述第一偏移量获取模块通过下述方法进行校正：若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第以分量的绝对值；所述第一偏移分量为二维向量。与现有技术相比，本公开的方法和装置可以解决激光编码图形投射器和图像接收传感器光轴发生变化所导致的深度精度下降、误匹配噪声增加等问题，实现结构光深度相机的实时自校正，提高深度相机的鲁棒性。附图说明图1是一个实施例中，智能手机的结构光深度相机自校正装置的结构框图；图2是一个实施例中，智能手机的结构光深度相机自校正方法的流程图；图3是一个实施例中，激光散斑图案示意图；图4是一个实施例中，参考散斑图特征块及匹配搜索窗示意图；图5是一个实施例中，自校正过程的流程图；图6是一个实施例中，AP手动控制过程的流程图；图7是一个实施例中，求取图像旋转角度方法的示意图；图8是一个实施例中，自校正方法的示意图。具体实施方式本文档来自技高网...

【技术保护点】
1.一种结构光3D深度相机的自校正方法，其特征在于，所述方法包括下述步骤：S100、在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；S200、在输入编码图像中，搜索与第一特征块相对应的第一匹配块；S300、根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；S400、根据所述第一偏移量，校正参考编码图像的位置；S500、若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回步骤S200。

【技术特征摘要】
2017.12.18 CN 2017113698388;2017.12.18 CN 201711361.一种结构光3D深度相机的自校正方法，其特征在于，所述方法包括下述步骤：S100、在参考编码图像中，获取第一特征块；所述参考编码图像为深度距离已知的编码图像；S200、在输入编码图像中，搜索与第一特征块相对应的第一匹配块；S300、根据激光编码图形投射器和图像接收传感器的光轴位置，获取第一特征块相对第一匹配块的第一偏移量；S400、根据所述第一偏移量，校正参考编码图像的位置；S500、若所述第一偏移量不为0，在校正后的参考编码图像中获取第一特征块，返回步骤S200。2.根据权利要求1所述的方法，其特征在于，优选的，所述方法还包括下述步骤：S600、获取输入编码图像中的一个像素，将其作为第一像素；以第一像素为中心，获取第二特征块；S700、在校正后参考编码图像中，搜索与第二特征块相匹配的第二匹配块；S800、获取第二特征块与第二匹配块的第二偏移量，并根据所述第二偏移量，计算所述第一像素对应的深度距离；S900、返回步骤S600，直至获取到输入编码图像中所有像素对应的深度距离。3.根据权利要求2所述的方法，其特征在于，所述步骤S200和所述步骤S700中的搜索包括下述步骤：确定匹配搜索窗的中心和大小，所述中心为特征块的中心点，所述大小大于特征块的大小；在所述匹配搜索窗内提取候选匹配块，计算其与特征块的相似度，将具有最大相似度的候选匹配块作为与特征块相对应的匹配块。4.根据权利要求1或2所述的方法，其特征在于，所述步骤S300中的获取包括下述步骤：S301、对每个特征块以及与每个特征块相对应的匹配块，获取它们的中心点坐标，计算它们相应坐标分量的差值；S302、获取所有坐标分量的差值的平均值，将所述平均值作为第一偏移量。5.根据权利要求1所述的方法，其特征在于，所述步骤S300中的校正包括下述步骤：S311、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第一分量方向平行，则沿着与第一偏移量的第二分量方向相反的方向移动，移动距离的大小等于第一偏移量的第二分量的绝对值；S312、若激光编码图形投射器和图像接收传感器的光轴与所述第一偏移量的第二分量方向平行，则沿着与第一偏移量的第一分量方向相反的方向移动，移动距离的大小等于第...

【专利技术属性】
技术研发人员：葛晨阳，谢艳梅，姚慧敏，周炳，张康铎，左龙，
申请(专利权)人：西安交通大学，宁波盈芯信息科技有限公司，
类型：发明
国别省市：陕西,61