一种智能手机的结构光深度相机自校正方法及装置制造方法及图纸

一种智能手机的结构光深度相机自校正方法及装置，由红外激光散斑投射器、图像接收传感器、自校正模块、深度计算模块、手机应用处理AP构成，该装置和方法由投射器投射散斑图案，在参考散斑图像中设定特征块，通过图像接收传感器采集输入散斑图像，并在输入散斑图像中通过相似度准则搜寻该特征块对应的最优匹配块，得到特征块与匹配块之间的偏移量，一旦投射器与图像传感器的光轴发生相对变化，该偏移量会随之发生变化，按一定规则求取最优偏移量并反向调整参考散斑图像，使输入散斑图像中心与参考散斑图像中心能形成一个自反馈调节闭环系统，从而实现输入散斑图像和校正后的参考散斑图像在光轴发生较大范围变动时始终能找到最优匹配关系。

A Self-calibration Method and Device for Structured Light Depth Camera of Smart Phone

【技术实现步骤摘要】
一种智能手机的结构光深度相机自校正方法及装置
本专利技术涉及智能手机、智能相机、深度感知
，尤其涉及一种智能手机的结构光深度相机自校正方法及装置。
技术介绍
深度相机是具有深度检测功能的相机，其在三维信息提取、物体识别、分类、运动跟踪、机器视觉、人机交互、3D打印、虚拟现实等领域有着广泛的应用和发展前景。深度相机在智能手机上的嵌入式应用也将逐步普及。结构光深度相机主要由激光编码图案投射器、图像接收传感器和深度感知计算模块组成，可以采用单目结构光或双目结构光，获取较为准确的深度信息，且不受环境光的影响，深度感知算法和软硬件实现相对简单。基本原理：一般通过红外激光编码图案投射器投射编码图案(随机散斑或规则符号散斑)到物体表面，经物体表面的反射，由图像接收传感器采集获得编码图像，再通过图像深度感知计算获得物体距离投射模组的深度信息。虽然结构光深度相机在结构设计和深度获取原理方面比较简单，但要获得高精度的深度信息，对装配精度提出很高要求，在使用过程中如发生跌落、摔碰等情况可能导致激光编码图案投射器或图像接收传感器的光轴发生偏移，从而导致深度精度下降、误匹配噪声增加等问题。尤其是嵌入到智能手机的结构光深度相机，用户在使用手机过程中难免会发生摔落、碰撞、敲打等，很容易导致结构光深度相机的光轴发生扭曲，如何解决这种光轴变化所带来的精度下降、噪声增加等问题，增强手机结构光深度相机的鲁棒性，实现一种智能手机的结构光深度相机自校正技术显得尤为重要。
技术实现思路
鉴于此，本专利技术提供了一种智能手机的结构光深度相机自校正方法及装置，由红外激光散斑投射器、红外接收图像传感器、自校正模块、深度计算模块、手机应用处理AP构成。该方法先由红外激光散斑投射器投射散斑图案对目标物体进行特征标定和散斑，在预先采集的参考散斑图像中设定散斑特征块，通过红外接收图像传感器采集输入散斑图像，并在输入散斑图像中通过相似度准则搜寻该散斑特征块对应的最优特征匹配块，得到特征块与匹配块之间的偏移量，一旦红外激光散斑投射器与红外接收图像传感器的光轴发生相对变化，该偏移量会随之发生变化；按一定规则求取最佳偏移量并反向调整参考散斑图像，使输入散斑图像中心与参考散斑图像中心形成一个自反馈调节闭环系统，从而实现输入散斑图像和校正后的参考散斑图像在光轴发生较大范围变动时始终能找到最优匹配关系，并得到正确的偏移量用于深度计算。在自校正过程中，手机应用处理AP用于设置特征块大小和个数、匹配搜索窗范围、求取最佳偏移量，也可以软件加速或专用IP核方式完成整个深度感知自校正过程，从而解决智能手机的结构光深度相机在使用过程中因红外激光散斑投射器和红外接收图像传感器的光轴发生变化所导致的深度精度下降和噪声增加的问题，实现智能手机实时深度自校正，提高其鲁棒性。为实现以上目的，本专利技术采用以下技术方案：一种智能手机的结构光深度相机自校正方法，包括以下步骤：步骤1：红外激光散斑投射器投射散斑图像，红外图像接收传感器接收所投射的散斑图像生成输入散斑图和参考散斑图。步骤2：检测参考散斑图像相对于输入散斑图像的光轴变化，并根据最优偏移量对参考散斑图像进行校正。步骤2.1：对预处理后的参考散斑图和输入散斑图，在参考散斑图像中设定散斑特征块，散斑特征块的中心点为(xi＝1，…，p，yi＝1，…，p)，大小为均m×n，在输入散斑图像提取与(xi＝1，…，p，yi＝1，…，p)位置对应的点为中心，大小为M×N(其中M＞m，N＞n)的匹配搜索窗；步骤2.2：在匹配搜索窗内提取大小为m×n的匹配块，通过相似度准则计算匹配块与特征块之间的相似度，最大相似度所对应的匹配块即为最佳匹配块；步骤2.3：提取最优匹配块的中心点(x′i＝1，…，p，y′i＝1，…，p)，计算特征块中心点(xi＝1，…，p，yi＝1，…，p)与匹配块中心点(x′i＝1，…，p，y′i＝1，…，p)之间的偏移量(Δxi，Δyi)；步骤2.4：检测偏移量，将偏移量(Δxi，Δyi)输出到手机AP端并根据一定规则求取最佳偏移量；步骤2.5：根据最佳偏移量反向上下(-Δy)或左右(-Δx)整体调整参考散斑图像的位置。步骤3：对输入散斑图像的每个像素点以图像块方式在校正后的参考散斑图像中搜索最优散斑匹配块，得到偏移量(Δx′，Δy′)，利用偏移量，根据深度计算公式计算该像素点的深度信息。一种智能手机的结构光深度相机自校正装置，包括：投射接收装置模块，红外激光散斑投射器投射出散斑图像，经目标物体或投射空间反射后，由红外图像接收传感器接收所投射的散斑图像；AP模块，用于控制特征块、匹配块、匹配搜索窗等的个数、形状及大小等参数，并计算参考散斑图和输入散斑图光轴变化的最佳偏移量；自校正模块，用于检测参考散斑图像和输入散斑图像的光轴变化，通过参考散斑图特征块和输入散斑图匹配块计算出参考散斑图相对于输入散斑图的偏移量，并根据最优偏移量对参考散斑图进行校正，该模块包括参考散斑图像和输入散斑图像预处理子模块、参考散斑图像特征块和输入散斑图像匹配搜索窗生成子模块、计算匹配块和特征块相似度子模块、计算偏移量(相似度最大匹配块)子模块、检测偏移量变化子模块、调整参考散斑图像子模块；所包含的子模块如下：1)参考散斑图像和输入散斑图像预处理子模块，用于对图像接收传感器接收的散斑图像做RAW数据格式转换、自适应去噪、一致性增强二值化等预处理；2)参考散斑图像特征块和输入散斑图像匹配搜索窗生成子模块，用于在参考散斑窗中提取中心点为(x，y)，大小为m×n的特征块，在输入散斑窗中提取与特征块中心点位置对应的点为中心、一定范围的匹配搜索窗；3)计算匹配块和特征块相似度子模块，按照块匹配相似度准则，计算特征块与匹配搜索窗中相同大小的所有匹配块之间的相似度；4)计算相似度最大匹配块子模块用于计算特征块与不同匹配块之间所有相似度的最大值，最大值对应的匹配块即为该特征块的最优散斑匹配块，对应的偏移量(Δx，Δy)即该特征块的偏移向量，偏移量为特征块中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块的中心点(x′，y′)坐标值计算得到；5)检测偏移量变化子模块，用于判断参考散斑图相对于输入散斑图的变化方向和大小，即激光散斑投射器和图像接收传感器之间光轴相对发生的变化方向和大小；6)调整参考散斑图像子模块，用于根据AP输出的最优偏移量对参考散斑图像进行反向调整；深度计算模块，用于根据校正后的参考散斑图像和输入散斑图像计算像素点的偏移量，利用X或Y方向的偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度。本专利技术提供的上述方法和装置可以有效的解决红外激光散斑投射器和红外接收图像传感器因为光轴发生变化所导致的深度精度下降、误匹配噪声增加等问题，实现智能手机中结构光深度相机的实时自校正，提高深度相机的鲁棒性。采用本专利技术技术方案的有益效果将通过以下实施例的阐述而得到具体的体现。附图说明图1是智能手机的结构光深度相机自校正装置的结构框图；图2是智能手机的结构光深度相机自校正方法的流程图；图3是激光散斑图案示意图；图4是参考散斑图特征块及匹配搜索窗示意图；图5是自校正过程的流程图；图6是AP手动控制过程的流程图；图7是求取图像旋转角度方法的示意图。具体实施方式下面结合附图1-7对本发本文档来自技高网...

【技术保护点】
1.一种智能手机结构光深度相机自校正的方法，其特征在于：该方法包括以下步骤：步骤1，红外激光散斑投射器投射散斑图像，图像接收传感器接收所投射的散斑图像，并生成输入散斑图像和参考散斑图像；步骤2，检测参考散斑图像相对于输入散斑图像的光轴变化，并根据最优偏移量对参考散斑图像进行校正；步骤3，对输入散斑图像的每个像素点在参考散斑图像中搜索最优匹配块，得到偏移量(Δx′，Δy′)，利用所述偏移量计算该像素点的深度信息。

【技术特征摘要】
2017.12.18 CN 2017113675738;2017.12.18 CN 201711361.一种智能手机结构光深度相机自校正的方法，其特征在于：该方法包括以下步骤：步骤1，红外激光散斑投射器投射散斑图像，图像接收传感器接收所投射的散斑图像，并生成输入散斑图像和参考散斑图像；步骤2，检测参考散斑图像相对于输入散斑图像的光轴变化，并根据最优偏移量对参考散斑图像进行校正；步骤3，对输入散斑图像的每个像素点在参考散斑图像中搜索最优匹配块，得到偏移量(Δx′，Δy′)，利用所述偏移量计算该像素点的深度信息。2.如权利要求1所述的方法，其特征在于：优选的，所述散斑图像包括随机散斑、规则符号阵列结构光、随机散斑+规则符号的混合结构光散斑。3.如权利要求1或2所述的方法，其特征在于：步骤2进一步包括：步骤2.1，对参考散斑图像和输入散斑图像进行预处理，在参考散斑图像中设定特征块，并在输入散斑图像中提取与所述特征块中心点对应的点为中心的匹配搜索窗；步骤2.2，在所述匹配搜索窗内提取与特征块相同大小的匹配块，通过相似度准则计算所述匹配块与所述特征块之间的相似度，其中最大相似度所对应的匹配块即为最优匹配块；步骤2.3，提取最优匹配块的中心点，并计算特征块中心点与匹配块中心点之间的偏移量；步骤2.4，检测步骤2.3得到的偏移量，将所述偏移量输出到手机AP端并求取最优偏移量；步骤2.5，根据最优偏移量反向上下或左右整体调整参考散斑图像的位置。4.如权利要求3所述的方法，其特征在于：所述步骤2.2中的相似度计算方式具体为归一化互相关NormalizedCrossCorrelationMethod(NCC)相似度准则公式或者差绝对值之和SAD公式其中，n0为匹配块像素点个数或特征块像素点个数，即m×n，xi，j表示特征块中像素点的值，yi，j表示匹配块中像素点的值。5.如权利要求1或2所述的方法，其特征在于：步骤3进一步包括：在输入散斑图像中提取图像块，在经过校正的参考散斑图像中提取匹配搜索窗，并在所述匹配搜索窗内提取与输入图像块大小相同的匹配块，计算输入图像块与匹配块的SAD值，或NCC相似度，SAD值或NCC相似度值最小对应的匹配块，作为最优匹配块，该最优匹配块中心点相对于匹配搜索窗中心点的位置的偏移量，作为输入图像块的偏移量；最后根据深度信息计算公式获取输入图像块中心点的深度信息。6.如权利要求5所述的方法，其特征在于：所述深度信息计算公式具体为：其中，最优偏移量Δm等于匹配搜索窗中心点x坐标值减去最优匹配块中心点x′坐标值，或匹配搜索窗中心点y坐标值减去最优匹配块中心点y′坐标值，Δm有正负，d为参考散斑图像的已知距离、.f为图像接收传感器焦距、S为红外激光散斑投射器与图像接收传感器之间的基线距离，μ为图像接收传感器像素点点距参数。7.一种智能手机结...

【专利技术属性】
技术研发人员：葛晨阳，谢艳梅，周艳辉，
申请(专利权)人：西安交通大学，宁波盈芯信息科技有限公司，
类型：发明
国别省市：陕西,61