一种激光散斑图像深度感知方法及装置制造方法及图纸

本发明专利技术公开了一种激光散斑图像深度感知方法，其中，经图像预处理后的输入散斑图和参考散斑图写入多条行存形成输入散斑窗、参考散斑窗，在输入散斑窗中提取中心点相同、窗口大小不同的图像块，对应参考散斑图中的匹配搜索窗，以全搜索策略和求最小SAD方法，搜寻各自的最佳匹配块，得到最佳偏移量，再通过与参考阈值比较，自适应选择某一图像块对应的最佳偏移量作为当前图像块中心点的最优偏移量，并通过深度计算公式计算得到其深度信息。本发明专利技术还公开了相应的深度感知装置。本发明专利技术通过多窗口自适应匹配，可降低大范围搜索匹配块的误匹配噪声，同时保持深度图的细节、提高X-Y方向识别小物体深度的能力，并使输出的深度图最优化。

【技术实现步骤摘要】

本专利技术属于图像处理、自然交互和集成电路
，具体涉及一种激光散斑图像深度感知方法及装置。
技术介绍
自然和谐的人机交互方式是人类对操控机器的理想目标，使机器能读懂人在自然状态所传递的命令。利用图像处理技术获取深度信息进行三维图像的实时识别及动作捕捉，使人能以表情、手势、体感动作等自然方式与终端进行交互成为可能。深度感知技术是人机自然交互的核心技术，在机器视觉、智能监控、三维重建、体感交互、3D打印等领域有着广泛的应用前景，已逐步从游戏机外设拓展到其它智能终端，包括智能电视、智能手机、PC/平板电脑、智能家电等，为用户带来“科幻”般的操控方式和全新的人机交互体验。基于结构光的主动视觉模式可以较为准确地获取图像的深度信息，比如通过红外激光投射固定模式的图像到物体表面，经物体表面的漫反射形成散斑点，由图像传感器采集获得散斑图像，再通过图像深度感知芯片计算获得物体的深度信息。该结构光模式相比双目立体摄像头，具有获取的深度图信息更稳定可靠、不受环境光影响、立体匹配过程简单、算法计算量小等优势。如微软的体感交互设备Kinect就是采用红外结构光的主动视觉模式。
技术实现思路
鉴于此，本专利技术提供了一种激光散斑图像深度感知方法及装置，旨在通过多窗口自适应匹配，降低大范围搜索匹配块的误匹配噪声，同时保持深度图的细节、提高X-Y方向识别小物体深度的能力，并使输出的深度图最优化。为实现以上专利技术目的，本专利技术采用以下技术方案：一种激光散斑图像深度感知方法，包括以下步骤：步骤1、将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；步骤2、在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；步骤3、采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间SAD(即图像块与匹配块对应像素之间差的绝对值之和)；步骤4、并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，其中所述最佳偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块中心点(x1，y1)坐标值计算得到；步骤5、根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；步骤6、利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度信息；步骤7、将输入散斑图像块中心点移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后再重复步骤1～6，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。一种激光散斑图像深度感知装置，包括：输入散斑窗和参考散斑窗生成子模块，用于将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；输入图像块和匹配搜索窗提取子模块，用于在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；求差绝对值之和SAD子模块，用于采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间的SAD(即图像块与匹配块对应像素之间差的绝对值之和)；求最小SAD子模块，用于并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块的中心点(x1，y1)坐标值计算得到；最优偏移量输出子模块，用于根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；深度计算子模块，用于利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度，并且，当前像素点的深度值计算完成后，将输入散斑图像块中心点移到同一行的下一个像素点上，利用输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块，计算得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，利用输入散斑窗和参考散斑窗生成子模块、输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。采用本专利技术技术方案的有益效果将通过以下实施例的阐述而得到具体的体现。附图说明图1是本专利技术实施例的多窗口匹配深度感知结构框图；图2是本专利技术实施例的整体流程框图；图3是本专利技术实施例的输入散斑窗或参考散斑窗结构图；图4是本专利技术实施例的输入图像块及参考散斑搜索窗示意图；图5是本专利技术实施例的输入图像块与最优匹配块之间偏移量示意图；图6是本专利技术实施例的图像块求取差绝对值之和SAD结构图；图7是本专利技术实施例的列加法器结构图；图8是本专利技术实施例的并行结构求最小SAD结构图；图9是本专利技术实施例的选择输出最优偏移量示意图。具体实施方式下面结合附图对本专利技术进行进一步的详细说明。图1是本专利技术实施例的激光散斑图像深度感知装置结构框图，该装置包括输入散斑窗和参考散斑窗生成子模块、输入图像块和匹配搜索窗提取子模块、求差绝对值之和SAD子模块、求最小SAD子模块、最优偏移量输出子模块、深度计算子模块。输入散斑窗由外部图像传感器采集获得的输入散斑图序列，经预处理后根据场同步和行同步信号逐行送入到N条行存组成；参考散斑窗是由固化在内部或外部存储器中、深度距离信息已知、并经过与输入散斑窗数据相同预处理的参考散斑数据逐行读入到N条行存组成，其读入的行数据位置(第k～第k+N-1行，k为整数)与本文档来自技高网...

【技术保护点】
一种激光散斑图像深度感知方法，包括以下步骤：步骤1、将输入散斑图和参考散斑图根据场同步、行同步信号同时读入各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；步骤2、在输入散斑窗中提取中心点相同、大小不同的复数个输入图像块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜索窗；步骤3、采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索窗中相同大小的匹配块之间SAD(即图像块与匹配块对应像素之间差的绝对值之和)；步骤4、并行计算复数个输入图像块和不同匹配块之间所有SAD的最小值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移量(Δx，Δy)即该输入图像块的运动向量，其中所述最佳偏移量为参考散斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块中心点(x1，y1)坐标值计算得到；步骤5、根据偏移量大小和设定的阈值，从由复数个输入图像块分别计算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像块中心点的运动向量；步骤6、利用X或Y方向的最优偏移量，根据深度计算公式计算输入散斑图像块中心点对应的深度信息；步骤7、将输入散斑图像块中心点移到同一行的下一个像素点上，重复步骤2～6，得到下一个像素点对应的深度值；一行所有像素点的深度值计算完成后再重复步骤1～6，读入以下一行为中心行、N行大小的输入散斑窗和参考散斑窗，计算下一行像素点对应的深度值，如此逐点、逐行计算得到输入散斑图像对应的深度图。...

【技术特征摘要】
1.一种激光散斑图像深度感知方法，包括以下步骤：
步骤1、将输入散斑图和参考散斑图根据场同步、行同步信号同时读入
各自的N条行存中，形成N行大小的输入散斑窗、参考散斑窗；
步骤2、在输入散斑窗中提取中心点相同、大小不同的复数个输入图像
块，在参考散斑窗中提取与输入图像块中心点位置对应、一定范围的匹配搜
索窗；
步骤3、采用并行SAD计算模块并行计算复数个输入图像块与匹配搜索
窗中相同大小的匹配块之间SAD(即图像块与匹配块对应像素之间差的绝对
值之和)；
步骤4、并行计算复数个输入图像块和不同匹配块之间所有SAD的最小
值，最小值对应的匹配块即为该输入图像块的最佳匹配块，对应的最佳偏移
量(Δx，Δy)即该输入图像块的运动向量，其中所述最佳偏移量为参考散
斑窗中心点坐标值(x，y)分别按X、Y轴减去最佳匹配块中心点(x1，y1)坐标值
计算得到；
步骤5、根据偏移量大小和设定的阈值，从由复数个输入图像块分别计
算得到的复数个最佳偏移量中选择输出最优偏移量，作为当前输入散斑图像
块中心点的运动向量；
步骤6、利用X或Y方向的最优偏移量，根据深度计算公式计算输入散
斑图像块中心点对应的深度信息；
步骤7、将输入散斑图像块中心点移到同一行的下一个像素点上，重复
步骤2～6，得到下一个像素点对应的深度值；一行所有像素点的深度值计
算完成后再重复步骤1～6，读入以下一行为中心行、N行大小的输入散斑

\t窗和参考散斑窗，计算下一行像素点对应的深度值，如此逐点、逐行计算得
到输入散斑图像对应的深度图。
2.根据权利要求1所述的方法，步骤1中，输入散斑图和参考散斑图
在读入前均经过图像自适应预处理，所述预处理包括Bayer视频格式转换或
ITU601、ITU656、MIPI接口格式转换、色度空间转换、灰度图像自适应去
噪和增强。
3.根据权利要求1所述的方法，步骤3中，计算每个输入图像块与匹
配搜索窗中相同大小的匹配块之间的SAD包括：
对于m×n的输入图像块，从k＝1开始，计算该图像块与匹配块第k列对
应像素的m个差绝对值，将该m个差绝对值同时送入第一列加法器中相加，
得到第k列对应的差绝对值和，每得到一个差绝对值和，将其送入一个由多
个延时单元串接的时延寄存器中，以流水线方式进行延时，直至第一列加法
器得到第k＝n列对应的差绝对值和，再将全部n列对应的差绝对值和同时送
入第二列加法器中相加，输出该输入图像块与匹配块之间的SAD值。
4.根据权利要求1所述的方法，步骤5中，在所述复数个输入图像块
对应的最佳偏移量中，将最大图像块对应的最佳偏移量与参考阈值进行比
较，若该偏移量大于参考阈值，则选择大图像块对应的最佳偏移量作为最优
偏移量输出；若该偏移量小于参考阈值，则选择较小图像块计算得到的最佳
偏移量作为最优偏移量输出。
5.根据权利要求4所述的方法，若所述复数个输入图像块的个...

【专利技术属性】
技术研发人员：葛晨阳，郑南宁，赵季中，姚慧敏，杨意，
申请(专利权)人：西安交通大学，
类型：发明
国别省市：