本申请公开一种结构光图像立体匹配方法、系统、设备及存储介质，所述匹配方法包括控制光束发射装置中的各发光阵列子集在调制周期内的不同编码周期按照编码调制信号的设定顺序依次点亮或熄灭，并向目标投射散斑结构光信号；控制接收装置在每个编码周期采集经目标反射后的子散斑点图像帧，并由单个调制周期内的所有子散斑点图像帧生成散斑编码图像帧；对所述散斑编码图像帧进行匹配计算，得到目标深度图像。本发明专利技术散斑编码图像帧中的散斑点不仅包括空间位置信息，还包括时间维度信息，提高了左右相机同名散斑点匹配计算时的唯一性，从而提高了立体匹配的计算精度、计算效率以及深度图像分辨率。图像分辨率。图像分辨率。
【技术实现步骤摘要】
结构光图像立体匹配方法、系统、设备及存储介质
[0001]本申请涉及3D视觉
，具体地涉及一种结构光图像立体匹配方法、系统、电子设备及计算机可读存储介质。
技术介绍
[0002]基于结构光的3D视觉技术，近年来得到广泛的关注以及极大的发展。而利用深度相机的结构光深度成像被应用于电视、机器人、移动终端等设备上以实现体感交互、3D建模、避障以及人脸识别等功能。
[0003]由于距离不同目标反射散斑点相对于参考平面散斑图中的同名点会发生像素偏移(如图1所示)，该像素偏移作为视差用于计算目标深度图像，因此无论是单目结构光深度相机还是双目结构光深度相机都需要进行匹配计算。
[0004]目前，基于结构光的3D视觉图像立体匹配存在以下技术问题：
[0005](1)单纯的单目结构光3D视觉技术深度测量距离较短、深度分辨率较低，而且容易受环境光干扰；
[0006](2)在问题(1)的基础上，有些方案将结构光与双目立体视觉相结合，虽然利用散斑点的空间位置信息在一定程度上可以提高深度感知分辨率和深度测量精度，但受DOE(即衍射光学元件)工艺散斑点的空间位置随机性不足等因素影响，会加剧双目立体匹配计算的错误率，无法实现高精度的立体匹配计算。
[0007]本
技术介绍
描述的内容仅为了便于了解本领域的相关技术，不视作对现有技术的承认。
技术实现思路
[0008]基于此，本专利技术实施例意图提供一种结构光图像立体匹配方法、系统、电子设备及计算机可读存储介质，以解决目前双目结构光深度相机匹配计算精度低的问题。
[0009]在第一方面，本专利技术实施例提供了一种结构光图像立体匹配方法，包括：
[0010]控制光束发射装置中的各发光阵列子集在调制周期内的不同编码周期按照编码调制信号的设定顺序依次点亮或熄灭，并向目标投射散斑结构光信号；
[0011]控制接收装置在每个编码周期采集经目标反射后的子散斑点图像帧，并由单个调制周期内的所有子散斑点图像帧生成散斑编码图像帧；
[0012]对所述散斑编码图像帧进行匹配计算，得到目标深度图像。
[0013]进一步地，所述编码调制信号是由控制装置根据光束发射装置中发光阵列子集数量编码生成的二进制编码序列。
[0014]进一步地，控制光束发射装置中的各发光阵列子集在调制周期内的不同编码周期按照编码调制信号的设定顺序依次点亮或熄灭的具体实现过程为：
[0015]将所述调制周期分为n个编码周期，其中n由发光阵列子集数量确定；
[0016]在调制周期的第1个编码周期，控制光束发射装置中编码为1的发光阵列子集均点
亮，编码为0的发光阵列子集均熄灭，生成第1个编码周期的散斑结构光信号；
[0017]在调制周期的第2个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第2个编码周期的散斑结构光信号；
[0018]依此类推，在调制周期的第i个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第i个编码周期的散斑结构光信号；
[0019]在调制周期的第n个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第n个编码周期的散斑结构光信号。
[0020]进一步地，所述光束发射装置包括垂直腔面发射激光器VCSEL阵列和分束器，所述VCSEL阵列由多个发光阵列子集组成，且每个所述发光阵列子集至少包含一个发光单元；
[0021]所述VCSEL阵列中的所有发光单元在半导体载板上按照预设二维图案排列。
[0022]进一步地，所述分束器为DOE或空间光调制器SLM。
[0023]进一步地，所述接收装置为双目相机或单目相机，所述双目相机包括位于同一基线上的左相机单元和右相机单元，所述左相机单元和右相机单元均包括图像传感器、滤光片和光学镜头。
[0024]进一步地，所述散斑编码图像帧包括参考散斑编码图像帧和目标散斑编码图像帧，对所述散斑编码图像帧进行匹配计算的具体实现过程为：
[0025]在所述参考散斑编码图像帧上确定匹配窗口，其中所述匹配窗口至少包括一个独立散斑点；
[0026]基于所述匹配窗口中散斑点的空间位置特性和时间特性，在所述目标散斑编码图像帧中搜索匹配块；
[0027]计算匹配窗口与匹配块的视差，得到目标深度图像。
[0028]进一步地，所述匹配窗口中独立散斑点的数量由匹配计算精度和匹配计算速度来确定。
[0029]在本专利技术实施例中，在第二方面，本专利技术实施例提供了一种结构光图像立体匹配系统，包括：
[0030]光束发射装置，被配置为在控制装置的控制下，在调制周期内的不同编码周期按照编码调制信号的设定顺序依次点亮或熄灭各发光阵列子集，并向目标投射散斑结构光信号；
[0031]接收装置，被配置为在控制装置的控制下，在每个编码周期采集经目标反射后的子散斑点图像帧，并由单个调制周期内的所有子散斑点图像帧生成散斑编码图像帧；
[0032]控制装置，被配置为生成编码调制信号，并根据编码调制信号对光束发射装置和接收装置进行控制，以及对所述散斑编码图像帧进行匹配计算，得到目标深度图像。
[0033]进一步地，所述控制装置包括处理器、存储单元和电源单元；所述处理器包括调制信号发生器、照明驱动单元、深度引擎单元、图像信号处理器和校准补偿模块；
[0034]所述调制信号发生器，被配置为生成编码调制信号；
[0035]所述照明驱动单元，被配置为根据编码调制信号驱动各发光阵列子集点亮；
[0036]深度引擎单元，被配置为对所述散斑编码图像帧进行匹配计算，得到目标深度图像；
[0037]图像信号处理器，被配置为接收所述接收装置发送的散斑编码图像帧；
[0038]校准补偿模块，被配置为对所述散斑编码图像帧进行补偿及校准。
[0039]进一步地，所述照明驱动单元包括多个独立的照明驱动输出电路通道；各所述照明驱动输出电路通道与对应的发光阵列子集耦合；
[0040]所述照明驱动单元，被配置为根据编码调制信号在对应编码周期激活至少一个对应的照明驱动输出电路通道，并激活点亮对应的发光阵列子集。
[0041]进一步地，所有发光阵列子集被配置为共驱动电源负极，每个所述发光阵列子集的正极分别与对应的照明驱动输出电路通道连接。
[0042]进一步地，所述照明驱动单元，还被配置为根据编码调制信号对各发光阵列子集输出光信号的频率及振幅进行调制。
[0043]进一步地，所述调制为弦波调制、线性频率调制、多频调制、脉冲波调制中的一种或多种组合。
[0044]在第三方面，本专利技术实施例提供一种电子设备，包括：处理器和存储有计算机程序的存储器，所述处理器被配置为在运行计算机程序时执行任一本专利技术实施例的结构光图像立体匹配方法。
[0045]在第四方面，本专利技术实施例提本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结构光图像立体匹配方法，其特征在于，所述方法包括：控制光束发射装置中的各发光阵列子集在调制周期内的不同编码周期按照编码调制信号的设定顺序依次点亮或熄灭，并向目标投射散斑结构光信号；控制接收装置在每个编码周期采集经目标反射后的子散斑点图像帧，并由单个调制周期内的所有子散斑点图像帧生成散斑编码图像帧；对所述散斑编码图像帧进行匹配计算，得到目标深度图像。2.根据权利要求1所述的结构光图像立体匹配方法，其特征在于：所述编码调制信号是由控制装置根据光束发射装置中发光阵列子集数量编码生成的二进制编码序列。3.根据权利要求1所述的结构光图像立体匹配方法，其特征在于：控制光束发射装置中的各发光阵列子集在调制周期内的不同编码周期按照编码调制信号的设定顺序依次点亮或熄灭的具体实现过程为：将所述调制周期分为n个编码周期，其中n由发光阵列子集数量确定；在调制周期的第1个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第1个编码周期的散斑结构光信号；在调制周期的第2个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第2个编码周期的散斑结构光信号；依此类推，在调制周期的第i个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第i个编码周期的散斑结构光信号；在调制周期的第n个编码周期，控制光束发射装置中编码为1的发光阵列子集均点亮，编码为0的发光阵列子集均熄灭，生成第n个编码周期的散斑结构光信号。4.根据权利要求1所述的结构光图像立体匹配方法，其特征在于：所述光束发射装置包括垂直腔面发射激光器VCSEL阵列和分束器，所述VCSEL阵列由多个发光阵列子集组成，且每个所述发光阵列子集至少包含一个发光单元；所述VCSEL阵列中的所有发光单元在半导体载板上按照预设二维图案排列。5.根据权利要求1所述的结构光图像立体匹配方法，其特征在于：所述接收装置为双目相机或单目相机，所述双目相机包括位于同一基线上的左相机单元和右相机单元，所述左相机单元和右相机单元均包括图像传感器、滤光片和光学镜头。6.根据权利要求1～5中任一项所述的结构光图像立体匹配方法，其特征在于：所述散斑编码图像帧包括参考散斑编码图像帧和目标散斑编码图像帧，对所述散斑编码图像帧进行匹配计算的具体实现过程为：在所述参考散斑编码图像帧上确定匹配窗口，其中所述匹配窗口至少包括一个独立散斑点；基于所述匹配窗口中散斑点的空间位置特性和时间特性，在所述目标散斑编码图像帧中搜索匹配块；计算匹配窗口与匹配块的视差，得到目标深度图像。7.根据权利要求...
【专利技术属性】
技术研发人员：王赟，张官兴，
申请(专利权)人：上海埃瓦智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。