一种基于多目图像传感器的信号处理方法及系统技术方案

本发明专利技术公开了一种基于多目图像传感器的信号处理方法，包括：A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；B)对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；C)通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。本发明专利技术通过多组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像，对采集的图像进行融合换算等处理，能精确还原被拍摄空间的三维纵深坐标信息，应用于汽车自动驾驶道路路况识别以及多目标障碍物检测跟踪、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等。

A signal processing method and system based on multi eye image sensor

The invention discloses a method of signal processing, multi camera based on image sensor includes: A) using multiple groups of at least two camera stereo image sensor, each at least two multi view images; B) images for each stereo image sensor signal fusion and parallel processing, and disparity calculation points the depth of information space is taken according to the pixel fusion; C) the establishment of three-dimensional image parallax matrix by point disparity information, 3D depth information through the disparity matrix conversion point coordinate photographed space. The present invention through multiple sets of at least two camera stereo image sensor, each at least two multi view image fusion processing, conversion of the image can be accurately restored, 3D depth coordinate information space is taken, applied to the automatic vehicle driving road status recognition and target tracking and obstacle detection for autonomous navigation robots, unmanned aerial vehicles, geographic mapping, 3D space environment detection and reconstruction.

【技术实现步骤摘要】
一种基于多目图像传感器的信号处理方法及系统
本专利技术涉及多目立体机器视觉的人工智能领域，主要一种基于多目图像传感器的信号处理方法及系统。
技术介绍
目前在汽车自动驾驶、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等领域，使用的图像处理技术基本上以单目摄像传感器为主，即便有双目(双视点)的方法也都很难实时呈现被拍摄空间的三维影像和多目标跟踪，而在上述领域，对于空间的识别、目标的检测、以及三维重建等实时性的需求是一个亟待解决的工程技术问题。
技术实现思路
本专利技术要解决的技术问题是提供一种更好地识别三维空间环境的基于多目图像的信号处理方法及系统。为了解决上述技术问题，本专利技术提供了一种基于多目图像传感器的信号处理方法，包括：A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；B)对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；C)通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。进一步地，所述步骤A)还包括通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别。进一步地，所述步骤A)中在每一帧图像上标注微秒级精度的时间码和帧码。进一步地，所述多组立体图像传感器中，主视角为三视点的立体图像传感器，其余为双视点立体图像传感器。进一步地，在持续时间内处理换算多个被拍摄空间的三维纵深坐标信息，对比多个所述三维纵深坐标信息追踪被拍摄空间内的移动目标。进一步地，对所述被拍摄空间内一定距离范围的目标进行距离、时间、相位信息定量标注。进一步地，通过被拍摄空间的三维纵深坐标信息生成被拍摄空间内的环视视差3D点云图像。为了解决上述技术问题，本专利技术提供了一种基于多目图像传感器的信号处理系统，包括：立体图像采集模块，包括多组、每组至少两个摄像头的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；图像信息计算模块，对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；空间坐标信息换算模块，通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。进一步地，还包括红外成像传感器，用以通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别。进一步地，还包括图像标注单元，用于在每一帧图像上标注微秒级精度的时间码和帧码。本专利技术通过多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像，对采集的图像进行融合换算等处理，能精确还原被拍摄空间的三维纵深坐标信息，应用于汽车自动驾驶道路路况识别以及多目标障碍物检测跟踪、自主导航机器人、无人驾驶飞行器、地理测绘、三维空间环境检测与重建等。附图说明图1是本专利技术信号处理方法的流程图。图2是本专利技术信号处理系统的组件框图。图3是本专利技术的运行流程图。图4是本专利技术一种具体实施方式模块原理图。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明，以使本领域的技术人员可以更好地理解本专利技术并能予以实施，但所举实施例不作为对本专利技术的限定。如图1所示，本专利技术一种基于多目图像传感器的信号处理方法，包括：步骤S101，使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；步骤S102，对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；步骤S103，通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。图2所示本专利技术的信号处理系统，包括立体图像采集模块10，包括多组、每组至少两个摄像头的立体图像传感器，多组所述立体图像传感器用以采集多路、每路至少双视点图像；图像信息计算模块20，对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；空间坐标信息换算模块30，通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。本专利技术的多组立体图像传感器采用立体空间内不同相位的至少双视点立体摄像头，实时拍摄可见光与非可见光的空间内多路、每路双视点视差图像，优选采用的每秒钟帧数率为30-60帧图像信号，以对空间场景内的固定和移动目标，进行有效的立体视差拍摄。优选地，本专利技术还包括图像标注单元，优选用于在每一帧图像上标注微秒级精度的时间码和帧码，还可用于标注镜头号、相位组号等标识信息。在不同的空间相位有效地抓取固定场景和移动目标动态图像信息，一方面可以更加准确的记录场景与目标的起始变化过程，另一方面由于采用了多组摄像头，通过两个摄像头的视差信息可以计算出空间内场景与移动目标的深度信息。这种方法在目标识别的准确率、精度和稳定性方面比单组摄像头进行图像识别要提高很多。由于环境光线明暗变化对于可见光图像识别有一定的干扰性，为了提高整体系统的可靠性、稳定性，本专利技术还可包括红外成像传感器，用以通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别，在立体空间的识别图像信号的采集过程中选择加入红外光主动成像传感器，通过红外光对空间主动扫描加强对空间场景三维信息的甄别，从而可以更加准确的判断场景与目标的视差信息，为后续的信号处理提供稳定可靠的空间信号源。本专利技术的多路信号数目不作具体限制，但该多路信号应至少两两分组，以采集至少双视点信号。优选地，用于采集多路信号的多组立体图像传感器中，主视角为可采集三路信号的三视点的立体图像传感器，其余为双视点立体图像传感器。如采101路信号可分为50个采集单元，其中主视角为三视点多目立体图像传感器，其余都为双视点立体图像传感器，这样可以精确拍摄应用场景中360度范围内的三维立体空间场景。本专利技术进行多路图像进行融合和视差计算时，多个立体图像传感器采集的立体对图分别送到处理器的对应处理单元，进行并行处理。首先是将每组立体对图信号进行两两或三三(主视角为三视点)的图像信号融合，在融合的基础上对每一组立体对图的相应像素点视差计算和比对，即将立体图对图像进行左右图信号融合比对，匹配、提取特征像素点，计算出目标像素点的视差信息。另外，本专利技术还在处理器中预留了前后动态图像帧间比对的计算空间，以运行于本专利技术相关的运动帧间光流信息，包括：图像信号中的角点检测、边缘轮廓、物体间距、结构点、纹理、明暗等信息。需要特别指出的是，用于本专利技术的处理器还应为不同工程应用场景的二次开发预留相应的接口。本专利技术进行视差矩阵转换及换算三维纵深坐标时，针对不同相位的多视点立体传感器图像视差的计算结果，用多组立体图像的立体图对像素点视差矩阵，将这些视差矩阵换算成被拍摄空间的360度环视空间坐标。即通过计算得出的视差信息建立每一对图像帧的像素视差矩阵，将视差矩阵换算成被拍摄场景的X、Y、Z三轴空间坐标系信息。并根据此坐标梳理被拍摄空间内的场景、物体、障碍物、静止与移动目标、景深距离等空间定量信息。优选地实施方式中，本专利技术可包括多目标识别与跟踪，应用时，在持续时间内处理换算多个被拍摄空间的三维纵深坐标信息，对比多个所述三维纵深坐标信息追踪被拍摄空间内的移动目标，通过移动目标的坐标改变追踪被拍摄空间内的移动目标。此时，系统将三维场景内本文档来自技高网...

【技术保护点】
一种基于多目图像传感器的信号处理方法，其特征在于，包括：A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；B)对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；C)通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。

【技术特征摘要】
1.一种基于多目图像传感器的信号处理方法，其特征在于，包括：A)使用多组、每组至少两个摄像头的立体图像传感器采集多路、每路至少双视点图像；B)对每组立体图像传感器采集的图像并行处理进行信号融合，并根据融合的像素计算点视差及被拍摄空间的深度信息；C)通过点视差信息建立立体图像点视差矩阵，通过点视差矩阵换算被拍摄空间的三维纵深坐标信息。2.根据权利要求1所述的信号处理方法，其特征在于，所述步骤A)还包括通过红外光对被拍摄空间主动扫描加强对空间场景三维信息的甄别。3.根据权利要求2所述的信号处理方法，其特征在于，所述步骤A)中在每一帧图像上标注微秒级精度的时间码和帧码。4.根据权利要求1所述的信号处理方法，其特征在于，所述多组立体图像传感器中，主视角为三视点的立体图像传感器，其余为双视点立体图像传感器。5.根据权利要求1～4中任一项所述的信号处理方法，其特征在于，在持续时间内处理换算多个被拍摄空间的三维纵深坐标信息，对比多个所述三维纵深坐标信息追踪被拍摄空间内的移动目标。6.根据权利要求1～4中任...

【专利技术属性】
技术研发人员：秦山，张徐亮，黄宏，王挺，
申请(专利权)人：秦山，张徐亮，黄宏，王挺，
类型：发明
国别省市：上海,31