本申请涉及一种车载多波段立体视觉感知方法、装置、设备和介质，方法包括：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；将左可见光图像、右可见光图像和红外图像进行图像融合，得到重建图像；根据重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对特征点所在的区域匹配权值，根据权值，计算与感知目标的目标距离；根据外形信息和目标距离，为车辆对感知目标做出决策。采用本方法能够进行目标的立体感知。知。知。
【技术实现步骤摘要】
一种车载多波段立体视觉感知方法、装置、设备和介质
[0001]本申请涉及视觉识别
，特别是涉及一种车载多波段立体视觉感知方法、装置、设备和介质。
技术介绍
[0002]立体视觉是一个古老的研究课题，同时又是人类观察世界、认知世界的重要功能和手段。人类从外界获得的信息约有75%来自双目视觉系统，用机器模拟人类双眼的视觉功能是人们多年的梦想。立体视觉(Stereo Vision)是机器视觉的一种重要形式，它是基于视差原理并利用成像设备从不同的位置获取被测物体的两幅图像，通过计算图像对应点间的位置偏差，来获取物体三维几何信息的方法，使我们可以获得明显的深度感，建立特征间的对应关系，将同一空间物理点在不同图像中的映像点对应起来，可以用于目标识别、目标感知、目标避障、场景SLAM构建、任务规划等，主要应用包括移动机器人的自主导航系统，航空及遥感测量，工业自动化系统等。
[0003]但是现有技术中，尚未有从复杂环境和实时性出发，开发适于无人车用的小型化的车载多波段立体视觉感知单元。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种车载多波段立体视觉感知方法，能够适用于无人车和复杂环境，并实时进行目标的立体感知。
[0005]一种车载多波段立体视觉感知方法，包括：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
[0006]在其中一个实施例中，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；
对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。
[0007]在其中一个实施例中，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。
[0008]在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目红外相机中的任意一个。
[0009]在其中一个实施例中，所述参数标定包括：在标定板上绘制棋盘格，并在所述棋盘格上安装定位装置；使用所述标定板，依次标定所述左相机的内参、所述右相机的内参和所述单目红外相机的内参；使用所述标定板，标定左相机与右相机之间的外参，并同时标定双目可见光相机与单目红外相机之间的外参；移动所述标定板，利用定位装置标定所述相机相对大地坐标的外参。
[0010]在其中一个实施例中，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之后，还包括：分别对所述左可见光图像、所述右可见光图像和所述红外图像进行感知目标的目标识别，得到所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息包括：将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，并将所述左可见光图像中的感知目标、所述右可见光图像中的感知目标和所述红外图像中的感知目标进行融合，得到重建图像和重建图像中的感知目标；根据所述重建图像中的感知目标，得到感知目标的外形信息。
[0011]在其中一个实施例中，所述目标识别均采用基于深度学习的识别方法进行。
[0012]一种车载多波段立体视觉感知装置，包括：
拍摄模块，用于分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；外形获得模块，用于将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；距离获得模块，用于检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；感知模块，用于根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
[0013]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。
[0014]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种车载多波段立体视觉感知方法，其特征在于，包括：分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像；所述双目可见光相机包括左相机与右相机；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像；根据所述重建图像，得到感知目标的外形信息；检测左可见光图像中的感知目标，利用模板匹配右可见光图像中的感知目标；对左可见光图像中的感知目标和右可见光图像中的感知目标进行特征点匹配，利用误差平方和算法对所述特征点所在的区域匹配权值，根据所述权值，计算与感知目标的目标距离；根据所述外形信息和所述目标距离，为车辆对所述感知目标做出决策。2.根据权利要求1所述的方法，其特征在于，将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到重建图像包括：所述左可见光图像和所述右可见光图像均为高分辨率图像，所述红外图像为低分辨率图像；将所述左可见光图像、所述右可见光图像和所述红外图像进行图像融合，得到高分辨率的融合图像与高分辨率的可见光图像；所述融合图像是将所述左可见光图像或所述右可见光图像与所述红外图像融合得到的；所述可见光图像为未与所述红外图像融合的所述左可见光图像或所述右可见光图像；对所述融合图像进行分区，得到高分辨率融合区与低分辨率融合区；分别对所述高分辨率融合区与所述低分辨率融合区进行多尺度处理，得到多尺度高分辨率融合区与多尺度低分辨率融合区；对所述可见光图像进行多尺度处理，得到多尺度可见光图像；对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像。3.根据权利要求2所述的方法，其特征在于，对所述多尺度高分辨率融合区、所述多尺度低分辨率融合区与所述多尺度可见光图像进行整合，得到重建图像包括：对所述多尺度低分辨率融合区与所述多尺度可见光图像进行叠加，得到叠加图像；对所述多尺度高分辨率融合区与所述叠加图像进行整合，得到整合图像；对所述整合图像，采用模糊c均值聚类和字典学习的方式进行超分辨率重建，得到重建图像。4.根据权利要求1所述的方法，其特征在于，在分别采用双目可见光相机与单目红外相机对感知目标进行拍摄，得到感知目标的左可见光图像、右可见光图像和红外图像之前，还包括：对所述双目可见光相机和所述单目红外相机进行参数标定；所述参数包括：左相机的内参、右相机的内参、左相机与右相机之间的外参、单目红外相机的内参、双目可见光相机与单目红外相机之间的外参以及相机相对大地坐标的外参；所述相机是指所述左相机、所述右相机和所述单目...
【专利技术属性】
技术研发人员：方斌，徐硕，
申请(专利权)人：湖南警察学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。