【技术实现步骤摘要】
本专利技术涉及智能检测领域，具体涉及基于低照度的红外和可见光图像的双目检测方法及系统。
技术介绍
1、双目立体视觉属于智能检测一个应用领域，双目检测的基本原理主要是三角测量原理，即以视差来判定物体与相机基线之间的距离。双目检测大致需要经过以下步骤，相机标定(参数基本一致)、立体校正(含畸变矫正)、立体匹配算法、视差图计算以及深度图计算。双目算法的研究在帮助理解人体视觉是如何进行深度感知的同时，还在许多领域得到了应用，如三维重建、辅助驾驶系统，跟踪匹配算法等等。例如公布号为cn111260773a的现有专利技术专利申请文献《小障碍物的三维重建方法、检测方法及检测系统》方法包括：通过双目相机和结构光深度相机分别获取地面图像，对所述地面图像的占主体的背景执行稠密重建，采用所述双目相机对梯度较大的图像位置进行稀疏特征重建；通过视觉处理技术提取三维的点云，采用“减背景”检测方法对所述小障碍物的点云进行分离检测；将所述小障碍物的点云映射到图像，执行图像分割获得目标图像；采用融合方案对所述目标图像进行三维重构获取完整密集点云。但双目算法测量结果的好坏很大程度上取决于视差计算精度、相机重叠区域的大小等重要指标，此外在低照度(例如夜视)情况下由于弱光图像信号极弱易导致检测失效。
2、可见光(vis)与近红外(nir)图像融合是增强低照度检测的途径之一。通过近红外探测通道，利用nir图像丰富细节信息进一步增强vis图像，提高vis图像恢复的信噪比。但vis-nir融合在暗光环境下往往会带有大量噪声，且nir图像含有部分短波红外波段信息，
3、综上，现有技术存在关键信息缺失、视觉伪影、弱光条件下难以输出深度图以及检测易失效的技术问题。
技术实现思路
1、本专利技术所要解决的技术问题在于：如何解决现有技术中关键信息缺失、视觉伪影、弱光条件下难以输出深度图以及检测易失效的技术问题。
2、本专利技术是采用以下技术方案解决上述技术问题的：基于低照度的红外和可见光图像的双目检测方法包括：
3、s1、对红外相机、可见光相机进行标定操作，以得到相机标定参数；
4、s2、利用红外相机及可见光相机采集红外图像、可见光图像，以根据相机标定参数，处理得到校正映射表、重投影矩阵，据以进行vis-nir立体矫正操作，得到立体矫正结果图像；
5、s3、变换处理立体矫正结果图像，以得到灰度图像、直方图，据以设置灰度阈值，在灰度图像低于阈值时，触发并执行图像增强操作，通过对灰度图像，进行vis/nir多帧曝光融合hdr，绘制等间距平行线，以进行像素对齐，获取配准图像；
6、s4、利用sobel算子，对配准图像，进行信息匹配计算，以利用一致性检验算法，获取一致性检验结果，据以进行立体视差深度信息计算，以得到深度图像，获取并滤波处理视差图像，获取滤波视差图像，融合处理滤波视差图像、深度图像，以得到双目检测结果。
7、本专利技术通过相机标定操作获取相机参数，并得到重投影矩阵q。以多帧曝光融合hdr、图像部分融合来提高低光照极低信噪比，增强图像在暗光条件下的检测效果，进行图像处理后得到标准对齐的vis-nir配准图像。再对可见光、近红外图像一致性检验，以及立体匹配和深度信息融合的方法，解决了可见光与近红外图像结构信息不一致导致的关键信息缺失和视觉伪影问题。
8、在更具体的技术方案中，步骤s2包括：
9、s21、利用remap函数、矫正映射表进行畸变矫正，重映射处理对红外图像、可见光图像的像素；
10、s22、利用投影变换矩阵q，完成重映射变换操作，据以得到立体矫正结果图像。
11、在更具体的技术方案中，步骤s3包括：
12、s31、在vis/nir多帧曝光融合hdr的操作中，根据预置水平垂直差分、预置线性方程组，求解照度图t，以作为灰度图像；
13、s32、对灰度图像，带入增强权重与最大熵增函数，以求解曝光图，叠加合成不少于2张的曝光图，以完成图像增强的操作，得到配准图像。
14、在更具体的技术方案中，步骤s32中，将灰度图像作为原始图像，根据原始图像及参考图像，进行转移矩阵平移、加权融合操作。
15、在更具体的技术方案中，根据预置sobel算子边缘图，进行全局平均池化，以得到参考图像。
16、在更具体的技术方案中，步骤s4包括：
17、s41、检验配准图像，得到获取vis-nir边缘图；
18、s42、获取vis-nir边缘图的pixel值，判断pixel值是否满足预置条件；
19、s43、若是，则根据配准图像，处理得到vis矩阵、nir矩阵；
20、s44、执行：con(vis_p，nir_p)>＝index，判断像素的匹配状态；
21、s45、在相素匹配为1，或相似不匹配为0时，根据立体矫正结果中的图像特征，处理得到一致性结果矩阵con_matrix；
22、s46、在一致性结果矩阵con_matrix全为0或1时，根据立体匹配算法sgbm处理vis-nir边缘图，以得到视差图像，带入相机标定参数，据以换算处理滤波视差图像、深度图像，完成立体信息与深度图融合操作，得到双目检测结果。
23、本专利技术使用参考图像为sobel算子边缘图经全局平均池化后的结果，将边缘图像与平均池化图像相差值像素小于0的覆盖为0，其余设为1，最终得到参考图像的结构图。能在一定程度上减弱噪声影响，并改善提取到的特征图质量。
24、本专利技术将可见光与近红外图像深度信息融合迁移到双目检测任务中，有益于解决传统双目检测算法在低照度条件下检测失效的问题。
25、在更具体的技术方案中，步骤s42，还包括：
26、s421、对，进行sobel算子处理，将配准图像中的对应像素值带入预置一致性方程，以进行信息匹配计算，得到信息匹配结果；
27、s422、利用信息匹配结果，得到图像部分融合触发信息以及vis与nir图像矩阵相乘信息。
28、在更具体的技术方案中，步骤s421中，利用下述逻辑，表达预置一致性方程：
29、con(pv,pn)＝pv*pn.+λ(1-pn)(1-pv)
30、式中，v和n分别表示vis图像和nir图像，p表示经sobel算子获得后获得的像素值，λ为表示比例参数。
31、在更具体的技术方案中，步骤s46中，根据立体匹配算法sgbm，利用下述逻辑，处理得到深度图像：
32、
33、式中，l、r代指左右相机，f为焦距长度，b为基线长度，d为视差，yr与yl为两个vis与nir相机主点列坐标。
34、本专利技术通过一致性检验后得到的边缘图，送入调整了调整通道数、最本文档来自技高网...
【技术保护点】
1.基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S2包括：
3.根据权利要求1所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S3包括：
4.根据权利要求3所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S32中，将所述灰度图像作为原始图像，根据所述原始图像及参考图像，进行转移矩阵平移、加权融合操作。
5.根据权利要求4所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，根据预置sobel算子边缘图，进行全局平均池化，以得到所述参考图像。
6.根据权利要求1所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S4包括：
7.根据权利要求6所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S42，还包括：
8.根据权利要求7所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S
9.根据权利要求6所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤S46中，根据所述立体匹配算法SGBM，利用下述逻辑，处理得到所述深度图像：
10.基于低照度的红外和可见光图像的双目检测系统，其特征在于，所述系统包括：
...【技术特征摘要】
1.基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述方法包括：
2.根据权利要求1所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤s2包括：
3.根据权利要求1所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤s3包括：
4.根据权利要求3所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，所述步骤s32中，将所述灰度图像作为原始图像，根据所述原始图像及参考图像，进行转移矩阵平移、加权融合操作。
5.根据权利要求4所述的基于低照度的红外和可见光图像的双目检测方法，其特征在于，根据预置sobel算子边缘图，进行全局平均池化，以得到所述参考图...
【专利技术属性】
技术研发人员：汤明炜，黄宇，董若曦，魏凯，张学军，
申请(专利权)人：江淮前沿技术协同创新中心，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。