【技术实现步骤摘要】
本专利技术涉及计算机视觉与图像处理，具体为可见光图像与红外图像的异源图像配准及双目定位方法。
技术介绍
1、可见光图像是通过捕捉可见光(人眼能够看到的光谱范围内的光)形成的图像；红外图像是通过捕捉红外线(波长比可见光长的电磁波)形成的图像；异源图像配准是将来自不同传感器、不同时间、不同视角或不同条件下获取的图像对齐，使得这些图像在空间上匹配；双目定位是一种基于立体视觉的技术，通过使用两个摄像头来获取物体的三维信息和空间位置；
2、在起重机械工作过程中，由于人员行为导致的安全事故发生频繁，易导致各类意外伤亡；传统的工人危险区域入侵检测一般是通过rfid(radio frequencyidentification)、uwb(ultra wide band)、gps(global positioning system)等定位技术来获取人和机械的位置信息，再将其整合进bim(building information modeling)建筑模型中，最后通过服务器的判断、分析、处理、传输，从而对现场人员的不安全行为进行监控。但这些方式实际操作过程比较复杂，要求工人始终佩戴传感器，而且干扰工人的正常操作，也给管理工作增加负担；
3、随着图像处理技术的发展和视频采集设备的普及，利用图像处理实现人员识别和定位已成为人们关注的重点；而传统的单用可见光相机进行现场数据获取受光照、环境的局限性大，难以获取全面信息；
4、目前常见的可见光图像与红外图像配准方法主要分为区域的配准方法和基于特征的配准方法两种；但基于区域的
5、基于特征的图像配准算法大多是设计相应策略尽可能将图像中需要关注目标的显著特征提取出来，随后计算图像对之间特征的相关性进行特征匹配计算；这些方式更适合应用于工业场所；但由于可见光图像与红外图像的成像原理不同，二者的前景与背景之间常常会出现对比度反转的现象，红外图像也更容易包含大量噪声点，因此在对二者进行特征提取时往往会出现各式各样的错误匹配的情况，而由于可见光图像与红外图像的配准问题存在，在可见光相机和红外相机之间直接进行双目定位也具有极大难度。
技术实现思路
1、本专利技术的目的在于提供可见光图像与红外图像的异源图像配准及双目定位方法，以解决上述
技术介绍
中提出的问题。
2、为了解决上述技术问题，本专利技术提供如下技术方案：可见光图像与红外图像的异源图像配准及双目定位方法，该方法包括以下步骤：
3、s1、分别获取可见光相机采集的图像(左目图像)和红外相机采集的图像(右目图像)；
4、s2、对由可见光相机和红外相机组成的双目视觉系统进行标定，获取双目相机的标定参数，得到双目图像，其中，所述标定参数包括可见光相机和红外相机的内参、外参和畸变参数；
5、s3、对可见光图像和红外图像进行立体校正，消除双目图像之间的畸变，使得双目图像中的左目图像和右目图像在水平方向上对齐；若可见光相机与红外相机为上下位置摆放则将两张图片逆时针旋转90°后再进行校正对齐，获得校正后的可见光图像image_vis和校正后的红外图像image_ir；
6、s4、利用yolov8算法分别对校正后的可见光图像和红外图像进行目标检测及语义分割，识别出感兴趣的目标区域，得到目标类别并根据其语义分割结果创建感兴趣目标的掩码轮廓图像；
7、s5、对完成校正的红外掩码图像和可见光掩码图像进行对应特征点提取及匹配；
8、s6、输出双目图像及配对点的坐标，计算已匹配特征点的视差并取其均值作为目标视差；
9、s7、通过视差及标定参数得到重投影矩阵，利用三角测量原理计算目标图像在实际空间中的三维坐标；
10、所述感兴趣的目标区域是指在图像或视频中需要被特别关注和处理的特定对象区域；
11、所述yolov8算法是一种目标检测算法。
12、在步骤s2中，对由可见光相机和红外相机组成的双目相机进行标定，包括：使用红外相机专用的12×9棋盘格标定板，每个棋盘格大小为30mm×30mm，精度为0.01mm，标定板黑色格子后设置有加热电阻，白色电阻为常规板，给标定板通电将黑色棋盘格加热到35℃后用可见光相机和红外相机组成的双目相机采集所述棋盘格标定板不同位姿的10～20对图像，使用matlab的标定工具箱stereo camera calibrator进行标定，获得双目相机的内参矩阵m、外参平移矩阵t及旋转矩阵r、径向畸变系数k1，k2，k3与切向畸变系数p1，p2。在步骤s3中，对双目图像立体校正的具体方式为：
13、
14、其中，(u,v)为图像上的原始坐标，(u',v')为图像立体校正后的坐标，r为变量，k1，k2，k3为径向畸变参数；p1，p2为切向畸变参数。
15、在步骤s4中，使用目标检测算法yolov8对输入的校正后的可见光和红外图像进行目标检测及语义分割，识别出感兴趣的目标区域并根据语义分割结果创建目标掩码轮廓图像，具体包括以下步骤：
16、s4-1、将起重机现场自行拍摄的可见光图像及红外图像作为数据集，利用cvat对图像进行标注并输出掩码数据集掩码图像，将构建的训练数据集随机划分为训练集、验证集和测试集，比例为3:1:1；
17、s4-2、利用pytorch框架搭建好yolov8网络模型，设置好对应的网络训练参数，网络训练参数包括模型设置、训练设置、验证设置和测试设置；
18、s4-3、设置完成后，加载开源的预训练模型，并使用gpu开始训练，训练完成之后，得到在验证集中表现最优的yolov8语义分割网络模型；
19、s4-4、将可见光图像、红外图像各自输入到训练好的目标检测网络中，输出物体识别的信息，包括物体的类别和检测框的位置信息及目标掩码信息；
20、所述cvat(computer vision annotation tool)是一种用于计算机视觉任务的标注工具。
21、所述通过yolov8语义分割构建的可见光图像及红外图像的掩码轮廓图像，通过yolov8语义分割获取待检测目标的轮廓点信息并将其映射到预先制作好的与原始图像分辨率大小相同的纯黑色图像上，并将轮廓点之间的部分用白色图像进行多边形填充，最终形成图像的掩码二值图。
22、所述纯黑色图像是像素值为0的图像；
23、所述白色图像是像素值为255的图像；
24、在步骤s5中，对立体校正后的可见光图像和红外图像的掩码轮廓图像进行特征点提取及匹配，具体包括以下步骤：
25、s5-1、利用orb算子对完成立体校正的可见光掩码图像和红外掩码图像进行特征点提取，获得两掩码图像的特征点点集points_vis和points_ir；
26、s5-2、利用brief算子对points_vis和points_ir进本文档来自技高网...
【技术保护点】
1.可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤S2中，
3.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤S3中，
4.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤S4中，
5.根据权利要求3所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：所述通过YOLOv8语义分割构建的可见光图像及红外图像的掩码轮廓图像，通过YOLOv8语义分割获取待检测目标的轮廓点信息并将其映射到预先制作好的与原始图像分辨率大小相同的纯黑色图像上，并将轮廓点之间的部分用白色图像进行多边形填充，最终形成图像的掩码二值图；
6.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤S5中，
7.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在
8.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤S7中，
9.根据权利要求4所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤S4-3中，
...【技术特征摘要】
1.可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：该方法包括以下步骤：
2.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤s2中，
3.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤s3中，
4.根据权利要求1所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：在步骤s4中，
5.根据权利要求3所述的可见光图像与红外图像的异源图像配准及双目定位方法，其特征在于：所述通过yolov8语义分割构建的可见光图像及红外图像的掩码轮廓图像，通过yolov8语义分割...
【专利技术属性】
技术研发人员：陈洪良，张燕超，刘兵，江乃波，明阳，许飞云，
申请(专利权)人：江苏省特种设备安全监督检验研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。