【技术实现步骤摘要】
本专利技术涉及双目立体视觉，具体是一种基于立体视觉的海上目标识别与定位方法。
技术介绍
1、目前，智能船舶研究蓬勃发展。无人船母舰“珠海云”的下水，是对智能船舶未来的领先布局，智能化船舶已经成为船舶发展的必然方向。作为船舶避碰及路径规划的关键前置技术，目前海上目标识别领域的图像识别技术远远落后于陆上图像识别技术，大多数船舶是利用船舶自动识别系统(ais)进行海上目标识别，但是ais数据具有局限性：在船载导航设备故障或信号受到人为干扰的情况下，将丧失对海面目标正常定位的能力。同时，ais系统无法满足船舶静默情况下对周围环境的感知能力。这极大影响了船舶避碰及路径规划的实船效果。特别是在无线电静默条件下的自主航行，在没有雷达等高性能传感器的情况下，对基于图像的海面目标识别与定位技术提出了更高的需求。另外，由于图像传感器具有低功耗低硬件成本的优势，算法的提升可以有效提高船舶运营经济性和运营效率。与此同时，随着嵌入式平台对深度学习算法专用硬件单元(npu)的加入，船用低功耗边缘计算设备处理大量传感器数据的能力不断提高，尤其是针对深度图像信息处理的张量单元(tensorcore)的加入，通过对图像处理算法的优化提升智能船只态势感知能力的前提条件已经成熟，通过图像识别算法实现的被动式海面目标感知技术可以有效提升智能船舶自主航行时的态势感知能力，进而有效提升自主航行的安全性和鲁棒性。
2、基于深度学习的图像识别技术的研究中，由于图像样本具有数量大、单个样本中像素点多的特点，首先对样本进行特征提取是必要的。一些传统的特征提取的方法如：
3、数据经过特征提取后，利用支持向量机、径向基神经网络、bp神经网络等方法对其进行分类与识别，但是随着数据量的增加，传统的方法很难处理一些领域的大数据，而深度学习概念的提出，为此提供了一个很好的解决方案。一些对传统方法的改进方案也应运而生，如深度卷积神经网络、深度支持向量机、深度置信网络等方法。其中，深度卷积神经网络对图像处理方面的应用最为广泛。
4、在目标定位的方面，图像识别虽然可以将目标在图像中进行标注，但是仅能获得角度信息，无法检测到目标在空间中的相对位置。因此通常需要利用双目视觉，单目视觉，点云语义分割算法，在图像识别后对目标进行三维空间中的定位。
5、随着自动驾驶技术不断发展，基于深度学习的图像识别技术对于车辆的自动驾驶的意义被广泛认可，随着各大科研机构及公司的技术攻关，国内外对于陆上典型的目标进行识别及定位的方法日渐成熟。l peiliang提出了通过双目立体图像来进行目标跟踪及角度跟踪的方法，并提出stereo r-cnn进行算法实现。yuguang等提出了立体中点网络(stereo centernet)利用双目图像的几何信息来对三维空间中的目标进行检测及定位以支撑车辆的自动驾驶应用。同时，随着目标检测网络的逐渐深入，针对检测物特征在空间及通道上的分布概率对算法进行针对性调整成为图像识别领域的重要改进形式。但以上算法都是针对陆上应用场景进行设计，基于深度学习的图像识别技术在海上目标识别中应用较少，往往作为与雷达信息进行数据融合的补充检测手段。
技术实现思路
1、本专利技术提出stereoyolo算法，通过引入双目视觉和注意力机制对yolov5单目目标检测算法进行改进，从而实现海上目标进行识别与定位。通过在主干特征提取网络中引入注意力机制，利用海上目标识别任务中目标特征在通道及空间上的典型分布规律，算法应用了坐标注意力模块及卷积注意力模块，以实现相似网络参数量的前提下，提高海上目标识别任务性能的目的。同时，针对海上目标定位问题，stereoyolo算法利用海面目标距离优化算法提升了海面摇晃状态下目标测距结果的稳定性。
2、本专利技术所采用的技术方案为：一种基于立体视觉的海上目标识别与定位方法，其特征在于：包括stereoyolo海上目标识别与运动状态检测算法、实验平台搭建、模型训练与实验；
3、所述stereoyolo海上目标识别与运动状态检测算法具体如下：
4、s1：目标识别与运动状态检测流程：通过双目摄像机的左右摄像头分别获取到左、右图像。将左图像输入融合注意力的深度目标识别网络，经过数据增强、主干特征提取网络、加强特征提取网络后获得目标锚框。在锚框内选取由左右图像输入后进行特征点匹配，对选取的特征点进行视差-深度转换，得到特征点的三维相对坐标信息，通过双目测距算法进行解算，再由k-聚类算法对多特征点距离信息进行聚类后获得目标距离。
5、s2：双目立体视觉模型，其双目视觉算法为：o1和o2分别为左、右相机成像平面的中心点坐标，其像素坐标分别为(uo1,vo1)和(uo2,vo2)，o1x1y1z1和o2x2y2z2分别为左、右相机坐标系。目标特征点xc在左相机坐标系下的坐标为(x,y,z)，即其投影在左相机成像平面x1o’1y1上的投影点为p1，在右相机成像平面x2o’2y2上的投影的对应投影点为p2，图中o1o’1和o2o’2分别为左右相机镜头的的焦距f。
6、通过目标检测得到海上目标特征点xc在左、右相机成像平面上投影点p1,p2的齐次像素坐标：p1＝(u1,v1)和p2＝(u2,v2)。则特征点xc与投影点齐次坐标p1、p2的关系如式(1)所示：
7、
8、此时，xc在左相机坐标系o1x1y1z1下的三维坐标值如式(2)所示：
9、
10、在海上目标检测任务中，需要考虑海上目标的实际距离，在实际海况的风浪流下，海上目标检测平台姿态呈现不稳定性，一般都会有六个运动状态，分别为：横摇(roll)、横荡(sway)、纵摇(pitch)、纵荡(surge)、首摇(yaw)、垂荡(heave)，使得摄像头坐标系相对世界坐标系产生角度偏移，进而导致目标检测距离数据产生下偏差。为解决由于摄像头坐标系相对世界坐标系的角度偏移导致的偏差，需要引入x轴及z轴方向的距离，以减小由于海上目标相对测量方向的角度偏移所导致的误差。此时，xc在左相机坐标系o1x1y1z1下的绝对距离d如式(3)所示：
11、
12、此时，d为特征点到双目相机左摄像头坐标系的绝对距离。针对陆上目标定位的双目算法只考虑z轴距离，stereoyolo算法通过同时考虑实际海况下海上目标检测平台姿态的不稳定性引起的x轴及y轴偏差，对海上目标测距进行了针对性改进。
13、s3：改进型海上目标检测算法，包括算法框架、主干提取网络、特征提取网络、检测头、损失函数、引入注意力机制的海上目标检测算法。
14、所述实验平台搭建采用1.8m船长实验船作为目标，通过对实验平台进行目标检测、测距及定位实验以验证海上目标识别算法的目标检测准确度及测距误差，从而对目标定位算法进行验证。
本文档来自技高网...【技术保护点】
1.一种基于立体视觉的海上目标识别与定位方法，其特征在于：包括StereoYOLO海上目标识别与运动状态检测算法、实验平台搭建、模型训练与实验；
2.根据权利要求1所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述式(1)中s1、s2为比例系数，M1、M2分别为左、右相机经过矫正后得到的的内参矩阵，R和t表示左相机坐标系中右相机的相对旋转矩阵及平移向量；
3.根据权利要求1所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述算法框架具体为：
4.根据权利要求3所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述YOLOv5由模型的大小可以划分为YOLOv5n，YOLOv5s，YOLOv5m，YOLOv5l，YOLOv5x；五种模型权重依次叠加；算法基于YOLOv5s检测模型的基础上进行改进。
5.根据权利要求1所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述模型训练与评价指标根据海上目标识别的任务需要，利用公开数据集Seaships7000数据集进行数据增强后对模型进行训练，数据
...【技术特征摘要】
1.一种基于立体视觉的海上目标识别与定位方法，其特征在于：包括stereoyolo海上目标识别与运动状态检测算法、实验平台搭建、模型训练与实验；
2.根据权利要求1所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述式(1)中s1、s2为比例系数，m1、m2分别为左、右相机经过矫正后得到的的内参矩阵，r和t表示左相机坐标系中右相机的相对旋转矩阵及平移向量；
3.根据权利要求1所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述算法框架具体为：
4.根据权利要求3所述的一种基于立体视觉的海上目标识别与定位方法，其特征在于：所述yolov5由模型的大小可以划分为yolov5n，yolov5s，yolov5m，yolov5l，yolov5x；五种模型权重依次...
【专利技术属性】
技术研发人员：俞万能，商逸帆，曾广淼，吴跃高，李慧慧，
申请(专利权)人：集美大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。