一种跨摄像头船舶目标定位与关联方法技术

本发明专利技术公开了一种跨摄像头船舶目标定位与关联方法，具体涉及船舶定位技术领域，具体步骤如下：步骤一：架设多个相机并进行特征坐标点定位：特征坐标点指同时出现在多个相机上的标识物，若场景内存在较为显著的路标、水上的固定浮漂或其他指示物等，可直接获取其像素位置；若条件有限，可以人为在固定地点假设标志物，并获取像素位置。本提出的技术方案中建立了多摄像头多视角监督数据的智能化采集与基于深度学习的多视角特征提取与关联技术，采用同一算法模型对多个摄像头进行协同作业，避免了不同摄像头之间的人工作业与重复作业，同时使开放水域当中的目标识别不再受到视角的限制，避免了重复识别，提升了信息利用效率。提升了信息利用效率。提升了信息利用效率。

【技术实现步骤摘要】
一种跨摄像头船舶目标定位与关联方法


[0001]本专利技术涉及船舶定位
，更具体地说，本专利技术涉及一种跨摄像头船舶目标定位与关联方法。

技术介绍

[0002]随着图像识别技术与拍摄设备的不断发展，人们对开放水域场景下图像识别技术的智能化程度要求越来越高。过去的场景受到算法的限制，往往只局限在单一车道、水道或者近距离车牌设别、人脸识别这些场景下得到应用，这些技术难以直接移植到开放水域场景下，只有针对开放水域场景进行特定的算法开发与程序设计才能使图像识别技术得到进一步扩展应用。
[0003]由于单一摄像头的成像范围受到硬件限制与角度限制，因此开放水域场景下一般采用多摄像头协同作业的方式进行前端的目标定位与图像采集，并根据后端指令进行相机放大、截图抓拍等进阶功能。这种系统中每个摄像机存在一个固定的初始化角度，场景内的同一物体会以不同视角分别呈现在各个摄像机画面内，因而所获取的图像可能是同一个物体的不同角度图像，也可能是不同物体的图像，算法需要根据物体特征进行目标关联实现上述判断。
[0004]目前，针对图像识别的设备在进行识别作业时，往往只能针对单一摄像头内的图像进行识别，即根据摄像头原始采集的二维图像进行处理并生成最终的单一识别结果。但是，有时候开放水域场景下需要多个摄像头协同工作来完成图像识别服务。
[0005]现有的方案从样本采集算法开发都存在着很大的缺陷。在数据采集的过程当中，工作人员需要对场景内不同摄像头的图像目标进行人工目标关联，需要耗费大量的时间成本且存在一定的误判几率；而在图像识别算法当中，现有技术中的图像识别技术采用类似人脸识别或OCR识别技术，只能根据正面图像或者含有船号的图像进行判断与识别，还无法自动将不同摄像头拍摄到的二维图像或拍摄到的目标通过转换关联成为同一目标，因此目前的图像识别技术往往无法达到开放水域中船舶关联的研究要求

技术实现思路

[0006]为了克服现有技术的上述缺陷，本专利技术的实施例提供一种跨摄像头船舶目标定位与关联方法，以解决港口内多个摄像头针对同一目标或者多个目标同时定位时无法进行有效关联定位的技术问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种跨摄像头船舶目标定位与关联方法，具体步骤如下：
[0008]步骤一：架设多个相机并进行特征坐标点定位：
[0009]特征坐标点指同时出现在多个相机上的标识物，若场景内存在较为显著的路标、水上的固定浮漂或其他指示物等，可直接获取其像素位置；若条件有限，可以人为在固定地点假设标志物，并获取像素位置；
[0010]由于场景内存在数目不定的多个摄像机，某些特征坐标点不会被所有摄像机拍摄到，因此在实际实施过程中将每两个摄像机均要进行一次上述工作；
[0011]步骤二：对特征点进行对极几何约束求解，获得相机位姿矩阵；
[0012]通过相机标定，可以获得相机内参矩阵，结合特征点序列的像素坐标，可以推算出每个特征点对应的三维空间坐标，由于特征点是不同相机间相同坐标点的像素投影，因此所有特征点坐标差均应为0，因此可以建立对极几何约束方程：
[0013](1)使用相机内参矩阵和特征点像素坐标获得空间坐标序列；
[0014](2)基于相机位姿矩阵和空间坐标序列相乘为零构建等式；
[0015](3)求解等式，得到相机位姿矩阵；
[0016]步骤三：根据相机位姿矩阵，采集船舶多视角数据；
[0017]相机位姿矩阵是用于描述在不同相机画面之间的变量，假设第一部相机当中的特征点坐标序列为(x1，y1)，第二部相机当中的特征点坐标序列为(x2，y2)，通过某些特定的矩阵可将(x1，y1)转换为(x2，y2)，这个用于转换的矩阵被称为相机位姿矩阵，实际场景中，若摄像机A中在(x1，y1)处存在船舶，而摄像机B中摄像机A的转换位置(x2，y2)也存在船舶，则认为两个摄像机从不同角度拍摄到了同一艘船舶，其数据采集具体过程如下：
[0018](1)对某一相机检测到的船舶位置，使用相机位姿矩阵进行变换；
[0019](2)若目标相机图像在变换后的像素位置存在船舶目标，或其偏差小于阈值，标记为匹配成功；
[0020](3)针对匹配成功的数据，进行抓拍并传图像至后台，后台处进行标签登记；
[0021]步骤四：使用多视角数据进行深度学习训练与特征提取；
[0022]深度学习算法最终的输出为一个特征向量，这个特征向量用于对船舶的特征表示，步骤四的具体过程如下：
[0023](1)建立深度学习算法模型；
[0024](2)使用步骤三种的已登记标签为监督，相同监督标签内不同视角提取出的特征向量应具备极高相似度；
[0025](3)若相似度过低，则进行反向传播训练，直至所有数据均具备大于阈值的相似度；
[0026](4)若上一步骤失败，修改算法模型并重复上述步骤；若成功则输出最终深度学习算法模型；
[0027]步骤五：利用所得到的深度学习模型进行船舶目标特征提取与关联；
[0028](1)完成算法模型输出之后，使用模型针对所有已登记备案的船舶进行图像特征提取，并逐一登记在数据库内；后续当有船驶入监测水域时，使用相机进行定位抓拍，可进行跨相机的以及与后台数据库内的目标关联。具体步骤如下：
[0029](2)当有船驶入水域并被某一相机捕捉时，根据相机位姿矩阵变换到所有相机中进行目标多次捕捉；
[0030](3)对于成功捕捉目标的所有相机，进行抓拍与特征提取，输出特征向量。
[0031](3)与后台数据库当中的数据进行关联，取相似度最高结果作为船舶识别结果；若所有后台数据的相似度低于阈值，视为新船舶、未登记船舶等；
[0032](4)若后续其他相机内出现的船舶目标特征相似度与之前目标相同，可进行关联
并输出船舶行动轨迹等后处理信息。
[0033]在一个优选地实施方式中，所述步骤一中的特征点个数在20
‑
30个之间，最低不少于8个。
[0034]本专利技术的技术效果和优点：与现有技术相比，本专利技术提出的技术方案中建立了多摄像头多视角监督数据的智能化采集与基于深度学习的多视角特征提取与关联技术，采用同一算法模型对多个摄像头进行协同作业，避免了不同摄像头之间的人工作业与重复作业，同时使开放水域当中的目标识别不再受到视角的限制，避免了重复识别，提升了信息利用效率。
附图说明
[0035]图1为本专利技术的方法步骤示意图。
具体实施方式
[0036]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]一种跨摄像头船舶目标定位与关联方法，具体步骤如下：
[0038]步骤一：架设多个相机并进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨摄像头船舶目标定位与关联方法，其特征在于：具体步骤如下：步骤一：架设多个相机并进行特征坐标点定位：特征坐标点指同时出现在多个相机上的标识物，若场景内存在较为显著的路标、水上的固定浮漂或其他指示物等，可直接获取其像素位置；若条件有限，可以人为在固定地点假设标志物，并获取像素位置；由于场景内存在数目不定的多个摄像机，某些特征坐标点不会被所有摄像机拍摄到，因此在实际实施过程中将每两个摄像机均要进行一次上述工作；步骤二：对特征点进行对极几何约束求解，获得相机位姿矩阵；通过相机标定，可以获得相机内参矩阵，结合特征点序列的像素坐标，可以推算出每个特征点对应的三维空间坐标，由于特征点是不同相机间相同坐标点的像素投影，因此所有特征点坐标差均应为0，因此可以建立对极几何约束方程：(1)使用相机内参矩阵和特征点像素坐标获得空间坐标序列；(2)基于相机位姿矩阵和空间坐标序列相乘为零构建等式；(3)求解等式，得到相机位姿矩阵；步骤三：根据相机位姿矩阵，采集船舶多视角数据；相机位姿矩阵是用于描述在不同相机画面之间的变量，假设第一部相机当中的特征点坐标序列为(x1，y1)，第二部相机当中的特征点坐标序列为(x2，y2)，通过某些特定的矩阵可将(x1，y1)转换为(x2，y2)，这个用于转换的矩阵被称为相机位姿矩阵，实际场景中，若摄像机A中在(x1，y1)处存在船舶，而摄像机B中摄像机A的转换位置(x2，y2)也存在船舶，则认为两个摄像机从不同角度拍摄到了同一艘船舶，其数据采集具体过程如下：(1)对某一相机检测到的船舶位置，使用相机位姿矩阵进行变换；(2)若目标相机图像在变换后的像素位置...

【专利技术属性】
技术研发人员：徐熠，葛磊，邵和祥，张福临，
申请(专利权)人：山东易华录信息技术有限公司，
类型：发明
国别省市：