【技术实现步骤摘要】
本专利技术涉及无人机，尤其是涉及一种无人机集群多视角融合航拍港口监控方法、系统、介质。
技术介绍
1、现有技术中，面对如港口车辆以及人员等入侵的威胁，传统港口监控方法主要依靠单架无人机按照既定路线巡航，传统单架无人机监控方法存在不可避免的受到港口复杂地形因遮挡物而存在监控盲区，进而导致目标物识别丢失、无法跟踪的问题，同时单一视角无法对目标物进行立体位置测量。因此，传统无人机监控方法已经无法满足如今大型无人码头对于车辆等入侵安防需求。
2、同时，由于在无人机航拍大尺度下的例如车辆等弱小目标信息特征较少，传统的特征提取及目标识别网络如yolov5等无法对弱小目标进行特征提取与识别，单台无人机单一视角也会存在因港口地形复杂而遮挡目标进而无法连续提取特征的情况发生。因此，如何有效改进现有神经网络来对弱小目标进行多角度的特征匹配和提取，以解决弱小目标识别精确度低、误报率高等问题，是本领域亟需解决的技术难题。
3、因此，需要一种无人机集群多视角融合航拍港口安全监控方法，以解决传统单架无人机监控方法中存在的易受遮挡物影响而丢失目标信息，传统特征提取及目标识别网络对于大尺度下弱小目标及目标遮挡导致无法提取目标特征，单一视角无法对目标进行立体位置测量等问题。为港口安全监控提高效率和准确性，减少潜在车辆和人员等入侵威胁发生，在港口安全领域提供更可靠的保障。
技术实现思路
1、本专利技术的目的是使用无人机集群，使用改进优化的特征提取网络，通过多视角融合对弱小目标多视角特征提取并对
2、本专利技术的克服上述现有技术存在的缺陷而提供一种无人机集群多视角融合航拍港口监控方法、系统、介质，提高港口监控的及时发现、及时响应能力。
3、本专利技术的目的可以通过以下技术方案来实现：
4、本专利技术的一个方面，提供了一种无人机集群多视角融合航拍港口监控方法，包括如下步骤：
5、通过路径规划将无人机集群部署至港口待巡查区域；
6、采集无人机集群的多视角视频流，通过改进后的弱小移动目标识别跟踪方法得到目标识别结果；
7、针对所述视频流进行多视角特征提取和多视角特征匹配，为每个目标分配唯一的标签；
8、基于无人机的坐标以及所述标签，利用无人机集群多视角中的每两个摄像头的目标识别结果计算置信度，对目标进行立体定位。
9、作为优选的技术方案，通过弱小移动目标识别跟踪得到目标识别结果的过程包括：
10、利用基于hrnet的两段式检测神经网络计算瓦尔斯坦距离作为弱小目标gt框的重合度，得到弱小目标的目标识别结果。
11、作为优选的技术方案，所述的多视角目标识别结果包括多视角目标类别信息、多视角目标识别框信息和多视角目标置信度信息。
12、作为优选的技术方案，基于sift算法实现对多视角目标识别结果的特征提取，基于bf算法实现特征匹配。
13、作为优选的技术方案，多视角下目标的立体定位采用下式计算：
14、
15、其中，为运动目标的坐标，为置信度计算符，为由编号为1和n的摄像头经过双目视觉定位得到的坐标。
16、作为优选的技术方案，所述的多视角特征提取过程中，多视角特征点的梯度方向由下式确定：
17、
18、其中，为坐标在的像素点的灰度值，为处的梯度方向。
19、作为优选的技术方案，还包括如下步骤：
20、基于目标的类型和目标的坐标，生成监控报告。
21、本专利技术的另一个方面，提供了一种无人机集群多视角融合航拍港口监控系统，包括：
22、无人机集群全自动部署模块，用于将无人机集群部署至港口待巡查区域；
23、无人机集群港口安全无死区监控路径规划模块，用于实现无人机集群编队飞行控制和自适应无人机集群路径规划；
24、港口弱小移动目标识别及跟踪模块，用于各个无人机的视频流，通过改进优化后弱小移动目标识别跟踪得到目标识别结果；
25、多视角特征匹配模块，用于针对所述多视角视频流进行多视角特征提取和特征匹配，为每个目标分配唯一的标签；
26、基于置信度的多目视觉目标定位模块，用于利用无人机集群多目视觉中的每两个摄像头的目标识别结果计算置信度，得到目标的坐标。
27、作为优选的技术方案，所述的无人机集群自动部署模块包括无人机集群自动起降子模块、无人机集群自主循环充电子模块和无人机集群航拍设定子模块，所述无人机集群港口安全无死区监控路径规划模块包括无人机集群编队飞行控制子模块和可学习自适应无人机集群路径规划子模块。
28、本专利技术的另一个方面，提供了一种计算机可读存储介质，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行上述无人机集群多视角融合航拍港口监控方法的指令。
29、与现有技术相比，本专利技术具有以下有益效果：
30、提高港口监控的及时发现、及时响应能力：本申请使用无人机集群，使用改进优化的特征提取网络，通过多视角融合对弱小目标多视角特征提取并对目标进行多视角立体定位。本申请具有能够规避遮挡盲区影响、实现多视角无遮挡连续检测的能力；具有获得多角度目标物特征进行识别的能力；具有对弱小目标特征提取能力强、漏检误检率低的能力；具有使用多视角对目标进行精准立体定位的能力。改善了传统单一无人机难以避免的因遮挡物导致目标丢失的问题；改善了传统特征提取与目标识别网络无法对弱小目标提取特征的问题；改善了传统单一视角无法对目标进行立体定位的问题。
本文档来自技高网...【技术保护点】
1.一种无人机集群多视角融合航拍港口监控方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，通过针对弱小目标改进后的特征提取与目标识别网络得到目标识别结果的过程包括：
3.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，所述的目标识别结果包括多视角目标类别信息、多视角目标识别框信息和多视角目标置信度信息。
4.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，基于SIFT算法实现对多视角的目标识别结果的特征提取，基于BF算法实现特征匹配。
5.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，目标的坐标采用下式计算：
6.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，所述的特征提取过程中，特征点的梯度方向由下式确定：
7.一种无人机集群多视角融合航拍港口监控系统，其特征在于，包括：
8.根据权利要求7所述的一种无人机集群多视角融合航拍港口
9.一种计算机可读存储介质，其特征在于，包括供电子设备的一个或多个处理器执行的一个或多个程序，所述一个或多个程序包括用于执行如权利要求1-6任一所述无人机集群多视角融合航拍港口监控方法的指令。
...【技术特征摘要】
1.一种无人机集群多视角融合航拍港口监控方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，通过针对弱小目标改进后的特征提取与目标识别网络得到目标识别结果的过程包括：
3.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，所述的目标识别结果包括多视角目标类别信息、多视角目标识别框信息和多视角目标置信度信息。
4.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，基于sift算法实现对多视角的目标识别结果的特征提取，基于bf算法实现特征匹配。
5.根据权利要求1所述的一种无人机集群多视角融合航拍港口监控方法，其特征在于，目标的坐标采用下式计算：
6.根据...
【专利技术属性】
技术研发人员：宓超，王嘉祺，张钰洁，刘熠，何梦杰，沈阳，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。