基于人工智能的摄像机下运动目标的检测定位方法及系统技术方案

本发明专利技术提供了一种基于人工智能的摄像机下运动目标的检测定位方法及系统，包括：提取步骤：利用改进的预设网络提取图像中的目标；级联匹配步骤：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；GIOU匹配步骤：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；位置约束步骤：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。本发明专利技术基在yolov5原有spp模块上加入ASF，更有利于高低层特征的自适应融合及精准定位目标。合及精准定位目标。合及精准定位目标。

【技术实现步骤摘要】
基于人工智能的摄像机下运动目标的检测定位方法及系统


[0001]本专利技术涉及运动目标的检测及定位的
，具体地，涉及一种基于人工智能的摄像机下运动目标的检测定位方法及系统，尤其是，优选的涉及一种基于人工智能的移动摄像机下运动目标的检测及定位方法。

技术介绍

[0002]运动目标跟踪技术是计算机视觉领域近期研究的热点问题，其广泛运用于各种视频监控、安防、智能交通、自动驾驶等领域。近年来，随着深度学习、目标检测等技术的发展，多目标跟踪技术已经取得了很大的进步。目标跟踪的算法能够在目标检测的基础上，利用获取的目标信息，对不同类的不同目标进行区分，并持续跟踪。同时，对于相机运动的情况，主要是相机会安装在移动平台上或者是相机本身的方位角以及俯仰角会发生变化，在这种情况下，一些基于静止相机的运动目标检测方法可能不再适用。
[0003]对于近几年的研究来说，按照其基本原理的不同，大致可以分为以下四类：基于几何约束、基于占用网格、基于运动补偿以及基于深度学习。其中，前三类都是无需检测信息，主要通过两帧或多帧图像进行对比搜索的方式提取到目标特征，几何约束的方法基本上都是通过RANSAC(随机抽样一致性算法)来实现的，占用网格的方法则是利用占用网格的特性进行运动目标检测，而运动补偿的方式是利用相机自身产生的运动矢量进行补偿，从而实现等效为背景静止的情况。基于深度学习的方式则是一种端到端的实现方法，利用目标检测技术实现目标特征提取，计算量以及学习成本比较高，但是鲁棒性以及精度却更高，是当前比较主流的目标跟踪方法。
[0004]随着神经网络技术的发展，基于深度学习的目标跟踪方式得到了更好的发展，Ma C.[1]等人提出了基于分层卷积特征的视觉跟踪算法，其将VGG网络提取的特征与相关滤波结合，获得了不错的跟踪性能，但这个算法对尺度大小变换比较敏感。Bewley[2]等人提出了一种简单的实时跟踪算法SORT，该算法利用卡尔曼和匈牙利算法实现多目标跟踪，降低了计算量，但身份变换次数比较多。在此基础上，Wojke[3]等人针对于该问题，在SORT算法基础上加入了关联匹配和外观特征度量，提出DeepSort算法，改善了遮挡问题，显著减少身份变换问题，但依然存在漏检追踪不到的问题。在deepsort基础上，李永上[4]等人通过调整其特征提取网络的结构，降低了其身份变换的频率；李震霄[5]等人则是通过引入长短记忆网络，实现了多车辆目标的准确跟踪；黄凯文[6]等人引入改进的yolov4
‑
tiny模型对目标进行检测，使用匀加速卡尔曼滤波器优化行人运动模型，利用浅层分类网络重构外观特征矩阵，有效减少了计算量，提高任务精度和速度。
[0005][1]Ma C,Huang J B,Yang X,et al.Hierarchical convolutional features for visual tracking[C]//Proceedingof IEEE International Conference on Computer Vision.IEEE.2015:3074
‑
3082.
[0006][2]Bewley A,Ge Z,Ott L,et al.Simple online and realtime tracking[C]//Proceedingof 2016IEEE International Conference on Image Processing.IEEE,2016:
3464
‑
3468.
[0007][3]Wojke N,Bewley A,Paulus D.Simple online and realtime tracking with a deep association metric[C]//Proceedingof 2017IEEE International Conference on Image Processing.IEEE,2017:3645
‑
3649.
[0008][4]李永上，马荣贵，张美月.改进YOLOv5s+Deep
‑
SORT的监控视频车流量统计[J].计算机工程与应用,2022,58(5):271
‑
279.
[0009][5]李震霄，孙伟，刘明明，等.交通监控场景中的车辆检测与跟踪算法研究[J].计算机工程与应用，2021,57(8):103
‑
111.
[0010][6]黄凯文,凌六一,王成军,等.基于改进YOLO和DeepSORT的实时多目标跟踪算法[J].电子测量技术,2022(006):045.
[0011]公开号为CN115359021A的中国专利技术专利文献公开了一种基于激光雷达和相机信息融合的目标定位检测方法，步骤为：S1、对检测场景3D点云数据进行预处理，得到可视化场景点云图；S2、采用点云分割算法对可视化场景点云图进行分割，得到3D目标物体区域点云图；S3、从3D目标物体区域点云图中挑选出模板目标物体点云图；S4、实时采集检测场景的3D点云数据和2D图像，按步骤S1、S2的操作对待检测3D点云数据进行处理，得到待检测3D目标物体区域点云图；采用神经网络对2D图像进行目标物体检测，生成目标物体检测检测结果图；S5、将目标物体检测结果图与待检测3D目标物体区域点云图融合，得到待检目标物体区域融合点云图；S6、将待检目标物体区域融合点云图与模板目标物体点云图配准，得到待检目标物体区域融合点云图中目标物体的位姿信息。
[0012]移动摄像机下运动目标的检测与定位的研究应用意义巨大，随着时代的交叠更替进步，相关跟踪算法的应用环境也愈发复杂，遇到的挑战亦随之增加。为了能够快速准确得检测到摄像机拍摄下的目标并进行有目的地跟踪，就必须保证目标跟踪算法的准确性。
[0013]针对上述中的相关技术，专利技术人认为目前移动摄像机下的运动目标检测与定位技术所面临的难点主要有：(1)基于图像的目标跟踪方式主要是依赖于图像上的二维信息，而在实际的应用过程中，往往需要目标的空间信息作为跟踪的依据。(2)目标跟踪过程中，由于目标尺寸不一降低了目标检测算法的精度，导致漏检错检，漏跟踪及错跟踪的问题。(3)在目标跟踪的过程中，若目标被背景干扰物遮挡或者是移动摄像机下的视野中目标发生模糊的情况，目标的外观信息缺少，导致模型更新到背景上，随着跟踪误差的累积，跟踪器会发生跟踪失败。

技术实现思路

[0014]针对现有技术中的缺陷，本专利技术的目的是提供一种基于人工智能的摄像机下运动目标的检测定位方法及系统。
[0015]根据本专利技术提供的一种基于人工智能的摄像机下运动目标的检测定位方法，包括如下步骤：
[0016]提取步骤：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标；
[0017]级联匹配步骤：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，包括如下步骤：提取步骤：对预设网络进行改进，移动摄像机拍摄图像，利用改进的预设网络提取图像中的目标；级联匹配步骤：通过卡尔曼滤波算法预测和更新目标的运动轨迹，并基于匈牙利算法对预测的运动轨迹和当前帧的检测结果进行匹配；GIOU匹配步骤：利用广义交并比GIOU对匹配不成功的预测运动轨迹和检测结果进行关联匹配；位置约束步骤：对于GIOU匹配不成功的预测运动轨迹，根据运动目标通过相对定位算法计算目标相对载体的位置，计算跟踪与检测结果中距离最近的目标，重新更新状态。2.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，在所述提取步骤中，特征金字塔结构引入自适应的多尺度融合技术，通过特征信息的双向流动，网络对不同尺寸目标进行检测和识别；在yolov5网络的SPP模块上引入自适应空间融合ASF，通过固定尺寸的池化技术生成不同感受野的上下文特征图，然后通过ASF模块对通道信息进行压缩得到空间注意力图，通过加权融合，生成多尺寸的上下文信息。3.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，所述级联步骤包括如下步骤：卡尔曼预测目标步骤：在摄像机移动的过程中，通过图像信息目标运动运动趋势，结合相机参数和目标在图像中的位置获取目标的空间位置信息，解算出目标的相对位置；在目标跟踪的基础上，构建目标运动模型，得到目标运动状态的估计；通过具有等速运动和线性观测模型特点的卡尔曼滤波器对目标轨迹状态进行预测和更新；系统利用上一时刻的检测框和运动速度参数，预测出当前时刻相对应的参数信息，将预测值和观测值进行线性加权，得到接近当前系统实际状态的预测值；外观特征匹配步骤：利用余弦度量计算卡尔曼预测结果与检测结果之间的最小值，其中，d
(1)
(i,j)表示第j个检测框与第i个轨迹的最小余弦距离；r
j
为第j个目标检测的特征向量；为第k次跟踪成功的特征向量集合；计算余弦相似度；R
i
表示第i个轨迹的外观信息仓库，保存目标成功匹配的外观描述；T表示转置；当最小值≤预设阈值时，表示关联匹配成功；运动特征匹配步骤：利用马氏距离描述卡尔曼预测的结果与检测结果之间的关联程度，其中，d
(2)
(i,j)为坐标关联损失矩阵；d
j
表示第j个检测结果状态向量；y
i
表示第i个预测结果状态向量；S
i
表示检测结果与所有跟踪结果平均值之间的协方差矩阵；S
i
‑1表示矩阵S
i
的逆；
当距离≤预设阈值时，表示关联匹配成功；加权融合步骤：对运动特征和外观特征进行线性加权作为最终的关联匹配，表达式为其中，λ值是加权系数，C
i,j
表示融合后的关联矩阵；匹配级联步骤：针对检测器分配跟踪器，跟踪器设定参数；如果跟踪器完成匹配并进行更新，参数重置为0，否则加1；根据参数对跟踪器划分先后顺序。4.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，在所述GIOU匹配步骤中，对初始化的目标无法确认的追踪，采用GIOU匹配关联进行追踪；假设目标预测框的面积为A，检测框的面积为B，C表示包含A和B的最小矩形框面积，则目标预测框和检测框的广义交并比S
GIOU
为5.根据权利要求1所述的基于人工智能的摄像机下运动目标的检测定位方法，其特征在于，在所述位置约束步骤中，对于GIOU匹配未成功的跟踪集中的跟踪轨迹未匹配跟踪集，寻找未匹配到的检测结果中距离最近的目标；重新更新匹配集和未匹配集。6.一种...

【专利技术属性】
技术研发人员：林敏，郭威，张浩博，戚悦宇，
申请(专利权)人：华东计算技术研究所中国电子科技集团公司第三十二研究所，
类型：发明
国别省市：