本发明专利技术公开了一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，解决了跟踪精度低，稳定性差，算法不灵活的问题。实现步骤有：按帧截取图像，对首帧图像做动目标检测和创建存储空间储存目标；对后续帧图像，检测候选运动目标，从存储空间选历史目标估计位置并与候选运动目标匹配后更新历史目标状态并整理存储空间，存储新出现目标。本发明专利技术用道路掩膜滤除道路区域外的干扰，用动态关联灵活添加删除目标，用群体效应对消失运动目标状态估计优化，用轨迹优化法提高跟踪精度。仿真实验也证明本发明专利技术减少了计算量，提高跟踪精度和稳定性，用于车流监测，行驶路线分析，军事情报获取领域。
【技术实现步骤摘要】
基于动态关联模型的遥感视频车辆目标检测与跟踪方法
本专利技术属于图像处理
，涉及动目标检测以及多个运动目标状态预测与匹配，具体是一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，用于对遥感视频中车辆目标进行检测与跟踪。
技术介绍
遥感视频卫星是一种新型对地观测卫星，最大特点是可以采用“凝视”的方式持续观测某一目标区域，并以视频的形式进行存储，从中可以获得更多时空相关的信息，为连续对地目标检测与跟踪提供了新的契机。卫星视频成像手段为遥感对地观测提供了重要数据支撑。如何利用卫星遥感视频实现重要目标智能化的检测和跟踪是遥感应用的重要研究内容。常用的两种遥感视频卫星分为两种：一种是使用静止轨道光学成像卫星；另一种是使用具有高姿态敏捷能力或具备图像运动补偿能力的低轨光学卫星。静止轨道光学卫星主要有美国“莫尔纹”卫星，分辨率为1m，视场为10km×10km，帧率1帧/秒。欧洲“GO3S”卫星，分辨率为3m，视场为100km×100km，帧率5帧/秒。低轨视频卫星主要有美国的Skybox卫星，印尼与德国合作发射的LAPAN-TUBSAT卫星，中国发射的“天拓”系列卫星，“吉林一号”视频星等。“吉林一号”视频01、02星分辨率可达1.13m，成像区域4.6km×3.4km，帧率25帧/秒。多目标跟踪的主要任务是检测出视频中的多个运动目标，并对各帧中的运动物体进行关联匹配，得到运动目标的历史轨迹。相比于单目标跟踪相比，多目标跟踪还需解决目标频繁遮挡，轨迹的初始化和终止以及多目标间相互影响等问题，确定目标间的关联。对于遥感视频多目标跟踪来说，目标更小，外观更相似，且由于图像采集设备硬件的原因，经常会出现视频模糊的现象。目前，国内对于遥感视频的研究多集中在动目标检测领域，目的在于更好的提取目标的边界信息。国外对于遥感视频目标跟踪的研究更早，主要的方法是使用卡尔曼滤波预测目标位置，之后对帧间目标进行关联，但对于目标的初始化和消失判定一般是在第一帧检测目标，之后只在边界处对目标进入和离开进行处理。卡尔曼滤波方法是一种通过系统的观测数据，估计出系统状态的方法。在目标跟踪中，常用卡尔曼滤波器利用历史目标位置，预测出物体下一帧的位置和状态信息。但由于车辆目标行驶状态具有规律性，在路口，立交桥入口等地方，目标运动状态变化较大，卡尔曼滤波器难以很好处理这种变化。传统方法常在边界处判别目标出现消失状态，这种方法符合常识，且计算量相对较小，简化了算法流程，但当实际跟踪过程中出现跟踪器丢失目标的时候，算法不会重新为丢失的目标分配跟踪器，也不会从存储数据中删除已失去目标的跟踪器，这都会降低算法的计算速度，并造成存储资源的不合理应用。实际应用中，对于遥感视频运动车辆跟踪，难以获得准确的首帧目标位置，且因遥感视频图像的分辨率低、噪声干扰较多，仅在首帧检测目标位置作为后续跟踪的初始位置，准确率较低。在出现车辆行驶到立交桥下，树阴遮挡等情况时，车辆目标在监控范围内但在首帧中无法检测到，使用传统方法不会对其进行跟踪。传统方法中使用卡尔曼滤波方法对目标位置进行预测，但卡尔曼滤波方法难以适应目标运动状态变化较大的情况，会造成跟踪精度降低，跟踪轨迹平滑度差。同时传统方法仅在边界处判断目标出现消失状态，若目标丢失，不会删除目标的跟踪器，这也会造成内存的浪费。
技术实现思路
本专利技术的目的在于针对现有技术的不足，提出一种可以更加稳定、灵活的基于动态关联模型的遥感视频车辆目标检测与跟踪的方法。本专利技术是一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，其特征在于，包括如下步骤：(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，对于首帧图像和后续帧图像进行不同操作；(2)对于首帧图像进行操作：(2.1)动目标检测：由于遥感视频视角固定，仅在首帧提取道路掩膜以供后续使用，使用背景减除法结合道路掩膜检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动车辆目标；(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标。所有候选运动车辆目标均为新跟踪目标，对所有新跟踪目标创建预测器，并为其分配目标编号。将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标，以便对该目标进行跟踪和状态观察；(3)对于后续帧图像进行操作：(3.1)动目标检测：使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标；(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置；当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，整理存储空间；(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置；(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征阈值差异排序，从中选取特征阈值差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标；否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目标，匹配失败，即在当前帧中，该被挑选历史目标与候选运动车辆目标匹配失败；(3.5)历史目标状态更新：匹配成功后，用匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零，返回步骤(3.2)循环迭代。匹配失败后，使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；同样返回步骤(3.2)循环迭代；(3.6)存储空间整理：待定表中历史目标稳定跟踪计数值超过稳定阈值时，将其移入稳定表中，认为该历史目标是稳定跟踪目标，而不是噪声干扰。待定表和稳定表中历史目标消失计数值超过消失阈值时，删除该目标，认为该目标是误检目标，或是目标已经离开视频的监控范围；(3.7)创建新跟踪目标：将剩余未与历史目标匹配的候选运动车辆目标视为新跟踪目标，为其创建预测器、分配编号，并将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性，打包放入待定表观察，返回步骤(3.2)，反复迭代实现在线的遥感视频运动车辆目标检测与跟踪；本专利技术在运动目标检测时使用先验知识，在差异图的基础上使用道路掩模，在运动目标状态预测时使用结合群体效应的卡尔曼滤波方法，在目标匹配时本文档来自技高网...
【技术保护点】
1.一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，其特征在于，包括如下步骤：(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，对于首帧图像和后续帧图像进行不同操作；(2)对于首帧图像进行操作：(2.1)动目标检测：由于遥感视频视角固定，仅在首帧提取道路掩膜以供后续使用，使用背景减除法结合道路掩膜检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动车辆目标；(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标；所有候选运动车辆目标均为新跟踪目标，对所有新跟踪目标创建预测器，并为其分配目标编号，将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标，以便对该目标进行跟踪和状态观察；(3)对于后续帧图像进行操作：(3.1)动目标检测：使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标；(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置；当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，整理存储空间；(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置；(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征阈值差异排序，从中选取特征阈值差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标；否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目标，匹配失败，即在当前帧中，该被挑选历史目标与候选运动车辆目标匹配失败；(3.5)历史目标状态更新：匹配成功后，用被挑选历史目标的匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零；匹配失败的被挑选历史目标使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；返回步骤(3.2)循环迭代，继续从存储空间中挑选历史目标完成估计匹配过程；(3.5)历史目标状态更新：匹配成功后，用匹配候选目标状态更新原存储空间中的被挑选历史目标状态，稳定跟踪计数加一，消失计数清零；返回步骤(3.2)循环迭代，匹配失败后，使用群体效应，即结合目标邻域内运动状态相似的其他历史目标状态更新存储中的被挑选历史目标状态，消失计数加一，稳定跟踪计数值清零；同样返回步骤(3.2)循环迭代；(3.6)存储空间整理：待定表中历史目标稳定跟踪计数值超过稳定阈值时，将其移入稳定表中，认为该历史目标是稳定跟踪目标，而不是噪声干扰；待定表和稳定表中历史目标消失计数值超过消失阈值时，删除该目标，认为该目标是误检目标，或是目标已经离开视频的监控范围；(3.7)创建新跟踪目标：将剩余未与历史目标匹配的候选运动车辆目标视为新跟踪目标，为其创建预测器、分配编号，并将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性，打包放入待定表观察，返回步骤(3)，反复迭代实现在线的遥感视频运动车辆目标检测与跟踪。...
【技术特征摘要】
2018.10.26 CN 20181126146041.一种基于动态关联模型的遥感视频车辆目标检测与跟踪方法，其特征在于，包括如下步骤：(1)按帧截取遥感图像：将遥感视频按照时间顺序截取为多帧静止图像，对于首帧图像和后续帧图像进行不同操作；(2)对于首帧图像进行操作：(2.1)动目标检测：由于遥感视频视角固定，仅在首帧提取道路掩膜以供后续使用，使用背景减除法结合道路掩膜检测首帧图像当前场景中的运动目标，得到首帧图像中的一组候选运动车辆目标；(2.2)创建存储空间及存储目标：创建待定表和稳定表，待定表用于存储新出现目标并对其进行观察，判断其为噪声还是跟踪的目标；稳定表用于存储稳定跟踪目标；所有候选运动车辆目标均为新跟踪目标，对所有新跟踪目标创建预测器，并为其分配目标编号，将预测器、目标编号、目标特征、历史轨迹、稳定跟踪计数以及消失计数作为目标属性打包存入待定表中，作为待定表中的历史目标，以便对该目标进行跟踪和状态观察；(3)对于后续帧图像进行操作：(3.1)动目标检测：使用背景减除法结合道路掩膜检测当前帧图像中的运动目标，检测得到的目标构成当前帧图像的一组候选运动车辆目标；(3.2)从存储空间中挑选历史目标：当稳定表中存在未被选择过的历史目标时，按照存储先后顺序选择稳定表中一个未被选择过的历史目标，作为被挑选历史目标，执行步骤(3.3)，估计其在当前帧的位置；当稳定表中的历史目标均已被选择过，或稳定表无存储目标时，则按照存储先后顺序选择待定表中一个未被选择过的历史目标，作为被挑选历史目标，进行步骤(3.3)，估计其在当前帧的位置；当存储空间即稳定表和待定表中的所有历史目标均已被选择过时，则进行步骤(3.6)，整理存储空间；(3.3)估计被挑选历史目标在当前帧的位置：使用卡尔曼滤波方法预测被挑选历史目标在当前帧的位置，得到当前帧中被挑选历史目标的估计位置；(3.4)被挑选历史目标与候选运动车辆目标匹配：使用轨迹优化方法，将被挑选历史目标与候选运动车辆目标逐一进行匹配，在被挑选历史目标估计位置邻域内，进行方向阈值和特征阈值的筛选，凡是小于方向阈值和特征阈值的候选运动车辆目标，再进行特征阈值差异排序，从中选取特征阈值差异最小的候选运动车辆目标作为该被挑选历史目标的匹配候选目标，认为其与之前存储的被挑选历史目标为同一目标，即该被挑选历史目标在当前帧成功匹配到一个候选运动车辆目标；否则，在被挑选历史目标估计位置邻域内，不存在满足方向变化和特征差异均小于方向阈值和特征阈值的候选运动车辆目...
【专利技术属性】
技术研发人员：张向荣，焦李成，张金月，唐旭，马晶晶，呼延宁，张静炎，马文萍，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。