一种基于全景视角检测跟踪的轨迹预测方法及系统技术方案

本发明专利技术公开的一种基于全景视角检测跟踪的轨迹预测方法及系统，对不同视角的多个视频信息的当前帧图像信息处理获得当前帧图像信息的特征向量、目标对象的位置；结合历史帧图像信息的目标边界框操作结果和目标对象的位置获得轨迹预测特征；基于轨迹预测特征进行轨迹预测计算得到下一帧目标对象的轨迹；从全景视角下采集目标对象的视频信息，并对各视角的视频信息进行多目标检测和追踪，最后预测出下一帧目标对象的轨迹，经过对多个连续帧的处理与预测得到目标对象的完整轨迹；实现在同一时刻同时掌握各个方位上的目标状态，同时对目标状态进行空间上的轨迹预测，以满足需要对周围环境进行实时监控预测的应用场景。

【技术实现步骤摘要】
一种基于全景视角检测跟踪的轨迹预测方法及系统
本专利技术涉及全景视频技术和目标跟踪
，具体涉及一种基于全景视角检测跟踪的轨迹预测方法及系统。
技术介绍
深度学习的发展使得电子设备具备良好的感知能力，如多目标的检测，跟踪和轨迹预测等，被广泛应用在各种实际场景中，如自动驾驶、虚拟现实、增强现实、视频监控等。目前针对多目标检测、跟踪和轨迹预测，现代感知系统通常采用级联的方式顺序执行多目标的检测、跟踪和轨迹预测任务，但是，这种级联方式单独训练每个模块会造成性能欠佳，并且每个模块的计算量都非常大迫使在对多目标进行检测跟踪预测时需要极大算力，在边缘设备上难以达到需求。而且目前多目标跟踪系统仅针对一个视角下的多个目标进行跟踪，无法同时感知全景视角下的其余目标运动情况，无法满足一些需要对周围环境进行实时监控的应用场景，如工业场景中吊塔等，需要同时对上下左右前后等周围不同方位的多个目标进行检测跟踪。
技术实现思路
为克服上述技术的缺陷，本专利技术提供一种基于全景视角检测跟踪的轨迹预测方法及系统。本专利技术通过下述技术方案本文档来自技高网...

【技术保护点】
1.一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，包括步骤：/nS1.实时采集全景视角下目标对象的视频信息；/nS2.对不同视角的多个视频信息的当前帧图像信息进行预处理获得各当前帧图像信息针对全景视角检测跟踪的特征向量；/nS3.对S2中获得的特征向量执行目标边界框操作、并基于特征向量检测出目标对象的位置；/nS4.基于当前帧图像信息的目标边界框操作结果和目标对象的位置、历史帧图像信息的目标边界框操作结果和目标对象的位置，进行特征提取和特征交互最终获得轨迹预测特征；/nS5.根据S4获得的轨迹预测特征进行轨迹预测计算得到下一帧目标对象的轨迹；/nS6.以当前帧图像信息的目标边界框操作结果...

【技术特征摘要】
1.一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，包括步骤：
S1.实时采集全景视角下目标对象的视频信息；
S2.对不同视角的多个视频信息的当前帧图像信息进行预处理获得各当前帧图像信息针对全景视角检测跟踪的特征向量；
S3.对S2中获得的特征向量执行目标边界框操作、并基于特征向量检测出目标对象的位置；
S4.基于当前帧图像信息的目标边界框操作结果和目标对象的位置、历史帧图像信息的目标边界框操作结果和目标对象的位置，进行特征提取和特征交互最终获得轨迹预测特征；
S5.根据S4获得的轨迹预测特征进行轨迹预测计算得到下一帧目标对象的轨迹；
S6.以当前帧图像信息的目标边界框操作结果和目标对象的位置作为历史帧图像信息的目标边界框操作结果和目标对象的位置重复步骤S2-S6直至轨迹预测完成。


2.根据权利要求1所述的一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，所述全景视角下表示为以目标对象的坐标点为中心的球形空间视角。


3.根据权利要求1所述的一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，预处理包括：
先对各视频信息的当前帧图像信息去噪、滤波和锐化处理；
再将当前帧图像输入卷积神经网络和特征金字塔中进行计算得到当前帧图像信息针对全景视角检测跟踪的特征向量。


4.根据权利要求1所述的一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，所述目标边界框操作包括：对特征向量的目标边界框进行分类和回归。


5.根据权利要求1所述的一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，所述轨迹预测特征包括：目标对象间的关系特征、目标对象特征和轨迹样本。


6.根据权利要求1所述的一种基于全景视角检测跟踪的轨迹预测方法，其特征在于，S4...

【专利技术属性】
技术研发人员：张旻晋，许达文，
申请(专利权)人：成都视海芯图微电子有限公司，
类型：发明
国别省市：四川;51