【技术实现步骤摘要】
本专利技术属于体感游戏，具体涉及一种基于特征查询的非线性多目标跟踪方法。
技术介绍
1、体感游戏是一种基于人体动作或姿势进行游戏操作的游戏形式。这种游戏通常摄像头来感知玩家的身体动作，并将其转化为游戏中的角色或操作。为了准确捕捉玩家身体动作，体感游戏通常使用多目标跟踪方法持续获取目标位置。多目标跟踪方法是体感游戏实现中的一项关键技术。目前多目标跟踪方法主要通过将多目标检测器与目标跟踪器结合来实现，该方法在应用于体感游戏中会面临以下缺点：
2、1.难以适应非线性运动：
3、传统的多目标跟踪器通常假设目标的运动是线性的，基于目标在连续帧中的位置变化来预测其位置。然而，在体感游戏中，玩家往往需要执行复杂的非线性运动，这超出了传统跟踪器线性模型的适应范围。对于高度非线性的运动模式，目标的位置变化难以用简单的线性模型来描述，导致了传统多目标跟踪器的预测能力变差。在快速加速、减速、转向、旋转等非线性运动情况下，跟踪器可能出现跟踪偏差或甚至丢失目标。此外，非线性运动还导致目标的外观发生较大变化，使得跟踪器难以准确识别和跟踪目标。这进一步增加了在体感游戏中正确捕捉目标的挑战。
4、2.遮挡或目标丢失后难以重新跟踪：
5、在复杂场景下的体感游戏中，目标遭遇遮挡或丢失的情况难以避免。传统的多目标跟踪方法通常依赖目标的连续运动状态来预测其位置，并根据目标检测结果修正预测位置。然而，一旦目标丢失，跟踪器失去了目标的观测信息，无法进行准确修正，导致预测误差逐渐累积。当目标重新出现时，累积的误差使得跟踪器难以
6、综上所述，现有的多目标跟踪方法在处理非线性运动和遮挡或目标丢失时存在严重缺点，因此，我们需要提出一种基于特征查询的非线性多目标跟踪方法来解决上述存在的问题，以提高跟踪算法的准确性和稳健性，并为体感游戏提供更优秀的交互体验。
技术实现思路
1、本专利技术的目的在于提供一种基于特征查询的非线性多目标跟踪方法，跟踪器能够更准确地预测目标的位置和轨迹，从而更好地应对复杂的非线性运动，还能够提取当前目标的特征，并在多个对应轨迹的历史特征队列中进行查询，寻找最佳匹配，以解决现有跟踪算法在面对非线性运动、遮挡和目标丢失等情况时的表现不佳的问题。
2、为实现上述目的，本专利技术采用了如下技术方案：
3、一种基于特征查询的非线性多目标跟踪方法，包括如下步骤：
4、s1、利用yolov5检测网络获取人体检测框并提取特征，具体为：
5、s101、获取输入并对输入进行预处理；
6、s102、将处理后的图像输入到yolov5神经网络获取图像中人体对象的检测框；
7、s103、对检测框进行后处理；
8、s104利用特征提取网络提取检测框对应图像的特征；
9、s2、利用运动估计神经网络对检测框进行跟踪，具体为：
10、s201、基于检测框建立轨迹和轨迹池；
11、s202、基于历史位置队列的运动估计；
12、s203、获取下一帧的检测框与特征；
13、s204、新检测框与现有轨迹关联；
14、s205、处理匹配的轨迹与检测框；
15、s206、再处理未匹配的检测框；
16、s207、最后处理未匹配轨迹；
17、s3、历史特征队列的维护与轨迹复活，具体为：
18、s301、历史特征队列的维护；
19、s302、特征查询复活轨迹；
20、s303、处理匹配的休克轨迹与进程轨迹；
21、s304、处理未能匹配的休克轨迹；
22、s305、处理未能匹配的新晋轨迹；
23、s306、剩余待定轨迹的处理。
24、优选的，步骤s101中，在获取输入并输入进行预处理时，读取摄像头或视频文件的图像流文件，从图像流中获取一帧图像，再按照以下步骤进行预处理：
25、a1、将图像缩放，使图像缩放到大小；
26、a2、图像归一化，使图像的像素值从[0，255]归一化到[0，1]范围；
27、a3、将图像转换为tensor对象。
28、优选的，步骤s103中，对检测框的后处理内容包括：
29、1）、对检测框进行非极大值压制，剔除重叠多的检测框，保留最具有代表性的目标框；
30、2）、将检测框重投影到原始图像上；
31、3）、去除检测框中面积的检测框；
32、4）、去除检测框中置信度的检测框。
33、优选的，步骤s104中，利用特征提取网络提取检测框对应图像的特征时，获取每个检测框中心点，计算一个能够包括整个检测框的最小正方形范围，在原始图像中裁剪出该正方形对应的局部图像，再将每一张获取的局部图像，输入到特征提取网络中，获取对应的图像特征。
34、优选的，步骤s201中，在建立轨迹和轨迹池时，为每一个检测框建立轨迹，轨迹中包含当前检测框的中心点坐标、检测框宽高，检测框的置信度以及检测框对应特征，为每一轨迹设置轨迹状态，对于轨迹状态，如果当前帧为视频流的第一帧，则将初始轨迹状态设置为确认，否则将初始轨迹状态设置为待定；为每一轨迹设置轨迹寿命，初始值为30，设置轨迹存活时间，初始值为1；为每一个轨迹建立长度为10的历史特征队列，轨迹建立时存入初始特征；为每一个轨迹构建轨迹的历史位置队列，轨迹历史位置队列应该包括该轨迹最近5帧的坐标、宽高、置信度；在轨迹建立初期，未能获取足够的历史位置时，将最近获取的历史信息重复若干次填满历史位置队列。
35、优选的，步骤s202中，在基于历史位置队列的运动估计时，将轨迹池中每一轨迹的历史位置队列分别输入到运动估计神经网络，获取对该目标在下一帧位置、宽高的预测，将预测结果保存为当前轨迹的运动估计预测框。
36、优选的，步骤s204中，将新检测框与现有轨迹关联时，逐一计算新检测框与轨迹池中现有轨迹运动估计预测框的iou，使用二分匹配算法为每个轨迹分配合适的检测框，要求检测框与轨迹之间的iou不低于匹配阈值；完成关联后轨迹和检测框包含以下几种状态：
37、b1、轨迹与检测框匹配；
38、b2、存在轨迹未能匹配到合适的检测框；
39、b3、存在检测框未能找到合适的轨迹。
40、优选的，步骤s301中，所述历史特征队列在维护时，对于轨迹池中的轨迹，如果其轨迹存活时间为30的整数倍，将轨迹当前的特征与历史特征队列中所有特征分别计算余弦相似度，求相似度的平均值，如果相似度平均值大于相似度阈值，则将其压入到历史特征队列中。
41、优选的，步骤s302中,所述特征查询在复活轨迹时，本文档来自技高网...
【技术保护点】
1.一种基于特征查询的非线性多目标跟踪方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S101中，在获取输入并输入进行预处理时，读取摄像头或视频文件的图像流文件，从图像流中获取一帧图像，再按照以下步骤进行预处理：
3.根据权利要求2所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S103中，对检测框的后处理内容包括：
4.根据权利要求3所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S104中，利用特征提取网络提取检测框对应图像的特征时，获取每个检测框中心点，计算一个能够包括整个检测框的最小正方形范围，在原始图像中裁剪出该正方形对应的局部图像，再将每一张获取的局部图像，输入到特征提取网络中，获取对应的图像特征。
5.根据权利要求4所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S201中，在建立轨迹和轨迹池时，为每一个检测框建立轨迹，轨迹中包含当前检测框的中心点坐标、检测框宽高，检测框的置信度以及检测框对应特征，为每一轨迹设置
6.根据权利要求5所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S202中，在基于历史位置队列的运动估计时，将轨迹池中每一轨迹的历史位置队列分别输入到运动估计神经网络，获取对该目标在下一帧位置、宽高的预测，将预测结果保存为当前轨迹的运动估计预测框。
7.根据权利要求6所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S204中，将新检测框与现有轨迹关联时，逐一计算新检测框与轨迹池中现有轨迹运动估计预测框的IOU，使用二分匹配算法为每个轨迹分配合适的检测框，要求检测框与轨迹之间的IOU不低于匹配阈值；完成关联后轨迹和检测框包含以下几种状态：
8.根据权利要求7所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S301中，所述历史特征队列在维护时，对于轨迹池中的轨迹，如果其轨迹存活时间为30的整数倍，将轨迹当前的特征与历史特征队列中所有特征分别计算余弦相似度，求相似度的平均值，如果相似度平均值大于相似度阈值，则将其压入到历史特征队列中。
9.根据权利要求8所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S302中，所述特征查询在复活轨迹时，将进程池中轨迹存活时间小于30的轨迹分别与每一个休克状态轨迹进行匹配，计算新晋轨迹当前特征与休克状态轨迹的历史特征队列的平均余弦相似度，其中，小于30的轨迹称为新晋轨迹，根据余弦相似度对新晋轨迹与休克轨迹进行二分匹配，对于余弦相似度大于轨迹复活阈值的视为成功的关联，完成关联后包括以下三种情况：
10.根据权利要求9所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤S304中，未能匹配的所述休克轨迹在处理时，如果休克轨迹未能匹配，则将其寿命减一，然后判断其寿命是否小于轨迹死亡阈值，如果是则将该个轨迹状态设置为死亡，表示该轨迹跟踪的对象已经彻底离开画面中，如果新晋轨迹为确定状态的轨迹，则该轨迹不进行任何处理，如果在某一帧的处理中，不存在休克轨迹进行复活，则将所有未能转为确认状态的待定轨迹设置为死亡状态，在轨迹池中剔除。
...【技术特征摘要】
1.一种基于特征查询的非线性多目标跟踪方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤s101中，在获取输入并输入进行预处理时，读取摄像头或视频文件的图像流文件，从图像流中获取一帧图像，再按照以下步骤进行预处理：
3.根据权利要求2所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤s103中，对检测框的后处理内容包括：
4.根据权利要求3所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤s104中，利用特征提取网络提取检测框对应图像的特征时，获取每个检测框中心点，计算一个能够包括整个检测框的最小正方形范围，在原始图像中裁剪出该正方形对应的局部图像，再将每一张获取的局部图像，输入到特征提取网络中，获取对应的图像特征。
5.根据权利要求4所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤s201中，在建立轨迹和轨迹池时，为每一个检测框建立轨迹，轨迹中包含当前检测框的中心点坐标、检测框宽高，检测框的置信度以及检测框对应特征，为每一轨迹设置轨迹状态，对于轨迹状态，如果当前帧为视频流的第一帧，则将初始轨迹状态设置为确认，否则将初始轨迹状态设置为待定；为每一轨迹设置轨迹寿命，初始值为30，设置轨迹存活时间，初始值为1；为每一个轨迹建立长度为10的历史特征队列，轨迹建立时存入初始特征；为每一个轨迹构建轨迹的历史位置队列，轨迹历史位置队列应该包括该轨迹最近10帧的坐标、宽高、置信度；在轨迹建立初期，未能获取足够的历史位置时，将最近获取的历史信息重复若干次填满历史位置队列。
6.根据权利要求5所述的一种基于特征查询的非线性多目标跟踪方法，其特征在于：步骤s202中，在基于历史位置队列的运动估计时，将轨迹池中每一轨迹的历史位置队列分别输入到运动估计...
【专利技术属性】
技术研发人员：顾友良，苏鹏，李观喜，张威，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。