乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备制造方法及图纸

本发明专利技术涉及一种乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备。获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像，从图像中提取出跟踪目标对应的候选区域。将候选区域输入预设跟踪模型进行处理得到跟踪目标对应的包围盒。获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的包围盒中心的二维坐标，再根据摄像机投影矩阵计算出包围盒中心的三维坐标。获取连续时刻的包围盒的三维坐标构成连续的坐标序列，将连续的坐标序列输入递归神经网络LSTM中进行计算生成后续的坐标序列，根据上述坐标序列得到跟踪目标的轨迹。采用预设跟踪模型对目标位置进行跟踪，再结合LSTM能够有效地分析时序特征的优势，就能够实现对跟踪目标运动轨迹的准确预测。

Method, device, storage medium and computer equipment for table tennis target tracking and trajectory prediction

The invention relates to a method for tracking and predicting the target of table tennis, a device, a storage medium and a computer equipment. A frame image was captured by two cameras at the same time, and the candidate regions corresponding to the tracking target were extracted from the image. The candidate region is input to the preset tracking model to get the bounding box corresponding to the target. The 2D coordinates of the center of bounding box corresponding to the tracking target captured by two cameras at the same time are obtained. Then the 3D coordinates of the center of the bounding box are calculated according to the projection matrix of the camera. The continuous coordinate sequence is obtained from the three dimensional coordinates of the bounding box at continuous time. The continuous coordinate sequence is input into the recurrent neural network LSTM, and then the subsequent coordinate sequence is generated, and the track of the tracking target is obtained based on the above coordinate sequence. The target location can be tracked by the preset tracking model. Combined with LSTM, we can effectively analyze the advantage of timing features, and we can accurately predict the trajectory of tracking targets.

【技术实现步骤摘要】
乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备
本专利技术涉及图像处理
，特别是涉及一种乒乓球目标跟踪和轨迹预测方法、装置、存储介质和计算机设备。
技术介绍
在乒乓球机器人系统的设计中，有两个问题需要解决。一个是目标跟踪的问题，即给定跟踪目标上一帧的位置，预测跟踪目标下一帧中可能出现的位置。另一个是轨迹预测的问题，即给定一小段的乒乓球坐标序列，自动生成后续的坐标序列。目标跟踪问题作为计算机视觉中的经典问题，在近几十年不断取得重大发展。从一开始的基于纯计算机视觉方法的Lucas-Kanade跟踪器，mean-shift跟踪器等，到后来整合了detection和及其学习思想的更为复杂的跟踪器，再到如今基于深度学习的跟踪算法。目前用于跟踪的主要深度学习模型都是基于CNN，即卷积神经网络。在一般的基于CNN的跟踪算法中，CNN模型主要作为特征提取器(featureextractor)。利用目前的跟踪算法得出的包围框不够精确，不精确的包围框不仅意味着位置信息的误差，还会直接导致整个跟踪框架产生飘移甚至丢失目标。当目标跟踪出现误差时会直接导致轨迹预测的误差。专利
技术实现思路
基于此，有本文档来自技高网...

【技术保护点】
一种乒乓球目标跟踪和轨迹预测方法，所述方法包括：获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；从所述图像中提取出所述跟踪目标对应的候选区域；将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒；获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。

【技术特征摘要】
1.一种乒乓球目标跟踪和轨迹预测方法，所述方法包括：获取两台摄像机在同一时刻分别对跟踪目标拍摄的一帧图像；从所述图像中提取出所述跟踪目标对应的候选区域；将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒；获取两台摄像机在同一时刻分别拍摄的跟踪目标对应的所述包围盒中心的二维坐标，再根据摄像机投影矩阵计算出所述时刻对应的跟踪目标的包围盒中心的三维坐标；获取连续时刻的包围盒对应的三维坐标，构成连续的坐标序列，将所述连续的坐标序列输入递归神经网络LSTM中进行计算，生成后续的坐标序列；根据连续的坐标序列和后续的坐标序列得到跟踪目标的轨迹。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：将计算出的所述时刻对应的跟踪目标的包围盒中心的三维坐标输入LSTM中进行计算，预测所述两台摄像机拍摄的下一帧图像中的跟踪目标的三维坐标；将包含所述三维坐标的区域作为下一帧图像中跟踪目标的候选区域。3.根据权利要求1所述的方法，其特征在于，所述将所述候选区域输入预设跟踪模型进行处理得到所述跟踪目标对应的包围盒，包括：将所述候选区域输入预设卷积神经网络模型经过处理得到所述图像中跟踪目标的包围盒；将所述图像中跟踪目标的包围盒输入预设回归层进行回归处理后得到所述跟踪目标对应的回归后的包围盒，所述预设回归层包含所述预设卷积神经网络模型的低层卷积层。4.根据权利要求1所述的方法，其特征在于，所述从所述图像中提取出所述跟踪目标对应的候选区域，包括：从所述图像中采用背景减除的方法提取出所述跟踪目标对应的候选区域。5.根据权利要求1所述的方法，其特征在于，建立所述摄像机投影矩阵的过程，包括：分别建立世界坐标系、摄像机坐标系；获取摄像机的内参数矩阵和外参数矩阵；根据所述内参数矩阵和外参数矩阵建立摄像机投影矩阵，所述摄像机投影矩阵可将摄像机坐标系的二维坐标转换至世界坐标系的三维坐标。6.一种乒乓球目标跟踪和轨迹预测装置，其特征在于，所述装置包括：摄像机拍摄...

【专利技术属性】
技术研发人员：任杰，盛斌，施之皓，张本轩，杨靖，侯爽，
申请(专利权)人：上海体育学院，上海交通大学，
类型：发明
国别省市：上海,31