基于深度学习与历史经验数据的桌面冰壶轨迹预测方法技术

本发明专利技术公开了基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，包括以下步骤：(1)获取桌面冰壶历史运动视频数据作为训练样本数据；(2)将桌面冰壶历史运动视频数据输入到桌面冰壶目标检测深度学习网络中，学习每个时刻上桌面冰壶的位置特征；(3)通过每一时刻桌面上不同冰壶位置以及同一冰壶在不同时刻的位置建模冰壶轨迹的空间图与时间图；(4)将冰壶轨迹空间图与时间图数据输入到基于自注意机制和长短期记忆递归神经网络的多步冰壶轨迹预测网络中，预测未来一段时间内的冰壶运动轨迹；(5)基于预测的桌面冰壶轨迹进行“平均位移误差”和“最终位移误差”分析。本发明专利技术为桌面冰壶轨迹预测提供了一种新型实用的方法，通过对桌面冰壶历史运动视频利用有效的桌面冰壶目标检测深度学习网络获取冰壶历史运动轨迹，在基于历史轨迹的图结构建模的基础上在时间维度和空间维度上利用自注意机制以及长短期记忆递归神经网络对冰壶运动轨迹特征建模，实现对冰壶运动轨迹的准确预测。现对冰壶运动轨迹的准确预测。现对冰壶运动轨迹的准确预测。

【技术实现步骤摘要】
基于深度学习与历史经验数据的桌面冰壶轨迹预测方法


[0001]本专利技术涉及视频目标追踪和轨迹预测领域，具体而言涉及基于深度学习与历史经验数据的桌面冰壶轨迹预测方法。

技术介绍

[0002]冰壶(Curling)，又称掷冰壶、冰上溜石，是以队为单位在冰上进行的一种投掷性竞赛项目，被喻为冰上的“国际象棋”。作为2022北京冬奥会正式比赛项目，冰壶运动受到广泛关注。但由于冰壶价格昂贵，比赛场地要求较高，人们无法体验到冰壶运动的乐趣。因此，能够模拟冰壶运动的桌面冰壶可以让人们更方便的享受冰壶运动的乐趣。
[0003]桌面冰壶与冰壶运动同样是一种竞技性的运动，因此通过对大量桌面冰壶历史运动数据对未来轨迹进行预测，可以更好的帮助我们进行训练和制定战术。基于神经网络的深度学习技术可以在大量经验时序数据上自动学习建模模型，这成为桌面冰壶轨迹预测问题的重要可能。基于深度学习的桌面冰壶轨迹预测方法需要解决从视频数据中提取桌面冰壶轨迹，并根据经验数据预测未来一段时间的运动轨迹等问题。

技术实现思路

[0004]为解决上述问题，本专利技术目的在于提出一种基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，使用高效的桌面冰壶检测网络提取冰壶空间坐标，在冰壶历史运动轨迹建模的基础上，应用基于自注意机制和长短期记忆递归神经网络的多步冰壶轨迹预测网络，实现桌面冰壶轨迹预测。
[0005]为达成上述目的，结合图1，本专利技术提出基于深度学习与历史经验数据的桌面冰壶轨迹预测方法包括以下步骤：
[0006]S1、获取桌面冰壶历史运动视频数据作为训练样本数据；
[0007]S2、将桌面冰壶历史运动视频数据输入到桌面冰壶目标检测深度学习网络中，学习每个时刻上桌面冰壶的空间坐标；
[0008]S3、通过一段时间内的桌面冰壶空间坐标建模冰壶轨迹的空间图；
[0009]S4、将冰壶轨迹空间图数据按时序输入到基于自注意机制、图卷积网络和长短期记忆递归神经网络的多步冰壶轨迹预测网络中，预测未来一段时间内的冰壶运动轨迹；多步冰壶轨迹预测网络结构包括自注意模块、图卷积网络和轨迹预测模块；
[0010]S5、基于预测的桌面冰壶轨迹进行“平均位移误差”和“最终位移误差”分析。
[0011]进一步地，步骤S1包括以下子步骤：
[0012]S101、使用图像采集设备获取桌面冰壶历史运动视频图像数据；
[0013]S102、将视频图像每一维的数据归一化到[0,1]。
[0014]进一步地，所述的桌面冰壶目标检测深度学习网络包括多尺度特征提取模块、空间金字塔池化模块、路径聚合模块和桌面冰壶位置预测头；步骤S2包括以下子步骤：
[0015]S201、多尺度特征提取模块使用卷积模块和残差模块提取多尺度特征；
[0016]S202、空间金字塔池化模块对多尺度特征提取模块最后提取到的特征使用不同尺寸的最大值池化获取感受野不同的池化特征，并使用连接操作得到上下文特征；
[0017]S203、路径聚合模块通过使用卷积、上采样以及连接操作对上下文特征以及不同尺度的提取特征进行堆叠，反复提取特征；
[0018]S204、桌面冰壶预测头首先对不同尺度的特征使用卷积操作得到候选边界框；然后通过非极大值抑制筛选得到最终的边界框；整个网络使用交叉熵损失函数进行训练。
[0019]进一步地，S201中，卷积模块包括一个卷积层、一个批标准化层和一个Mish激活函数；残差模块包括3个卷积模块和X个残差单元组成，X为不小于1的正整数；其中每个残差单元为包含2个卷积模块，将通过卷积模块处理过的输入特征和原始输入特征特征相加，获得残差单元的输出特征的模块。
[0020]进一步地，S202中，空间金字塔池化包括三种不同尺度的池化模块以及连接操作，它是将输入特征使用核大小不同的三种全局池化提取池化特征，然后将这三种不同大小的池化特征上采样到输入特征大小，然后与原始输入特征通过连接操作得到最终输出特征。
[0021]进一步地，S203中，每个卷积模块包括一个卷积层、一个批标准化层、一个LRelu激活函数。
[0022]进一步地，步骤S3包括以下子步骤：
[0023]S301、根据所有桌面冰壶的最终边界框，我们提取他们的空间坐标；
[0024]S302、根据空间坐标建模在时间t处表示冰壶之间交互关系的空间图，它的每个节点代表不同冰壶，每条边表示它们之间的交互关系。
[0025]进一步地，所述的多步冰壶轨迹预测网络包括自注意模块和轨迹预测模块，其中步骤S4包括以下子步骤：
[0026]S401、自注意模块使用自注意机制，首先对空间图应用线性变换生成图嵌入，然后再对图嵌入应用线性变换获取自注意机制的查询和键，对查询和键通过矩阵乘法来计算非对称注意得分矩阵，然后使用Softmax激活函数，得到表示密集交互作用的伴随矩阵；将伴随矩阵和冰壶空间坐标编码构建图并输入到图卷积神经网络获得代表冰壶之间交互特征；
[0027]S402、轨迹预测模块是一个基于长短期记忆模块的编码器
‑
解码器神经网络，将生成的交互特征和冰壶运动特征相结合，输入到长短期记忆模块的编码器中，并通过解码器依次输出后续轨迹预测结果；整个网络使用均方误差损失进行训练。
[0028]进一步地，S402中，交互特征是由自注意模块和图卷积网络生成的，运动特征T个时间节点上N个冰壶位置坐标将他们输入到长短期记忆模块的编码器中，每个长短期记忆模块处理一个运动目标i的输入特征冰生成中间特征h
i
，然后通过长短期记忆模块解码器依次生成输出特征m
i
并得到后续轨迹预测结果，其中采用不同颜色的点表示不同的目标在不同时刻的空间坐标用白色表示预测结果在不同时刻的空间坐标使用短线对不同时刻的点进行连接表示运动轨迹；整个网络使用均方误差损失进行训练。
[0029]进一步地，步骤S5包括如下子步骤：
[0030]S501、根据未来几步预测轨迹点空间坐标和真实轨迹点空间坐标之间欧式距离的平均值，进行平均位移误差分析；
[0031]S502、根据最后一步预测轨迹点空间坐标和真实轨迹点空间坐标之间欧式距离，进行最终位移误差分析。
[0032]有益效果：以上专利技术的技术方案，与现有相比，本专利技术其显著的有益效果在于：使用高效的桌面冰壶检测网络提取冰壶空间坐标，在冰壶历史运动轨迹建模的基础上，应用基于自注意机制和长短期记忆递归神经网络的多步冰壶轨迹预测网络，实现桌面冰壶轨迹预测。
[0033]应当理解，前述构思以及在下面更加详细地描述的额外构思的所有组合只要在这样的构思不相互矛盾的情况下都可以被视为本公开的专利技术主题的一部分。另外，所要求保护的主题的所有组合都被视为本公开的专利技术主题的一部分。
[0034]结合附图从下面的描述中可以更加全面地理解本专利技术教导的前述和其他方面、实施例和特征。本专利技术的其他附加方面例如示例性实施方式的特征和/或有益效果将在下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，其特征在于，包括以下步骤：S1、获取桌面冰壶历史运动视频数据作为训练样本数据；S2、将桌面冰壶历史运动视频数据输入到桌面冰壶目标检测深度学习网络中，学习每个时刻上桌面冰壶的空间坐标；S3、通过一段时间内的桌面冰壶空间坐标建模冰壶轨迹的空间图；S4、将冰壶轨迹空间图数据按时序输入到基于自注意机制、图卷积网络和长短期记忆递归神经网络的多步冰壶轨迹预测网络中，预测未来一段时间内的冰壶运动轨迹；多步冰壶轨迹预测网络结构包括自注意模块、图卷积网络和轨迹预测模块；S5、基于预测的桌面冰壶轨迹进行“平均位移误差”和“最终位移误差”分析。2.根据权利要求1所述的基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，其特征在于，步骤S1包括：S101、使用图像采集设备获取桌面冰壶历史运动视频图像数据；S102、将视频图像每一维的数据归一化到[0,1]。3.根据权利要求1所述的基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，其特征在于，所述的桌面冰壶目标检测深度学习网络包括多尺度特征提取模块、空间金字塔池化模块、路径聚合模块和桌面冰壶位置预测头；步骤S2包括以下子步骤：S201、多尺度特征提取模块使用卷积模块和残差模块提取多尺度特征；S202、空间金字塔池化模块对多尺度特征提取模块最后提取到的特征使用不同尺寸的最大值池化获取感受野不同的池化特征，并使用连接操作得到上下文特征；S203、路径聚合模块通过使用卷积模块、上采样以及连接操作对上下文特征以及不同尺度的提取特征进行堆叠，反复提取特征；S204、桌面冰壶预测头首先对不同尺度的特征使用卷积操作得到候选边界框；然后通过非极大值抑制筛选得到最终的边界框；整个网络使用交叉熵损失函数进行训练。4.根据权利要求3所述的基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，其特征在于，S201中，卷积模块包括一个卷积层、一个批标准化层和一个Mish激活函数；残差模块包括3个卷积模块和X个残差单元组成，X为不小于1的正整数；其中每个残差单元为包含2个卷积模块，将通过卷积模块处理过的输入特征和原始输入特征特征相加，获得残差单元的输出特征的模块。5.根据权利要求3所述的基于深度学习与历史经验数据的桌面冰壶轨迹预测方法，其特征在于，S202中，空间金字塔池化包括三种不同尺度的池化模块以及连接操作，它是将输入特征使用核大小不同的三种全局池化提取池化特征，然后将这三种不同大小的池化特征上采样到输入特征大小，然后与原始输入特征通过连接操...

【专利技术属性】
技术研发人员：魏明强，郑成宇，陈松灿，陈涛，
申请(专利权)人：南京体医融合康复产业研究院有限公司南京聚众体育科技发展有限公司，
类型：发明
国别省市：