一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法技术

本发明专利技术公开了一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法，将击球前球拍轨迹作为羽毛球轨迹预测的重要依据，把预测时间点从球拍离球后提到球拍触球前，争取更多的时间，以提高羽毛球机器人快速反应能力、击球点优化能力、击球主动性和竞技水平。具体过程是：首先标定双目相机，对采集的击球双目图像进行去噪、校正畸变，再通过帧差法识别运动区域，利用轮廓形状、面积特征检测出羽毛球和球拍，提取相应特征点，依据极线约束原理匹配双目图像，计算特征点视差和深度，求取特征点坐标，根据界线筛除场外无效运动目标，计算出有效目标运动参数，作为神经网络输入进行学习或预测，最后利用卡尔曼滤波对回球的中长期轨迹作预测计算。

A return trajectory prediction method based on binocular visual perception of swing

【技术实现步骤摘要】
一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法
本专利技术属于图像信息
，具体的为在羽毛球运动中，基于挥拍击球动作双目图像序列分析，对来球轨迹进行预测的方法，可用于羽毛球机器人系统的视觉感知或羽毛球数字化辅助训练。
技术介绍
近年来，基于视觉的目标检测、跟踪与轨迹预测方法快速兴起并得到了广泛应用。对羽毛球轨迹进行预测，可以用于球员的辅助训练，也可以作为羽毛球机器人的必要信息输入。专利号为CN109087327A的专利公开了一种基于计算机视觉的羽毛球落点位置预测方法。羽毛球运动是球速极快的持拍隔网对抗运动。在竞技时,不仅要通过对手击球前挥拍动作来判断来球轨迹,也需要根据决策结果确定回球线路进而规划己方的挥拍动作。球场、球拍和球等客观条件相对稳定的情况下，羽毛球的来球轨迹取决于两方面的因素，回球轨迹和对方选手击球前的挥拍动作。大力击球时甚至只取决于挥拍动作。因而，对对方挥拍回球动作进行分析，可以预判来球轨迹和落点。目前的羽毛球轨迹预测方法，一般是利用羽毛球被球拍击打后一时间段内的飞行轨迹，来逐点逐段预测之后的轨迹。当球速较本文档来自技高网...

【技术保护点】
1.一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法，其特征在于，包括如下步骤：/n步骤1、对双目相机进行标定；/n步骤2、通过双目相机采集打球图像；/n步骤3、对打球图像预处理；/n步骤4、识别经预处理的打球图像的运动区域并进行图像分割；/n步骤5、检测球拍区域和羽毛球区域；/n步骤6、对球拍区域和羽毛球区域的特征点进行检测；/n步骤7、对球拍区域和羽毛球区域进行图像匹配；/n步骤8、对球拍区域和羽毛球区域进行深度计算；/n步骤9、确定场内羽毛球球托质心位置和球拍拍面位姿；/n步骤10、判断球拍的拍面区域与羽毛球区域的位置关系，若球拍的拍面区域与羽毛球区域距离小于预设阈值，转步骤11；否则...

【技术特征摘要】
1.一种基于挥拍击球动作双目视觉感知的回球轨迹预测方法，其特征在于，包括如下步骤：
步骤1、对双目相机进行标定；
步骤2、通过双目相机采集打球图像；
步骤3、对打球图像预处理；
步骤4、识别经预处理的打球图像的运动区域并进行图像分割；
步骤5、检测球拍区域和羽毛球区域；
步骤6、对球拍区域和羽毛球区域的特征点进行检测；
步骤7、对球拍区域和羽毛球区域进行图像匹配；
步骤8、对球拍区域和羽毛球区域进行深度计算；
步骤9、确定场内羽毛球球托质心位置和球拍拍面位姿；
步骤10、判断球拍的拍面区域与羽毛球区域的位置关系，若球拍的拍面区域与羽毛球区域距离小于预设阈值，转步骤11；否则，转步骤2；
步骤11、根据先前球拍拍面区域与羽毛球区域计算羽毛球运动状态参数和球拍拍面运动状态参数；
步骤12、构建神经网络并将羽毛球运动状态参数和球拍拍面运动状态参数输入到神经网络中进行计算，预测下一时刻羽毛球离拍运动状态；
步骤13、根据下一时刻羽毛球离拍运动状态通过基于卡尔曼滤波方法计算羽毛球回球轨迹信息；
步骤14、输出羽毛球回球轨迹信息。


2.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，所述步骤12中通过神经网络来预测下一时刻羽毛球离拍运动状态是通过以下步骤来实现的：
步骤121：根据羽毛球运动状态参数和球拍拍面运动状态参数计算球头和球拍之间的距离，并判断球头和球拍距离是否小于预设阈值，如果否，则转入步骤2；
步骤122：如果是，则将羽毛球运动状态参数和球拍拍面运动状态参数输入到神经网络的训练过程，并预测t(i)+T时刻羽毛球离拍运动状态；
步骤123：判断神经网络的训练过程是否训练完成，如果否，则采集下一次击球图像并转步骤2；如果是，则输出羽毛球t(i)+T时刻离拍运动状态参数；
其中，t(i)表示当前时刻，T为根据相机采集频率确定的可调时间增量。


3.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤6所述的球拍和羽毛球特征点检测，具体步骤包括：
步骤61：获取球拍轮廓图像并提取球拍的拍杆；
步骤62：识别球拍的拍框预设特征位置；
步骤63：获取羽毛球轮廓图像并提取球托轮廓；
步骤64：计算当球托是否被羽毛球的羽毛遮挡时的整个羽毛球轮廓图像的质心，并作为球托质心。


4.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤7所述的双目图像匹配是利用极线约束原理对左右球拍轮廓图像中的步骤6所提取的特征点进行对应匹配。


5.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤8所述的深度计算，用于消除场外无效运动羽毛球和球拍信息，具体步骤包括：
步骤81：获取图像中羽毛球、球拍的视差图；
步骤82：根据双目视觉的几何关系，将视差图转换为深度图；
步骤83：根据深度图并结合球场物理坐标系和相机坐标系的转换关系计算羽毛球、球拍质心的三维坐标；
步骤84：根据球场的标准长度、标准宽度和经验高度，构建略大于实际球场尺寸的空间长方体边界包围盒；
步骤85：将羽毛球、球拍的三维坐标值与边界包围盒做比较，消除包围盒外无效运动羽毛球和球拍信息，保留场内羽毛球和球拍三维坐标数据。


6.根据权利要求1所述的基于挥拍击球动作双目视觉感知的来球轨迹预测方法，其特征在于，步骤9所述的确定场内羽毛球球托质心位置和球拍拍面位姿，具体步骤包括：
确定球拍上的局部坐标系，选取球拍拍框的预设特征位置为球拍拍面坐标系的原点，以拍杆轴线为x轴，在拍面内垂直于拍杆方向为y轴，以右手法则确定z轴，球场坐标系...

【专利技术属性】
技术研发人员：宦红伦，李君，梅碧舟，
申请(专利权)人：浙江万里学院，
类型：发明
国别省市：浙江;33