基于目标检测和跟踪的乒乓球落点识别和评分方法及系统技术方案

本发明专利技术公开了一种基于目标检测和跟踪的乒乓球落点识别和评分方法及系统，方法包括：将打球视频进行拆分获得多组单回合视频；对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。本发明专利技术能够帮助运动员在练球时进行自动计分，看清乒乓球的落点，帮助运动员及时了解训练情况，提高训练效率。

The method and system of table tennis falling point recognition and scoring based on target detection and tracking

The invention discloses a table tennis falling point recognition and scoring method and system based on target detection and tracking, the method includes: splitting the playing video to obtain multiple groups of single round videos; detecting and tracking each frame image in each group of single round videos to obtain the coordinates of table tennis; extracting all the coordinates of table tennis in the single round videos to conduct curve fitting, and obtaining According to the flight path of table tennis, judge whether the table tennis is on the table. According to the recognition results of the falling points of table tennis in multiple single round videos, count the success rate of playing and get the scoring results. The invention can help an athlete to score automatically when practicing, see the falling point of table tennis clearly, help an athlete to know the training situation in time and improve the training efficiency.

【技术实现步骤摘要】
基于目标检测和跟踪的乒乓球落点识别和评分方法及系统
本专利技术涉及计算机视觉
，具体涉及一种基于目标检测和跟踪的乒乓球落点识别和评分方法及系统。
技术介绍
伴随着技术的不断发展，“鹰眼”技术越来越受到体育赛事的关注，由于视觉系统的限制，人类有时候很难分辨出高速运动的球类的飞行状态以及落点情况，这势必会导致一些不公正的比赛判罚，并且运动员在训练过程中，无法准确地获取自己打出的球的状态和落点，这会影响运动员的调整和自身实力的增强。因此，网球运动早在2006年就启动了挑战鹰眼的方式来判别球有无出界，足球领域也在俄罗斯世界杯期间采用了鹰眼技术来捕捉足球运动的瞬间信息。同样是高速运动的球类，乒乓球也应该引入这种措施，来减少误判，并且帮助运动员实现更好的训练和改进。传统的乒乓球落点识别，大都基于传感器来实现，包括使用振动传感器来测量桌面振动，使用音频传感器来测量时间差等，但是这些方法代价较大且设备较为复杂，随着计算机视觉和机器学习的发展，尤其是目标检测和目标跟踪的方法越来越多，且准确率在逐年上升，基于视觉来实现落点识别是一种非常好的解决手段。
技术实现思路
本专利技术的目的在于克服现有技术中的不足，提出了一种基于目标检测和跟踪的乒乓球落点识别和评分方法，能够帮助运动员在练球时进行自动计分，看清乒乓球的落点，帮助运动员及时了解训练情况，提高训练效率。为解决上述技术问题，本专利技术提供了一种基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，包括以下过程：获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。进一步的，训练人员乒乓球训练时采用发球机自动发球。进一步的，将打球视频进行拆分获得多组单回合视频的过程为：当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。进一步的，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。进一步的，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乓乓球球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。相应的，本专利技术还提供了一种基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，包括视频获取模块、乒乓球检测跟踪模块、乒乓球轨迹拟合模块、击球成功判断模块和击球评分模块；视频获取模块，用于获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；乒乓球检测跟踪模块，用于对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；乒乓球轨迹拟合模块，用于提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；击球成功判断模块，用于根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；击球评分模块，用于根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。进一步的，视频获取模块中，打球视频为网络摄像机在球桌侧上方拍摄的俯视图。进一步的，视频获取模块中，将打球视频进行拆分获得多组单回合视频的过程为：当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。进一步的，乒乓球检测跟踪模块中，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。进一步的，击球成功判断模块中，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乓乓球球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。与现有技术相比，本专利技术所达到的有益效果是：1)硬件设备简单，只需要一台高速摄像机，通过网络传输获取视频流，即可执行落点识别功能；2)识别结果准确，基于机器学习的目标检测和跟踪方法，准确率可以达到90％以上，从而提高落点识别的准确率；3)使用简单方便，用户只需要通过语音指令来操控完成落点识别及评分功能，所有的视频处理流程都在服务器中进行。附图说明图1是本专利技术方法的流程示意图；图2是感兴趣区域示意图。具体实施方式下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。本专利技术的基于目标检测和目标跟踪的乒乓球落点识别及评分系统，只需要摄像机将打球视频传输过来，就可以对视频中的乒乓球进行一系列操作，最终重建乒乓球飞行轨迹，得到准确的落点坐标，这种方法在硬件上面要求不高，却能够取得很好的效果，能够真正辅助裁判判罚，帮助运动员提升自身竞技水平。本专利技术的一种基于目标检测和目标跟踪的乒乓球落点识别和评分方法，参见图1所示，包括以下步骤：步骤S1，发球机根据乒乓球训练参数自动发球，网络摄像机拍摄下训练人员打球视频，其中乒乓球训练参数包括训练时间和发球频率。从语音客户端获取语音指令，并解析语音指令从中获取乒乓球训练参数。现有的乒乓球自动训练系统通常是在乒乓球桌旁边摆放发球机和网络摄像机。发球机自动发球来让训练人员进行训练，对于发球机的操控可以是人工操纵，也可以是语音自动操控。为了实现便捷与自动化，本专利技术实施例中，采用语音操控，与语音客户端建立通信，接收语音客户端的语音指令，对语音指令进行解析，例如：语音指令“模式1开始训练”，解析此语音指令获得乒乓球训练参数，包括：训练时间，发球频率，发球速度，发球角度，旋转速度等。网络摄像机放置在球网所在直线延长线的上方，即拍摄的视频图像为球桌侧上方的俯视图，网络摄像机拍摄下训练人员训练的整个过程，获取训练人员打球视频。步骤S2，通本文档来自技高网...

【技术保护点】
1.基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，包括以下过程：/n获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；/n对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；/n提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；/n根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；/n根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。/n

【技术特征摘要】
1.基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，包括以下过程：
获取训练人员乒乓球训练时的打球视频，将打球视频进行拆分获得多组单回合视频；
对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪，获取乒乓球的坐标；
提取单回合视频中所有乒乓球坐标进行曲线拟合，得到乒乓球的飞行轨迹；
根据乒乓球的飞行轨迹，判断乒乓球是否落在球桌上，若没落在球桌上，则判定此次击球失败，若落在球桌上，则判定此次击球成功，进一步计算出落点的坐标；
根据多组单回合视频中乒乓球落点的识别结果，统计打球成功率得到评分结果。


2.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，训练人员乒乓球训练时采用发球机自动发球。


3.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，将打球视频进行拆分获得多组单回合视频的过程为：
当满足条件时，代表一个回合结束，按照此条件对打球视频进行拆分，获得多组单回合视频；
其中，count为当前帧图像的序号，f1为视频的帧率，f2为发球机的发球频率。


4.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，对各组单回合视频中的每一帧图像进行乒乓球检测和跟踪获取乒乓球的坐标的具体过程为：
对图像进行角点检测获得球桌四个角点坐标，根据四个角点坐标对图像进行区域划分选取感兴趣区域；
在感兴趣区域内对乒乓球进行检测和跟踪，获取乒乓球的坐标。


5.根据权利要求1所述的基于目标检测和跟踪的乒乓球落点识别和评分方法，其特征是，根据乒乓球的飞行轨迹判断乒乓球是否落在球桌上的过程为：
对乒乓球的飞行轨迹进行极小值点检测，如果没有极小值点，则说明乒乓球没有成功落在球桌上，判定乒乓球出界，如果拥有极小值点，则求出此极小值点的坐标，即为乒乓球落点坐标。


6.基于目标检测和跟踪的乒乓球落点识别和评分系统，其特征是，包括视频获取模块、乒乓球检测跟踪模块、乒乓球轨迹拟合模块、击...

【专利技术属性】
技术研发人员：李晓飞，王岩，王恺凡，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏;32