一种基于深度学习的乒乓球检测和信号反馈方法及系统技术方案

本发明专利技术公开了一种基于深度学习的乒乓球检测和信号反馈方法及系统，涉及智能体育技术领域，包括：在多个场景下采集多种数量和质量的乒乓球运动数据，形成训练数据集和测试数据集；构建基于改进的YOLOv8的乒乓球检测模型，并利用所述训练数据集对所述乒乓球检测模型进行训练和调优；所述改进的YOLOv8包括：加入全局注意力机制和可变形卷积；利用训练好的所述乒乓球检测模型对所述测试数据集进行乒乓球检测，并根据检测结果建立反馈信号系统；利用所述反馈信号系统向选手提供相应的反馈信息。本发明专利技术采用深度学习算法对乒乓球进行实时检测和跟踪，利用计算机视觉技术判断球的轨迹和落点，然后通过信号反馈信息来提高用户的乒乓球水平。乓球水平。乓球水平。

【技术实现步骤摘要】
一种基于深度学习的乒乓球检测和信号反馈方法及系统


[0001]本专利技术涉及智能体育
，特别是涉及一种基于深度学习的乒乓球检测和信号反馈方法及系统。

技术介绍

[0002]智能乒乓球训练系统国内外研究已经比较广泛，但系统成本较高，各模块数据传输复杂，数据处理缓慢，且多针对于发球功能进行研究，如：机械结构设计、控制系统设计以及供求系统，而具备多功能化设计且基于深度学习的落点检测方法的检测方法并不成熟，无法满足用户需求。
[0003]现有技术中乒乓球检测的方法，包括：基于尺度不变特征变换(SIFT)算法的解决方案，该方案可以较为准确地识别和跟踪目标，但是在场景比较复杂的场景下，目标的准确率会受到一定的影响。还包括：新型的卷积神经网络(Convolutional Neural Network，CNN)，称为Temporal Feature Multiplexing Network(TFMN)，用于检测乒乓球运动的轨迹。TFMN通过将相邻帧的特征进行复用，实现对时间序列信息的考虑，并结合空间卷积和时间卷积，从而在连续的视频序列中准确地检测出乒乓球的位置和运动轨迹。还包括：通过使用深度卷积神经网络(Convolutional Neural Network，CNN)来实现乒乓球的目标检测，用于自动识别乒乓球的位置和形态等特征。还包括：一种基于机器学习的算法来进行乒乓球旋转运动状态的预测，包括球的旋转方向、旋转速度等参数，取得了良好的效果。
[0004]但以上针对乒乓球小物体检测模型都存在以下几个问题：/>[0005]1.复杂度高：该系统涉及多个
，包括计算机视觉、深度学习、信号处理等，因此整个系统复杂度较高，需要大量的数据集构建和训练，增加了开发难度和成本。
[0006]2.依赖于环境条件：该系统需要在特定场景下进行操作，在乒乓球比赛中的环境条件比较严格，需要面对光线、阴影、运动模糊等问题，因此需要对这些因素进行处理，以提高检测的准确性。
[0007]3.实时性问题：该系统需要实时对乒乓球图像进行处理和分析，并迅速传达反馈信息给运动员。但是，由于深度学习算法计算量大，因此对硬件设备要求较高，实时性可能存在问题。
[0008]4.可靠性不足：该系统尚未经过足够的实验验证，在实际应用中的可靠性和稳定性还需要进一步研究和测试，尤其是在复杂的场景下，系统的准确性可能有待提高。

技术实现思路

[0009]有鉴于此，本专利技术提供了一种基于深度学习的乒乓球检测和信号反馈系统，该系统采用深度学习算法对乒乓球进行实时检测和跟踪，利用计算机视觉技术判断球的轨迹和落点，然后通过信号反馈信息来提高用户的乒乓球水平。
[0010]为此，本专利技术提供了以下技术方案：
[0011]本专利技术提供了一种基于深度学习的乒乓球检测和信号反馈方法，包括：
[0012]在多个场景下采集多种数量和质量的乒乓球运动数据，并对数据进行预处理和标注，形成训练数据集和测试数据集；
[0013]构建基于改进的YOLOv8的乒乓球检测模型，并利用所述训练数据集对所述乒乓球检测模型进行训练和调优；所述改进的YOLOv8包括：骨干网络、颈部网络和检测头；所述骨干网络包括：第一卷积模块、第二卷积模块、第一可变形卷积、第三卷积模块、第二可变形卷积、第三可变形卷积、空间金字塔、多头注意力；所述颈部网络包括：第四可变形卷积、第五可变形卷积、第六可变形卷积、第七可变形卷积和4个连接层；第一连接层连接所述第二可变形卷积、第四可变形卷积和第五可变形卷积；第二连接层连接所述第三可变形卷积、多头注意力和所述第五可变形卷积；第三连接层连接所述第四可变形卷积、第六可变形卷积；第四连接层连接所述多头注意力和第七可变形卷积；所述检测头包括3个检测模块，第一检测模块连接所述第四可变形卷积，第二检测模块连接所述第六可变形卷积，第三检测模块连接所述第七可变性卷积；
[0014]利用训练好的所述乒乓球检测模型对所述测试数据集进行乒乓球检测，得到乒乓球的运动轨迹，并根据检测结果建立反馈信号系统；
[0015]利用所述反馈信号系统向选手提供相应的反馈信息。
[0016]进一步地，所述反馈信号系统，包括：
[0017]上位机通过蓝牙连接通信模块，发送控制发球、自动发球和智慧发球三种模式的信号；在智慧模式下，发球机自检完成后，发送指定信号给通信模块，以排除发球机内部因素无法进行发球；
[0018]通信模块接收来自上位机和发球机的不同信号，启动摄像头实时拍摄乒乓球台图像；
[0019]通信模块采用Jetson Nano开启深度学习检测乒乓球程序，并给发球机传递摄像头开启的信号，代表程序已开始执行，发球机进入闭环处理；
[0020]发球机根据程序处理器发送的信号发球，每发一个球就发送一个信号给程序处理器记录当前阶段的发球个数，用于最后得分计算；
[0021]程序处理器分析球的上岸率、落点等信息，进行二次处理，向选手提供相应的反馈信息。
[0022]进一步地，在多个场景下采集多种数量和质量的乒乓球运动数据，包括：采集不同光照、背景、视角和球速条件下的乒乓球运动数据。
[0023]进一步地，对数据进行预处理和标注，包括：切割、缩放、旋转或添加标注信息。
[0024]进一步地，提供相应的反馈信息，包括：基于声音、光线或震动的方式输出反馈信息。
[0025]进一步地，在全局注意力机制中，首先对输入特征图进行全局平均池化，得到一个全局平均特征向量，在整个特征图中寻找乒乓球出现的区域；然后将该向量馈入一个全连接层，并使用激活函数得到一个权重向量；最后，将权重向量与原始特征图相乘，得到加权后的特征图，再将其送入模型的下一层进行处理。
[0026]本专利技术还提供了一种基于深度学习的乒乓球检测和信号反馈系统，包括：
[0027]数据采集模块，在多个场景下采集多种数量和质量的乒乓球运动数据，并对数据进行预处理和标注，形成训练数据集和测试数据集；
[0028]检测模型模块，构建基于改进的YOLOv8的乒乓球检测模型，并利用所述训练数据集对所述乒乓球检测模型进行训练和调优；所述改进的YOLOv8包括：骨干网络、颈部网络和检测头；所述骨干网络包括：第一卷积模块、第二卷积模块、第一可变形卷积、第三卷积模块、第二可变形卷积、第三可变形卷积、空间金字塔、多头注意力；所述颈部网络包括：第四可变形卷积、第五可变形卷积、第六可变形卷积、第七可变形卷积和4个连接层；第一连接层连接所述第二可变形卷积、第四可变形卷积和第五可变形卷积；第二连接层连接所述第三可变形卷积、多头注意力和所述第五可变形卷积；第三连接层连接所述第四可变形卷积、第六可变形卷积；第四连接层连接所述多头注意力和第七可变形卷积；所述检测头包括3个检测模块，第一检测模块连接所述第四可变形卷积，第二检测模块连接所述第六可变形卷积，第三检测模块连接所述第七可变性卷积；
[0029]信号反馈模块，利用训练好的所述乒乓球检测模型对所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的乒乓球检测和信号反馈方法，其特征在于，包括：在多个场景下采集多种数量和质量的乒乓球运动数据，并对数据进行预处理和标注，形成训练数据集和测试数据集；构建基于改进的YOLOv8的乒乓球检测模型，并利用所述训练数据集对所述乒乓球检测模型进行训练和调优；所述改进的YOLOv8包括：骨干网络、颈部网络和检测头；所述骨干网络包括：第一卷积模块、第二卷积模块、第一可变形卷积、第三卷积模块、第二可变形卷积、第三可变形卷积、空间金字塔、多头注意力；所述颈部网络包括：第四可变形卷积、第五可变形卷积、第六可变形卷积、第七可变形卷积和4个连接层；第一连接层连接所述第二可变形卷积、第四可变形卷积和第五可变形卷积；第二连接层连接所述第三可变形卷积、多头注意力和所述第五可变形卷积；第三连接层连接所述第四可变形卷积、第六可变形卷积；第四连接层连接所述多头注意力和第七可变形卷积；所述检测头包括3个检测模块，第一检测模块连接所述第四可变形卷积，第二检测模块连接所述第六可变形卷积，第三检测模块连接所述第七可变性卷积；利用训练好的所述乒乓球检测模型对所述测试数据集进行乒乓球检测，得到乒乓球的运动轨迹，并根据检测结果建立反馈信号系统；利用所述反馈信号系统向选手提供相应的反馈信息。2.根据权利要求1所述的一种基于深度学习的乒乓球检测和信号反馈方法，其特征在于，所述反馈信号系统，包括：上位机通过蓝牙连接通信模块，发送控制发球、自动发球和智慧发球三种模式的信号；在智慧模式下，发球机自检完成后，发送指定信号给通信模块，以排除发球机内部因素无法进行发球；通信模块接收来自上位机和发球机的不同信号，启动摄像头实时拍摄乒乓球台图像；通信模块采用Jetson Nano开启深度学习检测乒乓球程序，并给发球机传递摄像头开启的信号，代表程序已开始执行，发球机进入闭环处理；发球机根据程序处理器发送的信号发球，每发一个球就发送一个信号给程序处理器记录当前阶段的发球个数，用于最后得分计算；程序处理器分析球的上岸率、落点等信息，进行二次处理，向选手提供相应的反馈信息。3.根据权利要求1所述的一种基于深度学习的乒乓球检测和信号反馈方法，其特征在于，在多个场景下采集多种数量和质量的乒乓球运动数据，包括：采集不同光照、背景、视角和球速条件下的乒乓球运动数据。4.根据权利要求1所述的一种基于深度学习的乒乓球检测和信号反馈方法，其特征在于，对数据进行预处理和标注，包括：切割、缩放、旋转或添加标注信息。5.根据权利要求1所述的一种基于深度学习的乒乓球检测和信号反馈方法，其特征在于，提供相应的反馈信息，包括：基于声音、光线或...

【专利技术属性】
技术研发人员：宁涛，付猛，王长城，段晓东，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：