一种高尔夫挥杆视频的智能比对分析系统及方法技术方案

本发明专利技术公开一种高尔夫挥杆视频的智能比对分析系统，包括：红外检测装置，与所述红外检测装置连接的Openpose关键点检测装置，与所述Openpose关键点检测装置连接的关键点信息序列预处理装置，与所述关键点信息序列预处理装置连接的高尔夫挥杆动作序列检测装置，与所述高尔夫挥杆动作序列检测装置和所述关键点信息序列预处理装置连接的高尔夫挥杆动作关键帧检测装置，与所述高尔夫挥杆动作关键帧检测装置和所述关键点信息序列预处理装置连接的智能比对分析装置，与所述智能比对分析装置和所述红外检测装置连接的渲染装置。本发明专利技术还提出一种高尔夫挥杆视频的智能比对分析方法，通过动态+静态、正面+侧面多角度的比对分析提取到各个特征。

An intelligent comparative analysis system and method for golf swing video

The invention discloses an intelligent comparison and analysis system for golf swing video, which comprises an infrared detection device, an Openpose key point detection device connected with the infrared detection device, a key point information sequence pretreatment device connected with the Openpose key point detection device, and a key point information sequence pretreatment assembly. The golf swing action sequence detection device is connected with the golf swing action sequence detection device and the key point information sequence pretreatment device, the golf swing action key frame detection device and the key point information sequence pretreatment device. The intelligent comparison analysis device is connected with the intelligent comparison analysis device and the rendering device connected with the infrared detection device. The invention also provides an intelligent comparison analysis method for golf swing video, and extracts each feature through dynamic + static, frontal + lateral multi-angle comparison analysis.

【技术实现步骤摘要】
一种高尔夫挥杆视频的智能比对分析系统及方法
本专利技术属于人体行为识别
，具体涉及高尔夫挥杆动作序列的检测方法，高尔夫挥杆动作视频关键帧检测方法，尤其涉及一种高尔夫挥杆视频的智能比对分析系统及方法。
技术介绍
传统的体育训练都是一对一或者一对多的教练面授训练，不但受到了时间地点的局限，而且培训费用高，教练资源紧张。为了解决这一问题，越来越多的职业体育训练队或者国家训练队开始将运动捕捉应用于体育训练中。运动捕捉系统协助训练专家从多个视角观测训练者的运动动作，并获取训练者的多个运动参数和生理指标参数，为科学化的训练提供可靠的依据。对于高尔夫运动，运动员的姿势和动作对于运动员打高尔夫时的表现有着很重要的影响。有时候一个细微的姿态变化都会影响到打球的方向、力度等等。许多研究者都尝试通过人体的姿势来研究运动员打高尔夫球时的摆动，因为肉眼无法在一瞬间精确的观察到运动员的动作是否标准。目前有许多技术都被应用到高尔夫运动捕捉中，主要有机械式运动捕捉、电磁式运动捕捉、声学式运动捕捉、光学式运动捕捉来采集学员的运动信息数据。机械式运动捕捉精度较高，实时性好，可以同时捕捉多个对象，但机械装置对捕捉对象的动作约束比较大，使用不方便。电磁式运动捕捉技术成熟，成本低廉，可实现实时捕捉，但只能捕捉低频运动，对环境要求高，周围不能有磁场，多个捕捉会存在干扰。声学式运动捕捉可以很好的解决人体自遮挡问题，价格低廉，但存在较大的延迟和滞后，精度不高，误差较大。光学式运动捕捉，对运动对象没有限制，硬件成本低廉，后期数据处理大，算法复杂，对光线要求高，精度有待提高。目前，市面的高尔夫分析仪大多都是由传感器来采集运动员的数据，由于需要穿戴专业的装备或者需要在身上放置标记物，来追踪人体的各部位的运动信息，在一定程度上限制了运动员的运动，所以很难得到广泛的应用。另一方面，在计算机视觉研究领域，大部分都是通过像Kinect这样的深度摄像机来拍摄运动员的动作或者通过普通摄像机来拍摄视频通过姿态估计的方法来预测运动员的各个骨骼关键点信息。目前获取运动员的运动信息就只有这两种技术，但仅仅得到这些运动员的运动信息还不足以识别出运动员的动作是否错误。目前大部分高尔夫分析仪都还只能依靠人来分析高尔夫挥杆视频，或者回看视频来分析，或者通过运动信息数据来分析关键运动参数从而给出相应的指导，但没法像专业教练一样直接指出关键性错误的地方。
技术实现思路
对于高尔夫动作分析而言，传统的动作识别的识别粒度比较粗，只能区分跑、走、拥抱等比较明显的动作，而高尔夫动作分析需要识别出姿势和动作是否合乎标准，其识别粒度非常精细，通过传统的动作识别是无法达到效果。目前市面上的高尔夫分析仪大部分是通过运动员携带传感器来记录运动员的运动过程中的身体参数的变化，但这些参数只能在一定角度上反映运动员的一些动作的错误，没法精确的定位一开始动作错误的地方，像专业教练一样及时指出错误的地方。而且携带传感器会给运动员带来很大的不便，不利于运动员发挥。为解决上述技术问题，克服现有技术存在的技术缺陷，本专利技术采用如下技术方案：一种高尔夫挥杆视频的智能比对分析系统，包括：与正面、侧面摄像头连接的红外检测装置，用于输出正面、侧面的运动员的挥杆视频；与红外检测装置连接的Openpose关键点检测装置，用于对输入的正面、侧面的运动员的挥杆视频以及预先准备好的完整的教练员的正面挥杆视频检测视频中人体的关键点信息、分离运动员目标人物与非运动员目标人物的关键点信息，输出运动员目标的正面、侧面的关键点信息序列以及教练员正面的关键点信息序列；与Openpose关键点检测装置连接的关键点信息序列预处理装置，用于对输入的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列进行缺失值的填充、异常值的去除填充，输出预处理之后的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列；与关键点信息序列预处理装置连接的高尔夫挥杆动作序列检测装置，用于对输入的运动员正面关键点信息序列与教练员正面关键点信息序列之间进行相似度匹配，提取运动员正面关键点信息序列中完整的高尔夫挥杆动作序列，将高尔夫挥杆动作序列与非高尔夫挥杆动作序列相分离，输出运动员正面关键点信息序列中完整的高尔夫挥杆动作序列的开始时间点和结束时间点；与高尔夫挥杆动作序列检测装置和关键点信息序列预处理装置连接的高尔夫挥杆动作关键帧检测装置，用于对输入的运动员正面关键点信息序列以及运动员完整高尔夫挥杆动作序列的开始时间和结束时间进行高尔夫挥杆动作关键帧检测，高尔夫挥杆动作关键帧共分为8帧，分别是：站位帧、引杆帧、上杆帧、顶点帧、释放帧、击球帧、送杆帧、收杆帧。分别输出这段运动员正面关键点信息序列的8个关键动作帧的时间点；与高尔夫挥杆动作关键动作帧检测装置和关键点信息序列预处理装置连接的智能比对分析装置，用于对输入的运动员正面关键点信息序列的8个关键动作帧的时间点以及运动员的正面、侧面的关键点信息序列进行智能比对分析，利用高尔夫专业知识并结合实际情况制定的比对分析规则来进行智能比对分析，输出比对分析的分析结果；与智能比对分析装置和红外检测装置连接的渲染装置，用于对输入的智能比队分析结果和运动员的正面、侧面的挥杆视频进行渲染，将比对分析结果渲染到运动的正面、侧面的挥杆视频中，输出渲染之后的运动员正面、侧面的挥杆视频。作为一种较佳的实施例，红外检测装置包括：红外检测单元：通过红外线来检测高尔夫球是否被击出，若击出，则输出信号和击球时间点；与红外检测单元连接的视频剪辑单元：一旦收到来自红外检测单元的信号和击球时间点，立即根据击球时间点的前后3秒来剪辑视频，分别输出6秒长的正面、侧面运动员挥杆视频。作为一种较佳的实施例，所述的Openpose关键点检测装置包括：关键点提取单元：采用Openpose算法模型对运动员的正面、侧面挥杆视频以及预先准备好的教练员的正面挥杆视频提取关键点信息；与关键点提取单元连接的目标人物关键点信息提取单元：采用中间区域和面积最大准则来去除非运动员目标人物的关键点信息，提取运动员目标人物的关键点信息。作为一种较佳的实施例，所述的关键点信息序列预处理装置包括：缺失值填充单元：用于填充Openpose关键点检测装置输出的目标人物的关键点信息中缺失值，虽然Openpose算法模型的精度很高，但还存在一些关键点没有预测出来的情况，造成这种情况是由于目标人物自身的遮挡等原因。为了填充关键点信息中的缺失值，我们利用人体运动的连续性，采用线性插值的方法来填充关键点信息中的缺失值；与缺失值填充单元连接的异常值去除填充单元：虽然Openpose算法模型的精度很高，但还是存在预测错误的情况，为减少这些错误关键点信息对后面分析工作的影响，我们采用滑动窗口的方式来遍历关键点信息序列去除波动非常大的关键点信息，并利用线性插值的方法再填充。作为一种较佳的实施例，所述的高尔夫挥杆动作序列检测装置包括：关键点信息峰值检测单元：用于提取关键点的纵坐标信息序列的峰值点，即关键点的高度变化曲线的峰值点。目的是为了检测到运动员的高尔夫挥杆动作序列的大概位置；与关键点信息峰值检测单元连接的高尔夫挥杆动作序列范围检测单元：用于通过关键点信息峰值检测单元输出的峰值点来检测高本文档来自技高网...

【技术保护点】
1.一种高尔夫挥杆视频的智能比对分析系统，其特征在于，包括：与正面摄像头、侧面摄像头连接的红外检测装置，用于输出正面、侧面的运动员的挥杆视频；与所述红外检测装置连接的Openpose关键点检测装置，用于对输入的正面、侧面的运动员的挥杆视频以及从教练员正面挥杆视频数据库取出的完整的教练员的正面挥杆视频检测视频中人体的关键点信息、运动员目标人物与非运动员目标人物关键点信息的分离，输出运动员目标的正面、侧面的关键点信息序列以及教练员正面的关键点信息序列；与所述Openpose关键点检测装置连接的关键点信息序列预处理装置，用于对输入的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列进行缺失值的填充、异常值的去除填充，输出预处理之后的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列；与所述关键点信息序列预处理装置连接的高尔夫挥杆动作序列检测装置，用于对输入的运动员正面关键点信息序列与教练员正面关键点信息序列之间进行相似度匹配，提取运动员正面关键点信息序列中完整的高尔夫挥杆动作序列，将高尔夫挥杆动作序列与非高尔夫挥杆动作序列相分离，输出运动员正面关键点信息序列中完整的高尔夫挥杆动作序列的开始时间点和结束时间点；与所述高尔夫挥杆动作序列检测装置和所述关键点信息序列预处理装置连接的高尔夫挥杆动作关键帧检测装置，用于对输入的运动员正面关键点信息序列以及运动员完整高尔夫挥杆动作序列的开始时间和结束时间进行高尔夫挥杆动作关键帧检测，高尔夫挥杆动作关键帧共分为8帧，分别是：站位帧、引杆帧、上杆帧、顶点帧、释放帧、击球帧、送杆帧、收杆帧，并分别输出这段运动员正面关键点信息序列的8个关键动作帧的时间点；与所述高尔夫挥杆动作关键帧检测装置和所述关键点信息序列预处理装置连接的智能比对分析装置，用于对输入的运动员正面关键点信息序列的8个动作关键帧的时间点以及运动员的正面、侧面的关键点信息序列进行智能比对分析，利用高尔夫专业知识并结合实际情况制定的比对分析规则来进行智能比对分析，输出比对分析的分析结果；与所述智能比对分析装置和所述红外检测装置连接的渲染装置，用于对输入的智能比队分析结果和运动员的正面、侧面的挥杆视频进行渲染，将比对分析结果渲染到运动的正面、侧面的挥杆视频中，输出渲染之后的运动员正面、侧面的挥杆视频。...

【技术特征摘要】
1.一种高尔夫挥杆视频的智能比对分析系统，其特征在于，包括：与正面摄像头、侧面摄像头连接的红外检测装置，用于输出正面、侧面的运动员的挥杆视频；与所述红外检测装置连接的Openpose关键点检测装置，用于对输入的正面、侧面的运动员的挥杆视频以及从教练员正面挥杆视频数据库取出的完整的教练员的正面挥杆视频检测视频中人体的关键点信息、运动员目标人物与非运动员目标人物关键点信息的分离，输出运动员目标的正面、侧面的关键点信息序列以及教练员正面的关键点信息序列；与所述Openpose关键点检测装置连接的关键点信息序列预处理装置，用于对输入的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列进行缺失值的填充、异常值的去除填充，输出预处理之后的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列；与所述关键点信息序列预处理装置连接的高尔夫挥杆动作序列检测装置，用于对输入的运动员正面关键点信息序列与教练员正面关键点信息序列之间进行相似度匹配，提取运动员正面关键点信息序列中完整的高尔夫挥杆动作序列，将高尔夫挥杆动作序列与非高尔夫挥杆动作序列相分离，输出运动员正面关键点信息序列中完整的高尔夫挥杆动作序列的开始时间点和结束时间点；与所述高尔夫挥杆动作序列检测装置和所述关键点信息序列预处理装置连接的高尔夫挥杆动作关键帧检测装置，用于对输入的运动员正面关键点信息序列以及运动员完整高尔夫挥杆动作序列的开始时间和结束时间进行高尔夫挥杆动作关键帧检测，高尔夫挥杆动作关键帧共分为8帧，分别是：站位帧、引杆帧、上杆帧、顶点帧、释放帧、击球帧、送杆帧、收杆帧，并分别输出这段运动员正面关键点信息序列的8个关键动作帧的时间点；与所述高尔夫挥杆动作关键帧检测装置和所述关键点信息序列预处理装置连接的智能比对分析装置，用于对输入的运动员正面关键点信息序列的8个动作关键帧的时间点以及运动员的正面、侧面的关键点信息序列进行智能比对分析，利用高尔夫专业知识并结合实际情况制定的比对分析规则来进行智能比对分析，输出比对分析的分析结果；与所述智能比对分析装置和所述红外检测装置连接的渲染装置，用于对输入的智能比队分析结果和运动员的正面、侧面的挥杆视频进行渲染，将比对分析结果渲染到运动的正面、侧面的挥杆视频中，输出渲染之后的运动员正面、侧面的挥杆视频。2.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述红外检测装置，还包括：红外检测单元：通过红外线来检测高尔夫球是否被击出，若击出，则输出信号和击球时间点；与所述红外检测单元连接的视频剪辑单元：一旦收到来自所述红外检测单元的信号和击球时间点，立即根据击球时间点的前后3秒来剪辑视频，分别输出6秒长的正面、侧面运动员挥杆视频。3.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述Openpose关键点检测装置，还包括：关键点提取单元：采用Openpose算法模型对运动员的正面、侧面挥杆视频以及预先准备好的教练员的正面挥杆视频提取关键点信息；与所述关键点提取单元连接的目标人物关键点信息提取单元：采用中间区域和面积最大准则来去除非运动员目标人物的关键点信息，提取运动员目标人物的关键点信息。4.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述关键点信息序列预处理装置，还包括：缺失值填充单元：用于填充Openpose关键点检测装置输出的目标人物的关键点信息中缺失值，利用人体运动的连续性，采用线性插值的方法来填充关键点信息中的缺失值；与所述缺失值填充单元连接的异常值去除填充单元：采用滑动窗口的方式来遍历关键点信息序列去除波动非常大的关键点信息，并利用线性插值的方法再填充。5.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述高尔夫挥杆动作序列检测装置，还包括：关键点信息峰值检测单元：用于提取关键点的纵坐标信息序列的峰值点，即关键点的高度变化曲线的峰值点，目的是检测到运动员的高尔夫挥杆动作序列的位置；与所述关键点信息峰值检测单元连接的高尔夫挥杆动作序列范围检测单元：用于通过关键点信息峰值检测单元输出的峰值点来检测高尔夫挥杆动作序列的范围。6.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述高尔夫挥杆动作关键帧检测装置，还包括：特征提取单元：用于提取运动员的运动轨迹特征；与所述特征提取单元连接的关键帧检测单元：用于从运动员的运动轨迹特征中提取8个高尔夫动作关键帧。7.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述智能比对分析装置，还包括：动态分析单元：提取运动员的正面、侧面动态特征，并根据提取到的动态特征进行比对分析；静态分析单元：提取运动员的正面、侧面静态特征，并根据提取到的静态特征进行比对分析。8.根据权利要求1所述的一种高尔夫挥杆视频的智能比对分析系统，其特征在于，所述渲染装置，还包括：关键帧图片渲染单元：用于将关键帧的比对分析结果渲染在运动员正面、侧面8个动作关键帧图片上并输出；视频渲染单元：用于将动态的比对分析结果渲染在运动员的正面、侧面的挥杆视频上并输出。9.一种基于权利要求1所述的高尔夫挥杆视频的智能比对分析系统的方法，其特征在于，包含如下步骤：关键点检测步骤：对运动员的正面、侧面高尔夫挥杆视频以及从教练员正面挥杆视频数据库中提取出的教练员正面高尔夫挥杆视频进行关键点检测；关键点信息序列预处理步骤：对检测到的关键点数据进行预处理，得到精度更高的关键点信息序列；高尔夫挥杆动作序列检测步骤：提取运动员正面左手腕关键点的高度信息的峰值点，对峰值点位置进行前后滑动搜索，搜索可能的高尔夫挥杆动作序列范围，然后再通过DTW算法来计算可能的高尔夫挥杆动作序列范围与教练员的高尔夫挥杆动作序列的相似度，然后进行一定的筛选、合并处理，得到最终的运动员的高尔夫挥杆动作序列；高尔夫关键动作帧检测步骤：从运动员正面的关键点信息序列中提取运动轨迹特征，然后基于运动轨迹特征进行高尔夫关键动作帧检测；智能比对分析步骤：根据检测到的高尔夫关键动作帧、运动员正面侧面关键点信息序列以及视频来进行动态+静态，正面+侧面比对分析；渲染分析结果步骤：将智能比对分析步骤得到的比对分析结果渲染输出。10.根据权利要求9所述的一种高尔夫挥杆视频的智能比对分析方法，其特征在于，所述关键点检测步骤，还包括：步骤SS11：采用Openpose算法模型对运动员的正面、侧面挥杆视频...

【专利技术属性】
技术研发人员：陈昌红，季月鹏，干宗良，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：江苏,32