一种基于AI视觉感知技术的运动教学系统技术方案

本发明专利技术公开了一种基于AI视觉感知技术的运动教学系统，属于视觉感知技术领域，包括教程编制发布子系统与运动学习子系统，所述教程编制发布子系统包括示范动作感知模块、教程编制模块与教程发布模块。本发明专利技术利用AI视觉感知技术，可以免于穿戴在身上的传感器及电源等设施，通过事先对示范者的动作视频进行分析和处理，记录和计算肢体和相关道具每部分的相对空间位置、折曲扭摆角度以及速度，然后对模仿者的动作实时视频进行同样的分析和处理，两相比较，根据比较结果调整教学节奏和方法，并监测和应答模仿者的教学要求和控制命令，解决传统通过视频进行的自学没有互动性及没有即时评价的问题。

A sports teaching system based on AI visual perception technology

【技术实现步骤摘要】
一种基于AI视觉感知技术的运动教学系统
本专利技术涉及视觉感知
，具体涉及一种基于AI视觉感知技术的运动教学系统。
技术介绍
人工智能学科自诞生之初便奠定了其模拟、延伸、扩展人类智能的宏伟目标。随着人工智能技术的发展，人工智能在感知，自然语言处理，知识表示，自动推理和规划以及机器学习等多个方向都取得了长足的发展。感知能力包括视觉感知(图像识别和视频理解和重建场景的能力)和听觉感知(即语音识别voicerecognition，指的是从多个人的声音中找到特定的人的声音)。自然语言处理指的是语义识别speechrecognition，即在语音识别之后还能理解人的话语的含义。在各种涉及运动的项目，包括体育、健身运动，舞蹈、戏曲等艺术运动，和康复、矫正等等，传统的非现场教学方式模仿者只能观看录像和对着镜子练习以揣摩和领会动作。其最大的问题是没有一个带有专业眼光和能力的动作正确度及艺术性评价工具，让学生即时获得专业指导。另一个问题是模仿者和创建该视频教程的示范者之间没有互动，严重影响自学模仿者的学习效率和效果。而且现有的运动状态感知技术通常采用可穿戴设备，固定附着在人体多个部位，利用设备中的重力传感器和加速度传感器等传感器，计算人体的运动状态，使用者需要直接穿戴设备，不够方便。为此，提出一种基于AI视觉感知技术的运动教学系统。
技术实现思路
本专利技术所要解决的技术问题在于：如何实现高效、简明和精确的连贯动作比对和正确度评价，和在没有示范者亲身指导的情况下，自动进行带有丰富互动性的教学指导，使模仿者学习效率及效果得大幅提升，提供了一种基于AI视觉感知技术的运动教学系统。本专利技术是通过以下技术方案解决上述技术问题的，本专利技术包括教程编制发布子系统与运动学习子系统，所述教程编制发布子系统包括示范动作感知模块、教程编制模块与教程发布模块，所述运动学习子系统包括模仿动作感知模块、相似度判定模块与教学过程控制模块。所述示范动作感知模块用于对示范者(教员)的动作图片或视频的每一帧做姿态感知，生成示范动作序列数据。示范动作包括正确示范动作与典型错误示范动作；每个片段至少有一个姿态，当有多个时，第一个为初始姿态，后续可设置多个节点姿态，两个节点之间的动作为分节动作。教学片段和分节都用于动作分解教学；初始示范姿态是该片段的第一个节点。所述模仿动作感知模块，用于对模仿者(学员)的动作视频逐帧进行姿态感知，生成模仿动作序列数据；所述相似度判定模块，用于将模仿者的动作序列和示范者标准姿态或动作序列比较，计算模仿者动作和示范者动作的相似度和模仿者动作的正确度。这种方法无需进行行为识别，无需理解正在进行的行为，只需要跟示范动作进行比对即可。所述教学过程控制模块，用于根据所述相似度判定模块的判定结果，控制教学的节奏和进度及调整教学方法，并用于接收模仿者的教学请求和命令；学习过程中运动教学系统逐个评价每个片段的正确度，当模仿者的动作正确度达不到阈值时，教学控制模块提示模仿者并自动回到本片段的起点，以更慢的速度重新开始本片段的学习。所述教程编制模块，用于将示范者的示范动作图片或视频，和其经过所述示范动作感知模块生成的动作序列数据，加以辅助教学素材，编辑制作成数字形式的教学内容，供所述运动学习子系统用于教学活动。数字形式的运动教学教程内容包括正确示范动作视频和典型错误动作示范视频及其运动序列数据、分段和分节索引表(包括视频分段和分节时间标签或帧编号等)、动作要领讲解音频。更进一步的，动作序列组合了静态姿态和动态趋势两部分信息，包括目标对象(人体和与之相关的道具)各个关键点的空间坐标、折曲扭摆角度、速度矢量，数据信度。空间坐标主要用于场景重建；折曲扭摆角度主要用于动作相似度比较；速度矢量主要用于示范者视频和模仿者动作同步及速度正确度和肢体协调性评估；摄像机的盲区数据信度为0,也可手工将部分部位信度设置为0，信度为0的部位在姿态比对过程中被跳过。目标对象各个关键点的空间坐标和折曲扭摆角是根据视频姿态感知的结果测量出来的，根据跟其前一帧之间的坐标变化，计算出各个关键点的速度。关键点包括人体关节、端点和虚拟关键点。虚拟关键点是假想出来的身体之外的点，用于确定面部和眼球(视线)的方向等等。多数运动项目其面部和视线朝向都是动作正确性的重要考核部分，比如戏剧表演。有些运动还有马匹等动物参与，所述运动教学系统也对其做姿态和运动状态感知。当所述运动教学系统用于棍棒等带有武器道具的武术教学时，可识别棍棒等道具，将道具也纳入运动状态比对。以直棍棒为例，系统采集棍棒的两个端点和手握点。所述教程发布模块，用于发布教程数据的数字拷贝，存储于云端服务器，以分类频道形式展现，可供在线使用，或者下发到学习终端内部供离线使用。示范动作或模仿动作序列中，每个离散的姿态包括的属性及其计算方法如下：A：坐标序列Pn：按照预先定义的人体的关节点和虚拟关键点顺序，将各点坐标记入坐标序列Pn，序列中可以存在重复的点，以记录不同方向的角度；B：角度序列An：依次计算相邻三个点所决定的角度，得到角度序列An，其中最后一个表示角Pn-1PnP0；C：速度矢量序列Vn：依次根据上一帧和这一帧的空间位置相减得到位移矢量，除以帧间隔时长，计算每个点的速度矢量Vn：Vn＝(Pn-Pn-1)/Tf其中Tf表示视频帧间隔时长；D：序列Rn：表示每个序列Pn和An中对应点的数据的信度；E：帧时间标签T。更进一步的，如果有多角度同步摄像，则分别对摄像头录制的视频，进行姿态感知，将相同的时间片刻的数据根据信度加权取平均值，再进行速度计算。更进一步的，由于示范者的动作速度和模仿者的速度不可能完全相同，而且往往模仿者较慢，模仿者还可能会做过头一点再调整回来。另外，在健身练习中，有时候需要学员维持某个状态一段时间。为此，教学过程控制设计四种示范者和模仿者的同步模式：M1、差速同步模式：指调整示范者视频的播放速度，使之接近和配合模仿者的动作速度；系统对每一个示范视频帧都进行比对，用于评估和同步；本模式适合于高级阶段的连贯练习；M2、停等同步模式：每个动作片段或分节都是匀速播放完后停下，等待模仿者完成动作片段或分节，然后自动进入下一个片段；系统对每一个示范视频帧都进行比对以评估学员的水平；本模式适合于中高级阶段的分解连贯练习；M3、命令同步模式：在此模式下，系统可只比对动作分节或者动作分段的首尾姿态。当学员认为完成该节点的姿态时，通过口令或手持遥控器方式给教学系统一个指示，教学系统进行当前节点姿态比对。比对通过则前往下一个节点，不通过则进行动作指导，直到学员再次指示系统进行比对。在两个节点之间，学员的动作不做考核，适用于初学阶段；M1-3模式下运动教学系统姿态采集模仿者动作视频，将每一帧做姿态感知之后，和示范动作比对的过程和算法如下：S11：如果已经到达当前片段的末尾，或到达下一个节点，则结束当前片段或者当前两个节点之间的比对过程。否则取下一个待比对的示范姿态，跳到S12；本文档来自技高网...

【技术保护点】
1.一种基于AI视觉感知技术的运动教学系统，其特征在于：包括教程编制和发布子系统与运动学习子系统，所述教程编制和发布子系统包括示范动作感知模块、教程编制模块与教程发布模块，所述运动学习子系统包括模仿动作感知模块、相似度判定模块与教学过程控制模块；/n所述示范动作感知模块用于对示范者的动作图片或视频的每一帧做姿态感知，生成示范动作序列数据；/n所述模仿动作感知模块，用于对模仿者的动作视频逐帧进行姿态感知，生成模仿动作序列数据；/n所述相似度判定模块，用于将模仿者的动作序列和示范者标准姿态或动作序列比较，计算模仿者动作和示范者动作的相似度、模仿者动作的正确度和错误类型；/n所述教学过程控制模块，用于根据所述相似度判定模块的判定结果，控制教学的节奏和进度及调整教学方法，并用于接收模仿者的教学请求和命令；/n所述教程编制模块，用于将示范者的示范动作图片或视频，和其经过所述示范动作感知模块生成的动作序列数据，划分动作片段和小节，设置同步模式，加入动作要领指导辅助教学素材，编辑制作成数字形式的教学内容，供所述运动学习子系统用于教学活动；/n所述教程发布模块，用于发布教程数据的数字拷贝，存储于云端服务器，以分类频道形式展现，可供在线使用，或者下发到学习终端内部供离线使用。/n...

【技术特征摘要】
1.一种基于AI视觉感知技术的运动教学系统，其特征在于：包括教程编制和发布子系统与运动学习子系统，所述教程编制和发布子系统包括示范动作感知模块、教程编制模块与教程发布模块，所述运动学习子系统包括模仿动作感知模块、相似度判定模块与教学过程控制模块；
所述示范动作感知模块用于对示范者的动作图片或视频的每一帧做姿态感知，生成示范动作序列数据；
所述模仿动作感知模块，用于对模仿者的动作视频逐帧进行姿态感知，生成模仿动作序列数据；
所述相似度判定模块，用于将模仿者的动作序列和示范者标准姿态或动作序列比较，计算模仿者动作和示范者动作的相似度、模仿者动作的正确度和错误类型；
所述教学过程控制模块，用于根据所述相似度判定模块的判定结果，控制教学的节奏和进度及调整教学方法，并用于接收模仿者的教学请求和命令；
所述教程编制模块，用于将示范者的示范动作图片或视频，和其经过所述示范动作感知模块生成的动作序列数据，划分动作片段和小节，设置同步模式，加入动作要领指导辅助教学素材，编辑制作成数字形式的教学内容，供所述运动学习子系统用于教学活动；
所述教程发布模块，用于发布教程数据的数字拷贝，存储于云端服务器，以分类频道形式展现，可供在线使用，或者下发到学习终端内部供离线使用。


2.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：示范动作序列由按时间顺序一个或多个离散的示范姿态组成，模仿动作序列由按时间顺序多个离散的模仿姿态组成；一套示范动作划分为一个或多个教学片段，每个片段至少有一个姿态，当有多个姿态时，第一个为初始姿态，后续可设置多个节点姿态，两个节点之间的动作为分节动作；教学片段和分节都用于动作分解教学。


3.根据权利要求2所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：每个姿态由一系列关键点来描述，关键点包括人体关节、端点和虚拟关键点，虚拟关键点为假想出来的点，用于表达和计算目标人物面部、视线和道具的朝向。


4.根据权利要求1所述的一种基于AI视觉感知技术的运动教学系统，其特征在于：示范动作或模仿动作序列中，每个离散的姿态包括的属性如下：
A：坐标序列Pn，按照预先定义的人体的关节点和虚拟关键点顺序，将各点坐标记入坐标序列Pn，序列中可以存在重复的点，以记录不同方向的角度；
B：角度序列An，依次计算相邻三个点所决定的角度，得到角度序列An，其中最后一个表示角Pn-1PnP0；
C：速度矢量序列Vn，依次根据上一帧和这一帧的空间位置相减得到位移矢量，除以帧间隔时长，计算每个点的速度矢量Vn：
Vn＝(Pn-Pn-1)/Tf
其中Tf表示视频帧间隔时...

【专利技术属性】
技术研发人员：郑鸿，陈文生，陈百川，唐颂，
申请(专利权)人：郑鸿，
类型：发明
国别省市：上海;31