一种基于双目手势识别的AR动作矫正投影方法及系统技术方案

本发明专利技术公开了一种基于双目手势识别的AR动作矫正投影方法及系统，其中，方法包括：识别到特定手势动作即选择一示范动作模型并投影在屏幕，播放示范手势动作；用户做出手势动作，双目手势识别模块产生手势动作模型并投影在屏幕上；计算示范动作模型和手势动作模型同一时间的手势的形状相似度，低于设定值时，发出提示，获取此时时间节点和手势截图并显示。有益效果：用户以手势来选择示范动作模型，用户直观的在屏幕上看到自己的手势动作和示范手势动作的区别，当用户手势与示范手势的形状相似度低于设定值时，发出提示，显示时间节点和示范手势，实现在没有导师亲自矫正时，自动矫正用户手势动作，人机交互性、趣味性强。

AR motion correction projection method and system based on binocular gesture recognition

The invention discloses a system including correction and projection method, gesture recognition based on binocular AR action recognition method: the specific gestures that choose a demonstration model and projection on the screen, playing demonstration gestures; users make gestures, gestures and projection model on the screen to produce binocular hand gesture recognition module the shape similarity calculation; demonstration model and gesture model at the same time the gesture, a hint is lower than the set value, at this time, access time node and gesture screenshots and display. The beneficial effect of the user to select gestures to demonstration model, users to visually see the difference between their gestures and demonstration gestures on the screen, when the shape similarity of user gestures and demonstration of gestures is lower than the set value, alert the display time node and the demonstration in the gesture, no teacher personally correction, automatic correct user gestures, interactive and interesting.

【技术实现步骤摘要】
一种基于双目手势识别的AR动作矫正投影方法及系统
本专利技术涉及AR投影
，尤其是涉及一种基于双目手势识别的AR动作矫正投影方法及系统。
技术介绍
手部动作的应用场景很多，例如手语，弹钢琴，弹吉他(古筝、萨克斯等乐器)，书法手势，球类运动的手部姿势，这些活动都要求十根手指的手势动作标准。然而人们学习这些手势动作的时候，常常没有指导老师或教练亲自矫正和指导，极易造成手势动作不标准，一旦错误的手势动作形成习惯，将对日后的继续学习造成极大阻碍。
技术实现思路
本专利技术的目的在于克服上述技术不足，提出一种基于双目手势识别的AR动作矫正投影方法及系统，解决现有技术中在要求手势动作标准的学习活动中，常常无人指导和矫正手势动作，导致学员做出的手势动作极易不标准的技术问题。为达到上述技术目的，本专利技术的技术方案提供一种基于双目手势识别的AR动作矫正投影方法，其中，包括：S1、双目手势识别模块进行手势动作识别；S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，所述示范动作模型为一设定时长的3D手势动作；S3、将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；S4、用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；S5、计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和手势截图；S6、当所述示范动作模型的手势动作结束，显示获取的时间节点和手势截图。本专利技术还提供一种基于双目手势识别的AR动作矫正投影系统，其中，包括：手势动作识别模块：所述双目手势识别模块进行手势动作识别；选择示范动作模块：识别到特定的手势动作后，执行选择指令，选择一预先存储的所述示范动作模型，所述示范动作模型为一设定时长的3D手势动作；播放示范动作模块：将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；显示用户动作模块：用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生所述手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；判断错误动作模块：计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和手势截图；显示错误动作模块：当所述示范动作模型的手势动作结束，显示获取的时间节点和手势截图。与现有技术相比，本专利技术的有益效果包括：通过做出手势动作即可选择需要进行学习和矫正的示范动作模型，人机交互性很强，通过在屏幕上投影示范手势动作，可以让用户跟随着做出手势动作，并对用户的手势动作进行投影，让用户直观的看到自己的手势动作和示范手势动作的区别，当用户手势与示范手势的形状相似度低于设定值时，手势不够标准，提示用户注意，并在示范手势动作结束后显示手势不够标准时的时间节点和该时节点的示范手势截图，以便用户矫正自己的手势动作，实现在没有指导老师亲自矫正和指导时，自动矫正用户手势动作，人机交互性强，趣味性强。附图说明图1是本专利技术提供的一种基于双目手势识别的AR动作矫正投影方法流程图；图2是本专利技术提供的一种基于双目手势识别的AR动作矫正投影系统结构框图。附图中：1、基于双目手势识别的AR动作矫正投影系统，11、手势动作识别模块，12、选择示范动作模块，13、播放示范动作模块，14、显示用户动作模块，15、判断错误动作模块，16、显示错误动作模块。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。LeapMotion公司的同名产品LeapMotion和Usens公司的Fingo都有双摄像头，实现双目手势识别，技术原理是：使用两台摄像机对当前环境进行拍摄，得到两幅针对同一环境的不同视角照片，实际上就是模拟了人眼工作的原理。因为两台摄像机的各项参数以及它们之间相对位置的关系是已知的，只要找出手势在不同画面中的位置，我们就能通过算法计算出手势距离摄像头的深度信息，从而形成手势多角三维图像，进行手势动作的识别。本专利技术采用了LeapMotion模块或Fingo模块，LeapMotion模块或Fingo模块可以实现双目手势动作识别，可以获取手势动作模型。LeapMotion模块或Fingo模块属于现有技术，不再赘述。本专利技术提供了一种基于双目手势识别的AR动作矫正投影方法，其中，包括：S1、双目手势识别模块进行手势动作识别；S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，示范动作模型为一设定时长的3D手势动作；S3、将选择的一预先存储的示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放示范动作模型的3D手势动作；S4、用户跟随播放的手势动作做出手势动作，双目手势识别模块进行手势动作识别，产生手势动作模型，将手势动作模型的数字信号转为光信号，投影在投影屏幕上，手势动作模型为一连串的用户的3D手势动作；S5、计算示范动作模型和手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取示范动作模型的时间节点和该时间节点的手势截图；S6、当示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。本专利技术所述的基于双目手势识别的AR动作矫正投影方法，步骤S1包括：双目手势识别模块采用LeapMotion模块或者Fingo模块。本专利技术所述的基于双目手势识别的AR动作矫正投影方法，步骤S2包括：预先存储多个示范动作模型。本专利技术所述的基于双目手势识别的AR动作矫正投影方法，步骤S4包括：示范动作模型和手势动作模型的投影显示在同一投影屏幕上的不同位置。本专利技术还提供一种基于双目手势识别的AR动作矫正投影系统1，其中，包括：手势动作识别模块11：双目手势识别模块进行手势动作识别；选择示范动作模块12：识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，示范动作模型为一设定时长的3D手势动作；播放示范动作模块13：将选择的一预先存储的示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放示范动作模型的3D手势动作；显示用户动作模块14：用户跟随播放的手势动作做出手势动作，双目手势识别模块进行手势动作识别，产生手势动作模型，将手势动作模型的数字信号转为光信号，投影在投影屏幕上，手势动作模型为一连串的用户的3D手势动作；判断错误动作模块15：计算示范动作模型和手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取示范动作模型的时间节点和该时间节点的手势截图；显示错误动作模块16：当示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。本专利技术所述的基于双目手势识别的AR动作矫本文档来自技高网...

【技术保护点】
一种基于双目手势识别的AR动作矫正投影方法，其特征在于，包括：S1、双目手势识别模块进行手势动作识别；S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，所述示范动作模型为一设定时长的3D手势动作；S3、将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；S4、用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；S5、计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和该时间节点的手势截图；S6、当所述示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。

【技术特征摘要】
1.一种基于双目手势识别的AR动作矫正投影方法，其特征在于，包括：S1、双目手势识别模块进行手势动作识别；S2、识别到特定的手势动作后，执行选择指令，选择一预先存储的示范动作模型，所述示范动作模型为一设定时长的3D手势动作；S3、将选择的一预先存储的所述示范动作模型的数字信号转为光信号，投影在投影屏幕上并播放所述示范动作模型的3D手势动作；S4、用户跟随播放的手势动作做出手势动作，所述双目手势识别模块进行手势动作识别，产生手势动作模型，将所述手势动作模型的数字信号转为光信号，投影在投影屏幕上，所述手势动作模型为一连串的用户的3D手势动作；S5、计算所述示范动作模型和所述手势动作模型同一时间的手势的形状相似度，当手势的形状相似度低于设定值时，发出提示信息，并获取所述示范动作模型的时间节点和该时间节点的手势截图；S6、当所述示范动作模型的手势动作结束，显示获取的时间节点和该时间节点的手势截图。2.如权利要求1所述的基于双目手势识别的AR动作矫正投影方法，其特征在于，步骤S1包括：所述双目手势识别模块采用LeapMotion模块或者Fingo模块。3.如权利要求1所述的基于双目手势识别的AR动作矫正投影方法，其特征在于，步骤S2包括：预先存储多个所述示范动作模型。4.如权利要求1所述的基于双目手势识别的AR动作矫正投影方法，其特征在于，步骤S4包括：所述示范动作模型和所述手势动作模型的投影显示在同一投影屏幕上的不同位置。5.一种基于双目手势识别的AR动作矫正投影系统，...

【专利技术属性】
技术研发人员：伍永豪，赵亚丁，彭泉，曾贵平，
申请(专利权)人：武汉市马里欧网络有限公司，
类型：发明
国别省市：湖北,42