一种基于深度图像感应的肢体动作识别方法及系统技术方案

本发明专利技术涉及一种基于深度图像感应的肢体动作识别方法及系统，包括获取用户及其所在环境的深度图像信息；从上述深度图像信息的背景中抽取用户肢体轮廓；分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据；根据表达用户肢体的运动的数据识别用户的肢体动作。本发明专利技术通过重建用户肢体的骨骼系统，再进一步的识别和跟踪用户的肢体动作，较好的解决了现有的动作感应识别解决方案中存在的问题，提高肢体动作识别效率，改善人机交互用户体验。

【技术实现步骤摘要】

本专利技术涉及人机交互技术，具体地说，本专利技术涉及一种基于深度图像感应的肢体动作识别方法及系统。
技术介绍
因为鼠标、键盘等传统人机交互设备在用户体验的自然性和友好性方面都存在一定的局限性，人机交互技术成为近年来非常热门的研究领域，进而出现了越来越多的诸如触控控制、声音控制、手势控制、动作感应等各种新型人机交互方式。特别是以任天堂的Wii和索尼的MOVE为代表的动作感应人机交互方式，通过各类传感器设备，实时的完成对肢体动作，更具体的说是上肢动作的识别过程，并转化为游戏主机等宿主设备能够识别的命令，是目前非常流行的一种人机交互方式。以Wii的动作感应解决方案为例，其核心是位于特制的用户手持的游戏手柄中的 MEMS (Micro Electromechanical System,即微电子机械系统)三轴加速度感应芯片，当用户手持手柄做动作时，三轴加速度传感器则能够将用户的手势动作通过该传感器转换为数字信号从而能够被系统识别。而MOVE的动作感应解决方案则是基于图像识别的原理，其核心是显示设备上的摄像头对特制的用户手持的游戏手柄上的发光彩球轨迹的识别和跟踪，而且彩球的发光颜色会根据实际环境的光照颜色条件进行自动调节，以保证能被系统高效识别。无论是采用MEMS传感器的方案还是图像识别的方案，都还是需要手持辅助设备，这对于用户体验来说还是有一定的限制。比如，用户动作过大时容易将手持辅助设备扔出，因为MEMS传感器手柄本身价格也比较高，跌落受损的经济损失比较大；M0VE方案中如果用户在强光环境中，则用户的动作识别率会大幅下降，甚至无法识别用户动作，严重影响用户体验。目前以手势识别为代表的，可以让用户不借助任何外部辅助设备进行人机交互的解决方案，基本上都是基于二维图像处理和模式识别技术，对使用环境光照条件等有较苛刻的要求。从肢体动作识别过程来说，传统的动作识别需要进行动作建模、动作分割、动作分析等多个复杂步骤和过程，特别是对于动态肢体动作来说，不同的用户在进行肢体动作的时候会存在速率差异、轨迹差异等，从而导致动作建模轨迹在时间轴上引起非线性波动，而这种非线性波动的消除非常困难和复杂，所以传统的基于二维图像的肢体动作识别率和识别效率普遍不够高。另一方面，真实的用户肢体动作都是在三维环境下做出的，而基于二维图像处理的结果是将用户的三维动作映射为二维动作来进行处理，很难获得真实的三维动作信息，也就在很大程度上限制了可以识别的肢体动作的丰富性，限制了手势识别设备的广泛应用
技术实现思路
本专利技术的主要目的在于克服现有技术的不足之处，公开一种基于深度图像感应的肢体动作识别方法及系统，识别和跟踪用户的肢体动作，提高肢体动作识别效率。本专利技术公开了一种基于深度图像感应的肢体动作识别系统，包括 深度图像信息获取单元用于获取用户及其所在环境的深度图像信息； 肢体轮廓抽取单元用于从上述深度图像信息的背景中抽取用户肢体轮廓； 标准骨骼适配单元用于分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架； 骨骼运动跟踪单元用于在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据； 肢体动作识别单元用于根据上述表达用户肢体的运动的数据识别用户的肢体动作。本专利技术公开的肢体动作识别系统中，所述深度图像信息获取单元进一步包括 深度图像传感单元用于向用户所在方向发射经过编码的红外结构原始光平面，并接收和感应经由用户及其所在环境反射回来的三维环境对象红外结构光；和 深度图像处理单元用于通过对比上述三维环境对象红外结构光的编码和原始结构光平面的编码，来获取深度图像息。所述肢体轮廓抽取单元是根据连续的深度图像信息中的运动差分分析抽取用户肢体轮廓。所述标准骨骼适配单元通过缩放、旋转、变形的计算方法对所述标准人体骨骼框架进行适配。所述标准人体骨骼框架包括按照正常人体结构相互连接的头部、躯干、盆骨、左上臂、左下臂、左手、右上臂、右下臂、右手、左大腿、左小腿、左脚、右大腿、右小腿和右脚。本专利技术还公开了一种基于深度图像感应的肢体动作识别方法，包括如下步骤 A，获取用户及其所在环境的深度图像信息； B，从上述深度图像信息的背景中抽取用户肢体轮廓； C，分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架； D，在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据； E，根据表达用户肢体的运动的数据识别用户的肢体动作。本专利技术公开的肢体动作识别方法，所述步骤C中进一步包括如下步骤 Cl，根据标准人体骨骼框架和步骤B中获取的用户肢体轮廓，保证盆骨的对应位置相一致； C2，移动、缩放标准人体骨骼框架的躯干骨骼至合适高度，保证头部骨骼的对应位置相一致； C3，移动、缩放标准人体骨骼框架的下肢骨骼至合适位置，保证脚部的对应位置相一致； C4，移动、缩放标准人体骨骼框架的上肢骨骼至合适位置，保证双手对应位置相一致；C5，检查对比适配骨架关键点位置是否与所述用户肢体轮廓相一致，如果否，则回到上述步骤Cl，从盆骨开始重新适配；如果是，则进入下一步。所述步骤A中可以采用双目视觉技术、或者飞行时间技术、或者结构光编码技术获取用户及其所在环境的深度图像信息。所述步骤A采用结构光编码技术获取用户及其所在环境的深度图像信息的方法，进一步包括如下步骤 Al，向用户所在方向发射经过编码的红外结构原始光平面，并接收和感应经由用户及其所在环境反射回来的三维环境对象红外结构光； A2，通过对比上述三维环境对象红外结构光的编码和原始结构光平面的编码，来获取深度图像信息。步骤C中还可以包括C6， 在用户动作时检查肢体轮廓是否与全身骨骼的实际运动保持一致。本专利技术公开的一种基于深度图像感应的肢体动作识别方法及系统，基于深度图像 传感器和深度图像处理单元，可以将用户肢体图像高效的从复杂背景中分离出来，能够重建用户肢体的骨骼系统，进一步的识别和跟踪用户的肢体动作，最终完成用户肢体动作识别过程，从而可以较好的解决现有的动作感应识别解决方案中存在的问题，提高肢体动作识别效率，改善人机交互用户体验。附图说明图I为本专利技术的肢体动作识别系统的一个实施例的电路框图。图2为本专利技术的肢体动作识别方法的一个实施例的流程图。图3是本专利技术的肢体动作识别系统采用的肢体骨骼结构示意图。图4是本专利技术的标准骨骼适配方法的一个实施例的流程图。具体实施例方式下面结合附图和具体实施方式对本专利技术作进一步详细说明。获取图像深度信息的方式有多种，常见的包括双目视觉技术，飞行时间技术，结构光编码技术等，不失一般性地，本专利技术以结构光编码技术作为获取图像深度信息的一种手段来描述本专利技术。如图I所示为本专利技术的肢体动作识别系统的一个实施例的电气结构框图，本专利技术的基于深度图像感应的肢体动作识别系统主要构成包括 深度图像传感单元负责向用户所在方向发射经过编码的结构光平面，并接收和感应经由用户所在环境反射回来的红外结构光。深度图像处理单元根据结构光编码技术原理,通过对比三维环境对象结构光编码和原始平面结构光编码，来获取结构光传感器可视范围内的场景深度信息。肢体轮廓抽取单元负责从环境背景本文档来自技高网...

【技术保护点】
一种基于深度图像感应的肢体动作识别系统，其特征在于，包括：深度图像信息获取单元：用于获取用户及其所在环境的深度图像信息；肢体轮廓抽取单元：用于从上述深度图像信息的背景中抽取用户肢体轮廓；标准骨骼适配单元：用于分别改变标准人体骨骼框架中各个部分的大小，使其与上述用户肢体轮廓相适应，获得相应于该用户的适配肢体骨骼框架；骨骼运动跟踪单元：用于在深度图像信息中，以适配肢体骨骼框架的格式跟踪、抽取表达用户肢体的运动的数据；？肢体动作识别单元：用于根据上述表达用户肢体的运动的数据识别用户的肢体动作。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈大炜，
申请(专利权)人：康佳集团股份有限公司，
类型：发明
国别省市：