一种体感互动方法及其系统技术方案

本发明专利技术公开了一种体感互动方法及其系统，基于体感互动系统，系统包括外接摄像组件和移动终端；外接摄像组件包括两个摄像头、与摄像头连接的处理器以及与处理器连接的通信接口；移动终端通过通信接口与外接摄像组件建立连接；两个摄像头的光轴处于同一水平面；方法包括两个摄像头获取人体图像；处理器计算人体图像中各个人体图像点的深度信息，并据此得到深度图后发送给移动终端；移动终端依据深度图提取出人体图像中的人体姿态并发送至当前进行的体感游戏应用内；将人体姿态与游戏中人体进行动作融合，得到融合画面并发送至体感游戏的显示屏幕上。本发明专利技术用户不需要手持移动终端进行动作，提高了基于移动终端的体感游戏的便利性和用户体验。

A Method and System of Somatosensory Interaction

The invention discloses a somatosensory interaction method and system, based on the somatosensory interaction system, which includes an external camera component and a mobile terminal; an external camera component includes two cameras, a processor connected with the camera and a communication interface connected with the processor; a mobile terminal establishes a connection with the external camera component through a communication interface; and the optical axes of the two cameras are in the same position. Horizontal plane; method includes two cameras to obtain human body image; processor calculates the depth information of each human body image point in human body image, and then gets the depth map and sends it to mobile terminal; mobile terminal extracts human body posture from human body image according to the depth map and sends it to the current somatosensory game application; human body posture and human body in the game are fused. The fusion screen is obtained and sent to the display screen of the somatosensory game. The user of the invention does not need a handheld mobile terminal to act, and improves the convenience and user experience of the sensory game based on the mobile terminal.

【技术实现步骤摘要】
一种体感互动方法及其系统
本专利技术涉及体感应用
，特别是涉及一种体感互动方法及其系统。
技术介绍
体感互动游戏是一种通过互联网运营平台进行人机互动的活动项目，用户不需要使用手柄，直接利用肢体来完成游戏即可。这类游戏需要用户通过肢体的动作进行操作，能够增加用户的体验感觉，使游戏更加逼真。目前的体感游戏有限于专用游戏平台，部分手机体感游戏，也需要用户拿着手机，通过手机内置的动作传感器实时获取用户的动作，并将该动作与正在运行的体感游戏进行匹配，然后由CPU同步发送到显示屏幕上进行显示。这样使得用户在进行体感游戏时，还需要手持手机，非常不方便。因此，如何提供一种不用手持且基于移动终端的体感互动方法及其系统是本领域技术人员目前需要解决的问题。
技术实现思路
本专利技术的目的是提供一种体感互动方法及其系统，用户不需要手持移动终端进行动作，提高了基于移动终端的体感游戏的便利性和用户体验。为解决上述技术问题，本专利技术提供了一种体感互动方法，基于体感互动系统，所述系统包括外接摄像组件和移动终端；所述外接摄像组件包括两个摄像头、与所述摄像头连接的处理器以及与所述处理器连接的通信接口；所述移动终端通过所述通信接口与所述外接摄像组件建立连接；两个所述摄像头的光轴处于同一水平面；所述方法包括：两个所述摄像头获取人体图像；所述处理器获取所述摄像头拍摄的人体图像后，计算所述人体图像中各个人体图像点的深度信息，并据此得到深度图后发送给移动终端；所述移动终端依据所述深度图提取出所述人体图像中的人体姿态，并将提取出来的人体姿态发送至当前进行的体感游戏应用内；在所述体感游戏应用内，将所述人体姿态与游戏中的人体进行动作融合，得到融合画面并发送至体感游戏的显示屏幕上。优选地，所述计算所述人体图像中各个人体图像点的深度信息的过程具体为：通过棋盘格标定方法对所述人体图像进行标定，获取相应摄像头的参数；在一个摄像头输出的人体图像上移动一个固定大小的窗口，确定所述固定大小窗口中的像素在另一个摄像头输出的人体图像上的对应位置，从而确定两个所述摄像头输出的人体图像上像素点的位置对应关系；依据所述位置对应关系以及视差和物体深度的对应关系式得到每个像素点的深度信息，将所述深度信息作为对应像素点的灰度值即得到深度图；所述视差和物体深度的对应关系式为：其中，所述b为像素点的视差，z为像素点的深度信息，f为所述摄像头的焦距，XT和XR是像素点在左右两张所述人体图像上的成像点距离自身所处图像左边缘的距离。优选地，所述依据所述深度图提取所述人体图像中的人体姿态的过程具体为：依据预先构建的随机森林模型中设置的人体关节，提取所述深度图中的各个关节处的深度信息；依据各个关节的深度信息确定起始点；从所述起始点开始按照预设预测规律在所述随机森林上进行游走，直至达到终止条件后，按照特定规则确定当前待测关节的预测位置；所述当前待测关节的预测位置作为其子节点的起始点；重复上述游走操作，直至得到所述待测人体图中的全部关节的预测位置；依据全部关节的预测位置构成所述人体姿态。优选地，所述随机森林模型的构建过程为：步骤s11：依据不同人体体型和人体姿势构建若干个人体骨架线的训练样本；步骤s12：确定人体骨架线中各个关节间的父子联动关系；步骤s13：分别采集每个所述人体骨架线的训练样本中各个关节的训练样本，得到各个关节的训练样本集；步骤s14：通过LBP图像特征提取算法从人体深度图像中获取各个关节的随机特征；步骤s15：依据所述随机特征训练得到一颗随机树；步骤s16：判断当前随机树的个数是否满足预设要求，若不满足，返回步骤s14，重新获取不同的随机特征，若满足，则随机森林构建完成。优选地，所述步骤s15的过程具体为：步骤s151：依据深度信息选定根节点，依据最优特征关系式计算待训练的随机树中当前每个叶子节点的最优特征，所述最优特征关系式为：其中，V为最优特征，K为当前叶子节点的聚类个数，为采样点到当前叶子节点对应关节的单位向量；为当前叶子节点的全部样本点的平均方向向量，Ck为当前叶子节点其中一个聚类个数的训练样本集合；|Ck|为训练样本集合Ck的个数，为训练样本集合Ck中的元素；步骤s152：对于每个所述叶子节点，依据其所述最优特征，计算其拟分裂后左右子节点的最优特征并求和，得到子节点特征和；步骤s153：计算每个所述叶子节点的子节点特征和与自身最优特征的差值的绝对值，选取绝对值最大的叶子节点作为最优分类节点；步骤s154：依据分类函数令所述待训练的随机树在所述最优分类节点处分裂为左右两支子树；步骤s155：判断所述待训练的随机树的层数以及节点数是否满足预设树满条件，若满足，则所述待训练的随机树训练完成，否则，返回步骤s151。优选地，所述依据各个关节的深度信息确定起始点；从所述起始点开始按照预设预测规律在所述随机森林上进行游走，直至达到终止条件后，按照特定规则确定当前待测关节的预测位置的过程具体为：步骤s31：计算所述待测人体图中各个关节的关节深度信息的平均值，并将所述平均值作为当前待测关节的起始点；步骤s32：从当前位置点开始，依据所述当前位置点的随机特征遍历所述随机森林中的随机树，找到各个所述随机树的叶子节点；初始的当前位置点为所述起始点；步骤s33：按照特定的随机概率抽取该叶子节点保存的一个方向向量；步骤s34：自所述当前位置点开始，以步长e按照所述方向向量游走至特定位置；步骤s35：判断当前状态是否满足终止条件，若满足，依据所述特定位置计算当前待测关节的预测位置，否则，令所述特定位置为所述当前位置点，返回步骤s32。为解决上述技术问题，本专利技术还提供了一种体感互动系统，包括外接摄像组件和移动终端；所述外接摄像组件包括两个摄像头、与所述摄像头连接的处理器以及与所述处理器连接的通信接口；所述移动终端通过所述通信接口与所述外接摄像组件建立连接；两个所述摄像头的光轴处于同一水平面；所述处理器，用于获取所述摄像头拍摄的人体图像后，计算所述人体图像中各个人体图像点的深度信息，并据此得到深度图后发送给移动终端；所述移动终端，用于依据所述深度图提取出所述人体图像中的人体姿态，并将提取出来的人体姿态发送至当前进行的体感游戏应用内；在所述体感游戏应用内，将所述人体姿态与游戏中的人体进行动作融合，得到融合画面并发送至体感游戏的显示屏幕上。优选地，所述显示屏幕为电视显示屏幕，所述移动终端与所述显示屏幕通过wifi或蓝牙或网线连接。优选地，所述显示屏幕为所述移动终端自带的屏幕。本专利技术提供了一种体感互动方法及其系统，在移动终端上连接外接摄像组件后，外接摄像组件中的处理器能够将摄像头获取的人体图像进行深度信息提取并发送给移动终端，供移动终端依据深度信息提取人体姿态并与体感游戏应用进行匹配，从而使当前的人体姿态与游戏中的人体进行动作融合，并在显示屏幕上进行显示。可见，本专利技术不需要用户手持移动终端进行动作，而是仅需在外接摄像组件的摄像范围内动作即可，释放了用户的双手，大大提高了用户在移动终端上进行体感游戏时的便利性，提高了用户体验。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员本文档来自技高网...

【技术保护点】
1.一种体感互动方法，其特征在于，基于体感互动系统，所述系统包括外接摄像组件和移动终端；所述外接摄像组件包括两个摄像头、与所述摄像头连接的处理器以及与所述处理器连接的通信接口；所述移动终端通过所述通信接口与所述外接摄像组件建立连接；两个所述摄像头的光轴处于同一水平面：所述方法包括：两个所述摄像头获取人体图像；所述处理器获取所述摄像头拍摄的人体图像后，计算所述人体图像中各个人体图像点的深度信息，并据此得到深度图后发送给移动终端；所述移动终端依据所述深度图提取出所述人体图像中的人体姿态，并将提取出来的人体姿态发送至当前进行的体感游戏应用内；在所述体感游戏应用内，将所述人体姿态与游戏中的人体进行动作融合，得到融合画面并发送至体感游戏的显示屏幕上。

【技术特征摘要】
1.一种体感互动方法，其特征在于，基于体感互动系统，所述系统包括外接摄像组件和移动终端；所述外接摄像组件包括两个摄像头、与所述摄像头连接的处理器以及与所述处理器连接的通信接口；所述移动终端通过所述通信接口与所述外接摄像组件建立连接；两个所述摄像头的光轴处于同一水平面：所述方法包括：两个所述摄像头获取人体图像；所述处理器获取所述摄像头拍摄的人体图像后，计算所述人体图像中各个人体图像点的深度信息，并据此得到深度图后发送给移动终端；所述移动终端依据所述深度图提取出所述人体图像中的人体姿态，并将提取出来的人体姿态发送至当前进行的体感游戏应用内；在所述体感游戏应用内，将所述人体姿态与游戏中的人体进行动作融合，得到融合画面并发送至体感游戏的显示屏幕上。2.根据权利要求1所述的方法，其特征在于，所述计算所述人体图像中各个人体图像点的深度信息的过程具体为：通过棋盘格标定方法对所述人体图像进行标定，获取相应摄像头的参数；在一个摄像头输出的人体图像上移动一个固定大小的窗口，确定所述固定大小窗口中的像素在另一个摄像头输出的人体图像上的对应位置，从而确定两个所述摄像头输出的人体图像上像素点的位置对应关系；依据所述位置对应关系以及视差和物体深度的对应关系式得到每个像素点的深度信息，将所述深度信息作为对应像素点的灰度值即得到深度图；所述视差和物体深度的对应关系式为：其中，所述b为像素点的视差，z为像素点的深度信息，f为所述摄像头的焦距，XT和XR是像素点在左右两张所述人体图像上的成像点距离自身所处图像左边缘的距离。3.根据权利要求1或2所述的方法，其特征在于，所述依据所述深度图提取所述人体图像中的人体姿态的过程具体为：依据预先构建的随机森林模型中设置的人体关节，提取所述深度图中的各个关节处的深度信息；依据各个关节的深度信息确定起始点；从所述起始点开始按照预设预测规律在所述随机森林上进行游走，直至达到终止条件后，按照特定规则确定当前待测关节的预测位置；所述当前待测关节的预测位置作为其子节点的起始点；重复上述游走操作，直至得到所述待测人体图中的全部关节的预测位置；依据全部关节的预测位置构成所述人体姿态。4.根据权利要求3所述的方法，其特征在于，所述随机森林模型的构建过程为：步骤s11：依据不同人体体型和人体姿势构建若干个人体骨架线的训练样本；步骤s12：确定人体骨架线中各个关节间的父子联动关系；步骤s13：分别采集每个所述人体骨架线的训练样本中各个关节的训练样本，得到各个关节的训练样本集；步骤s14：通过LBP图像特征提取算法从人体深度图像中获取各个关节的随机特征；步骤s15：依据所述随机特征训练得到一颗随机树；步骤s16：判断当前随机树的个数是否满足预设要求，若不满足，返回步骤s14，重新获取不同的随机特征，若满足，则随机森林构建完成。5.根据权利要求4所述的方法，其特征在于，所述...

【专利技术属性】
技术研发人员：徐一丹，龙学军，
申请(专利权)人：成都通甲优博科技有限责任公司，
类型：发明
国别省市：四川,51