基于可穿戴惯性感知的体感健康娱乐系统及其工作方法技术方案

本申请公开了一种基于可穿戴惯性感知的体感健康娱乐系统，包括部署于多个人体部位的惯性传感节点、数据采集服务器、数据分析服务器、虚拟现实设备。该系统实现了基于虚拟现实技术的体感游戏，能够利用可穿戴的惯性传感节点感知用户的肢体动作变化，并通过数据处理和数据分析确定相应的动作类型，最终利用虚拟现实设备根据该动作类型控制虚拟场景中目标虚拟对象的运动轨迹，显著提升了用户的游戏体验。此外，本申请还提供了一种基于可穿戴惯性感知的体感健康娱乐系统的工作方法，其技术效果与上述系统的技术效果相对应。

Somatosensory health entertainment system based on wearable habit awareness and its working method

【技术实现步骤摘要】
基于可穿戴惯性感知的体感健康娱乐系统及其工作方法
本申请涉及计算机
，特别涉及一种基于可穿戴惯性感知的体感健康娱乐系统及其工作方法。
技术介绍
虚拟现实(VirtualReality)也称为虚拟技术、虚拟环境，是20世纪发展起来的一项全新的实用技术，是利用计算机模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以即时、没有限制地观察三维空间内的事物。随着人们生活水平的提高，以及生活节奏的加快，虚拟现实技术在运动健康、娱乐业的应用越来越广泛。然而，目前的虚拟现实游戏局限于手柄操作或键盘操作，缺少基于虚拟现实游戏的能够不受光线遮挡限制的响应用户肢体精确动作变化的体感游戏。
技术实现思路
本申请的目的是提供一种基于可穿戴惯性感知的体感健康娱乐系统及其工作方法，用以解决目前的虚拟现实游戏局限于手柄操作或键盘操作，导致用户体验较差的问题。为解决上述技术问题，本申请提供了一种基于可穿戴惯性感知的体感健康娱乐系统，包括：部署于多个人体部位的惯性传感节点、数据采集服务器、数据分析服务器、虚拟现实设备；其中，所述惯性传感节点用于采集人体的位姿数据，并将所述位姿数据传输至所述数据采集服务器；所述数据采集服务器用于对所述位姿数据进行预处理操作；所述数据分析服务器用于利用预先经过训练的机器学习模型确定预处理后的位姿数据对应的动作类型，以及所述预处理后的位姿数据在所述动作类型下的识别分数；所述虚拟现实设备用于显示体感游戏的虚拟场景，并根据所述动作类型控制所述虚拟场景中目标虚拟对象的运动轨迹。优选的，所述惯性传感节点包括WIFI模块，所述WIFI模块用于对本地的位姿数据进行打包，并通过TCP协议或IP协议将所述位姿数据传输至所述数据采集服务器。优选的，所述数据采集服务器为基于SocketAsyncEventArgs类实现的高性能网络服务器，所述数据采集服务器用于对各个所述惯性传感节点进行并发数据收集，以获取所述位姿数据。优选的，所述惯性传感节点还包括：加速度计、磁力计、陀螺仪。优选的，所述数据采集服务器对所述位姿数据的预处理操作包括：根据预先确定的所述加速度计的加速度零偏值，对所述位姿数据中的加速度数据进行校准；根据预先确定的所述磁力计的补偿值，对所述位姿数据中的磁力数据进行校准；对所述位姿数据中的加速度数据、磁力数据、陀螺仪数据进行数据融合；利用unity游戏引擎将所述位姿数据从惯性传感节点坐标系映射到虚拟空间坐标系。优选的，在体感游戏开始之前的标定阶段，所述虚拟现实设备还用于显示预设动作以提示用户做出所述预设动作，所述数据采集服务器用于根据所述惯性传感节点采集的位姿数据和所述预设动作的标准位姿数据，确定位置偏差值，以便后续过程中根据所述位置偏差值修正位姿数据。优选的，在所述机器学习模型为隐马尔科夫模型时，所述机器学习模型的训练过程包括：根据已有的动作类型和所述位姿数据，创建隐马尔科夫模型；对所述预处理后的位姿数据进行动作窗口的划分，得到动作数据；提取所述动作数据的特征，并设置动作类型标签，得到第一训练样本；利用所述第一训练样本对相应的隐马尔科夫模型进行训练，直至达到第一训练终止条件。优选的，在所述机器学习模型为深度神经网络模型时，所述机器学习模型的训练过程包括：构建深度神经网络模型，并初始化模型参数；利用所述深度神经网络模型的前向传播算法，确定第二训练样本的预测值；利用第一目标损失函数根据所述预测值和真实值确定偏差值；根据所述偏差值，利用反向传播算法更新所述深度神经网络模型的模型参数，直至达到第二训练终止条件。优选的，在所述机器学习模型为卷积神经网络模型时，所述机器学习模型的训练过程包括：构建卷积神经网络模型；将所述预处理后的位姿数据转换为三通道的图像数据，得到第三训练样本；根据第二目标损失函数，利用所述第三训练样本对所述卷积神经网络模型进行训练，直至达到第三训练终止条件。优选的，在所述机器学习模型为长短时记忆模型时，所述机器学习模型的训练过程包括：构建LSTM模型；利用循环神经网络算法将所述预处理后的位姿数据转换为第四训练样本；根据第三目标损失函数，利用所述第四训练样本对所述LSTM模型进行训练，直至达到第四训练终止条件。优选的，所述数据分析服务器还用于：在所述识别分数低于第一预设阈值时，根据所述预处理后的位姿数据和所述动作类型的标准位姿数据，确定各个所述惯性传感节点对应的人体部位的动作得分，以便所述虚拟现实设备显示低于第二预设阈值的动作得分以及与该动作得分对应的人体部位。优选的，所述体感游戏为以下任意一项：乒乓球游戏、羽毛球游戏、网球游戏、足球游戏、战士动作训练、肢体康复。优选的，在所述体感游戏为乒乓球游戏时，所述动作类型包括以下任意一项或多项：正手快攻、快拨、加转弧圈、前冲弧圈、反手搓球、正手搓球。优选的，所述体感游戏包括人机交互模式和/或人人交互模式。此外，本申请还提供了一种基于可穿戴惯性感知的体感健康娱乐系统的工作方法，包括：采集人体的位姿数据，并将所述位姿数据传输至数据采集服务器；利用所述数据采集服务器对所述位姿数据进行预处理操作；利用预先经过训练的机器学习模型确定预处理后的位姿数据对应的动作类型，以及所述预处理后的位姿数据在所述动作类型下的识别分数；显示体感游戏的虚拟场景，并根据所述动作类型控制所述虚拟场景中目标虚拟对象的运动轨迹。本申请所提供的一种基于可穿戴惯性感知的体感健康娱乐系统，包括：部署于多个人体部位的惯性传感节点、数据采集服务器、数据分析服务器、虚拟现实设备。其中，惯性传感节点用于采集人体的位姿数据，并将位姿数据传输至数据采集服务器；数据采集服务器用于对位姿数据进行预处理操作；数据分析服务器用于利用预先经过训练的机器学习模型确定预处理后的位姿数据对应的动作类型，以及预处理后的位姿数据在该动作类型下的识别分数；虚拟现实设备用于显示体感游戏的虚拟场景，并根据动作类型控制虚拟场景中目标虚拟对象的运动轨迹。可见，该系统实现了基于虚拟现实技术的体感游戏，能够利用可穿戴的惯性传感节点感知用户的肢体动作变化，并通过数据处理和数据分析确定相应的动作类型，最终利用虚拟现实设备根据该做动作类型控制虚拟场景中目标虚拟对象的运动轨迹，显著提升了用户的游戏体验。该系统能够为专业交流和运动员提供一种参考和辅助训练工具，为难度高、新的技巧性较强的运动或康复训练提供新的参考手段。此外，本申请还提供了一种基于可穿戴惯性感知的体感健康娱乐系统的工作方法，其技术效果与上述系统的技术效果相对应，这里不再赘述。附图说明为了更清楚的说明本申请实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅本文档来自技高网...

【技术保护点】
1.一种基于可穿戴惯性感知的体感健康娱乐系统，其特征在于，包括：部署于多个人体部位的惯性传感节点、数据采集服务器、数据分析服务器、虚拟现实设备；/n其中，所述惯性传感节点用于采集人体的位姿数据，并将所述位姿数据传输至所述数据采集服务器；/n所述数据采集服务器用于对所述位姿数据进行预处理操作；/n所述数据分析服务器用于利用预先经过训练的机器学习模型确定预处理后的位姿数据对应的动作类型，以及所述预处理后的位姿数据在所述动作类型下的识别分数；/n所述虚拟现实设备用于显示体感游戏的虚拟场景，并根据所述动作类型控制所述虚拟场景中目标虚拟对象的运动轨迹。/n

【技术特征摘要】
1.一种基于可穿戴惯性感知的体感健康娱乐系统，其特征在于，包括：部署于多个人体部位的惯性传感节点、数据采集服务器、数据分析服务器、虚拟现实设备；
其中，所述惯性传感节点用于采集人体的位姿数据，并将所述位姿数据传输至所述数据采集服务器；
所述数据采集服务器用于对所述位姿数据进行预处理操作；
所述数据分析服务器用于利用预先经过训练的机器学习模型确定预处理后的位姿数据对应的动作类型，以及所述预处理后的位姿数据在所述动作类型下的识别分数；
所述虚拟现实设备用于显示体感游戏的虚拟场景，并根据所述动作类型控制所述虚拟场景中目标虚拟对象的运动轨迹。


2.如权利要求1所述的系统，其特征在于，所述惯性传感节点包括WIFI模块，所述WIFI模块用于对本地的位姿数据进行打包，并通过TCP协议或IP协议将所述位姿数据传输至所述数据采集服务器。


3.如权利要求2所述的系统，其特征在于，所述数据采集服务器为基于SocketAsyncEventArgs类实现的高性能网络服务器，所述数据采集服务器用于对各个所述惯性传感节点进行并发数据收集，以获取所述位姿数据。


4.如权利要求2所述的系统，其特征在于，所述惯性传感节点还包括：加速度计、磁力计、陀螺仪。


5.如权利要求4所述的系统，其特征在于，所述数据采集服务器对所述位姿数据的预处理操作包括：
根据预先确定的所述加速度计的加速度零偏值，对所述位姿数据中的加速度数据进行校准；根据预先确定的所述磁力计的补偿值，对所述位姿数据中的磁力数据进行校准；
对所述位姿数据中的加速度数据、磁力数据、陀螺仪数据进行数据融合；
利用unity游戏引擎将所述位姿数据从惯性传感节点坐标系映射到虚拟空间坐标系。


6.如权利要求5所述的系统，其特征在于，在体感游戏开始之前的标定阶段，所述虚拟现实设备还用于显示预设动作以提示用户做出所述预设动作，所述数据采集服务器用于根据所述惯性传感节点采集的位姿数据和所述预设动作的标准位姿数据，确定位置偏差值，以便后续过程中根据所述位置偏差值修正位姿数据。


7.如权利要求1所述的系统，其特征在于，在所述机器学习模型为隐马尔科夫模型时，所述机器学习模型的训练过程包括：
根据已有的动作类型和所述位姿数据，创建隐马尔科夫模型；
对所述预处理后的位姿数据进行动作窗口的划分，得到动作数据；提取所述动作数据的特征，并设置动作类型标签，得到第一训练样本；
利用所述第一训练样本对相应的隐马尔科夫模型进行训练，直至达到第一训练终止条件。


8.如权利要求1所述...

【专利技术属性】
技术研发人员：张衡，刘敬伟，
申请(专利权)人：张衡，刘敬伟，
类型：发明
国别省市：重庆;50