【技术实现步骤摘要】
【】本专利技术涉及扩展现实(xr)，尤其涉及一种沉浸式多维运动感知方法、系统、终端与介质。
技术介绍
0、
技术介绍
1、沉浸式xr(extended reality/cross reality，扩展现实)技术是一种基于led(light-emitting diode，发光二极管)显示屏的沉浸式虚拟现实大型显示技术，是以计算机图形学为基础，把高分辨率的立体显示技术、多通道视景同步技术、三维计算机图形技术、音响技术、传感器技术等完美地融合在一起，从而产生一个被三维立体画面包围的供多人使用的完全沉浸式的虚拟环境，其特点是清晰度高，色彩好、不受环境光影响、沉浸感强，交互性好。举例来说，用户可以在xr场景中模拟跑步等运动，在身上装感应器并结合场景中的设备视觉系统，建模虚拟人体并在屏幕显示，还可在运动中进行虚拟互动，体验更加真实。
2、然而，目前的沉浸式xr通常是通过流媒体的形式在led显示屏中进行实时显示的，在场景渲染时容易因处理器处理不及时或网络传输性能问题而导致出现显示画质较差或者画面部分缺失的现象，从而导致因用户前庭系统、视觉系统和身体感觉系统无法协调而造成眩晕感，影响了用户的沉浸式运动感知体验。
3、鉴于此，实有必要提供一种沉浸式多维运动感知方法、系统、终端与介质以克服上述缺陷。
技术实现思路
0、
技术实现思路
1、本专利技术的目的是提供一种沉浸式多维运动感知方法、系统、终端与介质，旨在解决在场景渲染时容易因处理器处理不及时或网
2、为了实现上述目的，本专利技术第一方面提供一种沉浸式多维运动感知方法，包括：
3、步骤s10：根据预设的多个传感器与设备视觉系统获取人体姿态数据、脚部的移动速度、腿部姿态的姿态位置信息，并相应地建模虚拟角色的行走动作；
4、步骤s20：根据虚拟角色的行走动作进行实时渲染，生成初始音视频流；
5、步骤s30：根据所述多个传感器与设备视觉系统的姿态位置感知能力，在3ms-8ms之内快速感知用户的行走动作，并在用户开始移动时进行运行方向、角度的适度预测；
6、步骤s40：提取所述初始音视频流的帧画面，并在对用户的姿态位置感知与预测基础上，通过异步时间扭曲算法对帧画面进行预设程度的拉伸及扭曲操作，生成对应中间帧，从而得到最终音视频流；
7、步骤s50：将所述最终音视频流在xr显示界面进行同步显示。
8、在一个优选实施方式中，所述步骤s50之后还包括：
9、采集用户针对各种外设的操控指令以及获取用户当前多个传感器相应的数据信息；
10、采集端将对应的操控指令进行操控键值转换，与运动场景内容信息进行对应处理，然后发送至后台服务器；其中，采集端包括各种外设与各种传感器；
11、后台服务器收到采集端发送的操控指令后，通过对比及查找运动场景内容操控映射库，将操控键值进行转译，转化成为运动场景内容中对相应的虚拟物体的操控指令。
12、在一个优选实施方式中，在所述步骤s10中，获取人体姿态数据具体包括：
13、根据预设的陀螺仪测得人体的角加速度值，计算所述角加速度值在时间上的积分得到人体的角速度值；
14、根据预设的磁力计测量地球磁场确定正北方向，通过重力计确定重力方向；
15、将所述角速度值与竖直方向进行比较，并根据确定的正北方向和重力方向进行融合纠正，从而得到关于人体朝向和姿态角的姿态数据。
16、在一个优选实施方式中，在所述步骤s10中，获取脚部的移动速度具体包括：
17、根据设备视觉系统获取人体脚部的移动位置坐标以及脚的离地状态，并配合骨骼重建算法计算得到人体的移动速度和方向。
18、在一个优选实施方式中，在所述步骤s10中，获取腿部姿态具体包括：
19、根据设备视觉系统获取人体的左右脚的位移数据，从而脚部的虚拟位置；
20、以脚部的虚拟位置作为最后的骨骼点，利用ik算法计算最后的骨骼点到上层骨骼点的长度和方向，判断出上层关节骨骼的位置，然后以此依次计算各骨骼点之间的长度以及旋转角，从而获得腿部姿态。
21、本专利技术第二方面提供了一种沉浸式多维运动感知系统，包括：
22、采集端，所述采集端包括预设的多个传感器与设备视觉系统，用于获取人体姿态数据、脚部的移动速度、腿部姿态的姿态位置信息；
23、姿态生成模块，用于根据采集端采集的姿态位置信息相应地建模虚拟角色的行走动作；
24、场景渲染模块，用于根据虚拟角色的行走动作进行实时渲染，生成初始音视频流；
25、动作预测模块，用于根据所述多个传感器与设备视觉系统的姿态位置感知能力，在3ms-8ms之内快速感知用户的行走动作，并在用户开始移动时进行运行方向、角度的适度预测；
26、异步渲染模块，用于提取所述初始音视频流的帧画面，并在对用户的姿态位置感知与预测基础上，通过异步时间扭曲算法对帧画面进行预设程度的拉伸及扭曲操作，生成对应中间帧，从而得到最终音视频流；
27、虚拟现实模块，用于将所述最终音视频流在xr显示界面进行同步显示。
28、本专利技术第三方面提供一种终端，所述终端包括存储器、处理器以及存储在所述存储器的计算机程序，所述计算机程序被所述处理器执行时实现如上述实施方式任一项所述的沉浸式多维运动感知方法的各个步骤。
29、本专利技术第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施方式任一项所述的沉浸式多维运动感知方法的各个步骤。
30、本专利技术第五方面提供一种计算机程序产品，包括计算机程序或者指令，所述计算机程序或者指令在被处理执行时实现如上述实施方式任一项所述的沉浸式多维运动感知方法的各个步骤。
31、本专利技术提供的沉浸式多维运动感知方法、系统、终端与介质，首先根据虚拟角色的行走动作进行实时渲染，生成初始音视频流，然后提取初始音视频流的帧画面，并在对用户的姿态位置感知与预测基础上，通过异步时间扭曲算法对帧画面进行预设程度的拉伸及扭曲操作，生成对应中间帧，当场景画面无法保持足够的帧率时，能够通过产生中间帧进行弥补，维持较高的画面刷新率，以便在显示端快速矫正由于用户移动或转动而导致的画面缺失、模糊等现象，避免场景画面显示不足与用户体验不适。
本文档来自技高网...【技术保护点】
1.一种沉浸式多维运动感知方法，其特征在于，包括：
2.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，所述步骤S50之后还包括：
3.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，在所述步骤S10中，获取人体姿态数据具体包括：
4.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，在所述步骤S10中，获取脚部的移动速度具体包括：
5.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，在所述步骤S10中，获取腿部姿态具体包括：
6.一种沉浸式多维运动感知系统，其特征在于，包括：
7.一种终端，其特征在于，所述终端包括存储器、处理器以及存储在所述存储器的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1-5任一项所述的沉浸式多维运动感知方法的各个步骤。
8.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5任一项所述的沉浸式多维运动感知方法的各个步骤。
【技术特征摘要】
1.一种沉浸式多维运动感知方法，其特征在于，包括：
2.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，所述步骤s50之后还包括：
3.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，在所述步骤s10中，获取人体姿态数据具体包括：
4.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，在所述步骤s10中，获取脚部的移动速度具体包括：
5.如权利要求1所述的沉浸式多维运动感知方法，其特征在于，在所述步骤s10中...
【专利技术属性】
技术研发人员：刘岗，吕洪涛，顾克旸，袁溪清，洪健，
申请(专利权)人：深圳市中诺智联科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。