一种远程多人实时体感交互方法及系统技术方案

本申请涉及人机交互技术领域，为一种远程多人实时体感交互方法及系统。本申请通过实时采集多个用户的视频信息，并在视频信息中获取有关用户的骨骼关键点数据，通过骨骼关键点数据基于动作模板库确定用户对应的动作，并根据多个用户所对应的动作的完成情况进行打分实现多用户之间的游戏互动和交互。并且，在本申请实施例提供的系统中通过设置编码器和解码器，实现多用户端之间的交互信息的编码和解码处理，通过服务器将对应用户所涉及到的信息进行抽拉和发送。行抽拉和发送。行抽拉和发送。

【技术实现步骤摘要】
一种远程多人实时体感交互方法及系统


[0001]本申请涉及人机交互
，为一种远程多人实时体感交互方法及系统。

技术介绍

[0002]目前市面上的AI健身镜以及互动盒子，主要基于本地相机采集视频数据后进行身体骨骼关键点识别，依托上述关键点进行姿态动作匹配或者行为动作分析，有些应用甚至还支持双人以及多人PK。
[0003]由于疫情或者其他原因，家人或者朋友在异地，无法出现在同一地点，导致无法一起互动娱乐。那如何在现有设备基础上实现双人异地互动属于目前技术中需要进行解决的技术问题。

技术实现思路

[0004]为了解决以上的技术问题，本申请提供一种远程多人实时体感交互方法及系统，通过对相同虚拟场景下不同用户的骨骼关键点的识别，并基于同一帧对应的视频与骨骼关键点进行比较和对应的打分，实现双人或者多人异地实时交互游戏。
[0005]为了达到上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，提供一种远程多人实时体感交互方法，应用于服务器，所述服务器与多个用户终端通信，所述方法包括：下发相同的虚拟互本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程多人实时体感交互方法，其特征在于，应用于服务器，所述服务器与多个用户终端通信，所述方法包括：下发相同的虚拟互动场景至多个所述用户终端；接收多个所述用户终端对于虚拟互动场景的实时反馈信息，所述实时反馈信息包括实时音频数据和实时视频数据，并在所述实时视频数据中生成目标检测框，基于所述目标检测框生成对应多个用户的骨骼关键点数据；将与用户对应的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第一展示区域，将与用户关联的其他用户的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第二展示区域；基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值。2.根据权利要求1所述的远程多人实时体感交互方法，其特征在于，基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值，包括：基于预设置的动作模板库，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，基于差异结果确定所述实时交互分值。3.根据权利要求2所述的远程多人实时体感交互方法，其特征在于，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，包括：获取所述骨骼关键点数据对应的动作信息，基于所述动作信息确定所述动作模块库中的标准骨骼关键点数据，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异。4.根据权利要求3所述的远程多人实时体感交互方法，其特征在于，获取所述骨骼关键点数据对应的动作信息包括：提取所述骨骼关键点数据中的第一特征，将所述第一特征与所述动作模板库进行比对得到对应骨骼关键点数据下的动作信息，所述第一特征用于表征所述骨骼关键点数据中的骨骼关键点。5.根据权利要求4所述的远程多人实时体感交互方法，其特征在于，基于所述...

【专利技术属性】
技术研发人员：张威，李观喜，郑娃龙，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：