一种远程多人实时体感交互方法及系统技术方案

本申请涉及人机交互技术领域，为一种远程多人实时体感交互方法及系统。本申请通过实时采集多个用户的视频信息，并在视频信息中获取有关用户的骨骼关键点数据，通过骨骼关键点数据基于动作模板库确定用户对应的动作，并根据多个用户所对应的动作的完成情况进行打分实现多用户之间的游戏互动和交互。并且，在本申请实施例提供的系统中通过设置编码器和解码器，实现多用户端之间的交互信息的编码和解码处理，通过服务器将对应用户所涉及到的信息进行抽拉和发送。行抽拉和发送。行抽拉和发送。

【技术实现步骤摘要】
一种远程多人实时体感交互方法及系统


[0001]本申请涉及人机交互
，为一种远程多人实时体感交互方法及系统。

技术介绍

[0002]目前市面上的AI健身镜以及互动盒子，主要基于本地相机采集视频数据后进行身体骨骼关键点识别，依托上述关键点进行姿态动作匹配或者行为动作分析，有些应用甚至还支持双人以及多人PK。
[0003]由于疫情或者其他原因，家人或者朋友在异地，无法出现在同一地点，导致无法一起互动娱乐。那如何在现有设备基础上实现双人异地互动属于目前技术中需要进行解决的技术问题。

技术实现思路

[0004]为了解决以上的技术问题，本申请提供一种远程多人实时体感交互方法及系统，通过对相同虚拟场景下不同用户的骨骼关键点的识别，并基于同一帧对应的视频与骨骼关键点进行比较和对应的打分，实现双人或者多人异地实时交互游戏。
[0005]为了达到上述目的，本申请实施例采用的技术方案如下：
[0006]第一方面，提供一种远程多人实时体感交互方法，应用于服务器，所述服务器与多个用户终端通信，所述方法包括：下发相同的虚拟互动场景至多个所述用户终端；接收多个所述用户终端对于虚拟互动场景的实时反馈信息，所述实时反馈信息包括实时音频数据和实时视频数据，并在所述实时视频数据中生成目标检测框，基于所述目标检测框生成对应多个用户的骨骼关键点数据；将与用户对应的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第一展示区域，将与用户关联的其他用户的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第二展示区域；基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值。
[0007]第一方面的第一种可能实现方式中，基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值，包括：基于预设值的动作模板库，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，基于差异结果确定所述实时交互分值。
[0008]结合第一方面的第一种可能实现方式，在第一方面第二种可能实现方式中，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，包括：获取所述骨骼关键点数据对应的动作信息，基于所述动作信息确定所述动作模块库中的标准骨骼关键点数据，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异。
[0009]结合第一方面的第二种可能实现方式，在第一方面第三种可能实现方式中，获取所述骨骼关键点数据对应的动作信息包括：提取所述骨骼关键点数据中的第一特征，将所述第一特征与所述动作模板库进行比对得到对应骨骼关键点数据下的动作信息，所述第一特征用于表征所述骨骼关键点数据中的骨骼关键点。
[0010]结合第一方面的第三种可能实现方式，在第一方面第四种可能实现方式中，基于
所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异，包括：提取所述骨骼关键点数据中的第二特征，将所述第二特征与对应动作信息下的标准骨骼关键点数据的第二特征进行比较得到权重参数，基于所述权重参数计算所述实时交互分值。
[0011]第一方面的第五种可能实现方式中，所述动作模板库基于标准运动过程中提取到的骨骼关键点数据组成。
[0012]第二方面，提供一种远程多人实时体感交互系统，包括多个用户终端，多个所述用户终端分别通过服务器进行连通；多个所述用户终端分别设置有显示装置和信息采集装置，所述信息采集装置用于采集对应用户的实时交互信息，所述显示装置分别包括第一展示区域和第二展示区域，所述第一展示区域用于展示用户的实时交互信息，所述第二展示区域用于展示与用户关联的其他用户的实时交互信息。
[0013]第二方面的第一种可能实现方式中，所述信息采集装置包括图像采集模块以及图像处理模块，所述图像采集模块用于采集区域范围内的实时视频数据、实时音频数据，所述图像采集模块用于对所述实时视频数据生成目标检测框并基于所述目标检测框生成与所述用户对应的骨骼关键点数据。
[0014]结合第二方面的第一种可能实现方式，在第二方面的第二种可能实现方式中，所述用户终端上还设置有编码模块和解码模块，所述编码模块用于将获取到的实时视频数据、实时音频数据、骨骼关键点数据通过硬编码的方式基于RTMP协议发送至所述服务器，所述解码模块基于WebRTC协议接收服务器下发的实时视频数据、实时音频数据、骨骼关键点数据并通过硬解码的方式进行解码处理。
[0015]结合第二方面的第一种可能实现方式，在第二方面的第三种可能实现方式中，所述图像采集装置包括USB摄像头。
[0016]第三方面，提供一种终端设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机指令，所述指令由所述处理器执行时实现上述任意一项所述方法的步骤。
[0017]第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述方法的步骤。
[0018]本申请实施例提供的技术方案中，通过实时采集多个用户的视频信息，并在视频信息中获取有关用户的骨骼关键点数据，通过骨骼关键点数据基于动作模板库确定用户对应的动作，并根据多个用户所对应的动作的完成情况进行打分实现多用户之间的游戏互动和交互。并且，在本申请实施例提供的系统中通过设置编码器和解码器，实现多用户端之间的交互信息的编码和解码处理，通过服务器将对应用户所涉及到的信息进行抽拉和发送。
附图说明
[0019]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]附图中的方法、系统和/或程序将根据示例性实施例进一步描述。这些示例性实施例将参照图纸进行详细描述。这些示例性实施例是非限制的示例性实施例，其中示例数字
在附图的各个视图中代表相似的机构。
[0021]图1是本申请实施例提供的终端设备的结构示意图。
[0022]图2是本申请的一些实施例所示的裸金属服务器硬件信息采集的方法示意图。
[0023]图3是本申请的一些实施例所示的裸金属服务器硬件信息采集方法流程图。
[0024]图4是本申请的一些实施例所示的组件架构图。
[0025]图5是本申请的一些实施例所示的调度模块(Scheduler)组件结构示意图。
[0026]图6是本申请的一些实施例所示的驱动模块(Driver)组件结构示意图。
[0027]图7是本申请的一些实施例所示的Agent组件结构示意图。
[0028]具体实施方式
[0029]为了更好的理解上述技术方案，下面通过附图以及具体实施例对本申请技术方案做详细的说明，应当理解本申请实施例以及实施例中的具体特征是对本申请技术方案的详细的说明，而不是对本申请技术方案的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程多人实时体感交互方法，其特征在于，应用于服务器，所述服务器与多个用户终端通信，所述方法包括：下发相同的虚拟互动场景至多个所述用户终端；接收多个所述用户终端对于虚拟互动场景的实时反馈信息，所述实时反馈信息包括实时音频数据和实时视频数据，并在所述实时视频数据中生成目标检测框，基于所述目标检测框生成对应多个用户的骨骼关键点数据；将与用户对应的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第一展示区域，将与用户关联的其他用户的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第二展示区域；基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值。2.根据权利要求1所述的远程多人实时体感交互方法，其特征在于，基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值，包括：基于预设置的动作模板库，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，基于差异结果确定所述实时交互分值。3.根据权利要求2所述的远程多人实时体感交互方法，其特征在于，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，包括：获取所述骨骼关键点数据对应的动作信息，基于所述动作信息确定所述动作模块库中的标准骨骼关键点数据，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异。4.根据权利要求3所述的远程多人实时体感交互方法，其特征在于，获取所述骨骼关键点数据对应的动作信息包括：提取所述骨骼关键点数据中的第一特征，将所述第一特征与所述动作模板库进行比对得到对应骨骼关键点数据下的动作信息，所述第一特征用于表征所述骨骼关键点数据中的骨骼关键点。5.根据权利要求4所述的远程多人实时体感交互方法，其特征在于，基于所述...

【专利技术属性】
技术研发人员：张威，李观喜，郑娃龙，
申请(专利权)人：广州紫为云科技有限公司，
类型：发明
国别省市：