一种基于情感化身的混合现实协同系统技术方案

一种基于情感化身的混合现实协同系统，其包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的AHMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的BHMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。本系统使得协同者可以通过情感化身可以进行非语言沟通，提高了信息传递效率；同时提供了一种真实的交际手段，降低了协同者的认知负荷，有利于促进交流、降低任务难度、提高工作效率。

【技术实现步骤摘要】
一种基于情感化身的混合现实协同系统
本专利技术涉及混合现实
，具体为一种基于情感化身的混合现实协同系统。
技术介绍
远程协同技术可以有效帮助协同者跨越时空限制进行交流互动，使得协同者能够在无法亲临现场时进行协同作业。传统的远程协同系统多以文本、语音、视频传递信息。其表达方式不直观，指代不明容易造成误解，且信息传递效率低。混合现实，简称MR，它制造的虚拟景象可以进入现实的生活同时能够认识你，比如通过我们的设备，你在眼睛当中看到一个景象可以测量出现实生活中物体的尺度和方位，其最大的特点在于虚拟世界和现实世界可以互动。由此可见，提供一种基于情感化身的混合现实协同系统是本领域亟需解决问题。
技术实现思路
针对上述问题，本专利技术提供一种基于情感化身的混合现实协同系统，其包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的AHMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的BHMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。进一步的，所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块。进一步的，所述基于情感化身的混合现实协同系统工作过程包括以下步骤：步骤1：构建协同空间；步骤2：获取手部信息；步骤3：获取头部信息；步骤4：获取眼动和面部表情信息；步骤5：服务器构建情感化身；步骤6：在客户端和HMD设备进行渲染显示。进一步的，所述步骤2中，获取手部信息采用的是Leapmotion设备，识别包括手掌、手指、关节、关节点、手腕、手臂位置，记录各关键点位置Position(x,y,z)和旋转Rotation(x,y,z,w)。进一步的，所述步骤3中，获取头部信息记录头部位姿Ph，包括位置Position(x,y,z)和旋转Rotation(x,y,z,w)。进一步的，所述步骤4中通过HTCProeye眼动追踪模块，获取包括瞳距、眼球位置信息；通过相机拍摄人体正面，采集图像，获取其余面部信息。本专利技术基于情感化身的混合现实协同系统具有以下有益效果：1.通过构建真人大小的情感化身，共享协同者的状态信息，如动作、行为、表情、眼神等，实现更自然、直观的非语言交流，反映的精神状态和情绪波动，增强用户体验，提高信息传递效率。2.本系统使得协同者可以通过情感化身可以进行非语言沟通，提高了信息传递效率；同时提供了一种真实的交际手段，降低了协同者的认知负荷，有利于促进交流、降低任务难度、提高工作效率。【附图说明】图1是本专利技术基于情感化身的混合现实协同系统的架构图。【具体实施方式】本专利技术所提到的方向用语，例如「上」、「下」、「前」、「后」、「左」、「右」、「内」、「外」、「侧面」等，仅是附图中的方向，只是用来解释和说明本专利技术，而不是用来限定本专利技术的保护范围。参见图1所示，给出了本专利技术一种基于情感化身的混合现实协同系统的架构图，处于异地的A协同者和B协同者通过本系统实现远程协同，本系统分为三部分，分别为A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的AHMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的BHMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。通过A采集模块采集采集A协同者的动态信息，A采集模块将动态信息传递至A客户端，A客户端将动态信息通过服务器处理与计算后发送给B客户端，B客户端接收自服务器处理和计算后的动态信息，并加载预制体，之后通过BHMD设备渲染显示；同理，通过B采集模块采集采集B协同者的动态信息，B采集模块将动态信息传递至B客户端，B客户端将动态信息通过服务器处理与计算后发送给A客户端，A客户端接收自服务器处理和计算后的动态信息，并加载预制体，之后通过AHMD设备渲染显示。所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块；所述手势识别模块用于识别A协同者和B协同者的手势及手部信息，所述眼动追踪模块用于获取眼动信息，所述相机用于获取面部信息，所述面部表情识别模块根据面部图像进行面部识别，所述头部定位模块用于定位追踪头部位置，所述客户端用于加载预制体，所述服务器用于处理XML文件，构建情感化身，所述预制体为虚拟化数字人体模型。本系统的具体工作过程和原理如下：步骤1：构建协同空间1.1：连接服务器和客户端，统一坐标系，基于socket构建“客户端-服务器-客户端”系统进行通讯。1.2：连接HTCVIVE和leapmotion，将leapmotion设备安装在HMD设备上方，完成标定获得leapmotion与HTCvive头显的转换矩阵Thh＝[R|t]；确认leapmotion固定位置，测量其相对于HMD设备的空间状态，计算可得旋转矩阵R；将定位器至于相同位置，记录定位器坐标p,结合定位器和leapmotion的几何尺寸，计算其中心相对位移t1，可得平移矩阵t＝p+t1。步骤2：获取手部信息使用手势识别模块，进行手势识别，可获取手部关键点相对位姿Phand，所述手势识别模块为Leapmotion设备，识别包括手掌、手指、关节、关节点、手腕、手臂等，记录各关键点位置Position(x,y,z)和旋转Rotation(x,y,z,w)，将采集到的手部信息发送到客户端，客户端生成包含头部信息的XML格式文件，并发送到服务器。步骤3：获取头部信息使用头部定位模块获取头部信息，记录头部位姿Ph，包括位置Position(x,y,z)和旋转Rotation(x,y,z,w)，并将采集的头部信息传递给客户端，客户端生成包含头部信息的XML格式文件，并发送到服务器。步骤4：获取眼动和面部表情信息通过眼动追踪模块获取眼动信息，所述眼动追踪模块为HTCProeye眼动追踪模块，获取包括瞳距、眼球位置等信息；通过相机拍摄人体正面，采集图像，获取其余面部信息；在记录眼动信息和面部信息时按照获取时间进行配对，保证时间戳一致，即面部信息和眼动信息为同一时刻；将眼动信息和面部信息作为输入，使用MTCNN算法进行识别，生成重构的面部表情图像；使用DeRF算法对重构的面部表情进行识别并做记录，将采集到的眼动和面部表情信息发送到客户端，客户端生成包含头部信息的XML格式文件，并发送到服务器。步骤5：服务器构建情感化身服务器接收来自其中一个客户端的XML文件，根据XML数据计算情感化身的本文档来自技高网...

【技术保护点】
1.一种基于情感化身的混合现实协同系统，其特征在于，所述系统包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的A HMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的B HMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。/n

【技术特征摘要】
1.一种基于情感化身的混合现实协同系统，其特征在于，所述系统包括A系统、B系统和服务器，A系统和B系统结构相同，其均包括采集模块、客户端和HMD设备；其中A系统包括用于采集A协同者动态信息的A采集模块、收集与发送动态信息的A客户端、用于渲染显示情感化身的AHMD设备；其中B系统包括用于采集B协同者动态信息的B采集模块、收集与发送动态信息的B客户端、用于渲染显示情感化身的BHMD设备,所述服务器位于A系统和B系统之间，用于数据的交换与处理。


2.根据权利要求1所述的基于情感化身的混合现实协同系统，其特征在于，所述采集模块包括手势识别模块、眼动追踪模块、相机、面部表情识别模块、头部定位模块。


3.根据权利要求1所述的基于情感化身的混合现实协同系统，其特征在于，所述基于情感化身的混合现实协同系统工作过程包括以下步骤：
步骤1：构建协同空间；
步骤2：获取手部信息；
步骤3：获取头部信息...

【专利技术属性】
技术研发人员：闵海涛，
申请(专利权)人：江苏瑞科科技有限公司，
类型：发明
国别省市：江苏;32