一种通过虚拟现实的方式实现瞬间传送方法技术

本发明专利技术提供的一种通过虚拟现实的方式实现瞬间传送方法，传送方法包括：第一用户和第二用户的面部静态扫描和

【技术实现步骤摘要】
一种通过虚拟现实的方式实现瞬间传送方法


[0001]本专利技术涉及实时场景交互领域，尤其涉及一种通过虚拟现实的方式实现瞬间传送方法
。

技术介绍

[0002]不论是互联网，还是手机，底层逻辑都是人与人之间的沟通
。
这种沟通演化的过程大体是：
[0003]纸质书信
、
电报
、
固定电话
、
移动电话
、
智能手机，内容和形式也从手写的文字
、
变成异步传输的信息和实时信息语音
、
后来又有了视频通话
。
[0004]本专利实现的瞬间传送，指的是无论对方在哪里，通过虚拟现实直接呈现在你面前的这种沟通方式，呈现一个构建的真实场景与人物
。
虚拟现实不是把人与人隔绝开来，而是跨越时间和空间，让沟通变得更好更真实
。
[0005]目前市场上现有的
VR
应用，受限于硬件性能和场景限制，绝大多数带来的沉浸感都是与世隔绝的，这并不符合沟通交互这一人类的基本属性需求
。
[0006]综上，现有的技术，或者是基于视频通话的平面交互代入感沉浸感不强；或者是受限于硬件性能和场景限制无法做到瞬间传送身临其境的沟通和交互方式
。

技术实现思路

[0007]鉴于上述问题，提出了本专利技术以便提供克服上述问题或者至少部分地解决上述问题的一种通过虚拟现实的方式实现瞬间传送方法
。
[0008]根据本专利技术的一个方面，提供了一种通过虚拟现实的方式实现瞬间传送方法，传送方法包括：
[0009]第一用户和第二用户的面部静态扫描和
3D
模型重建；
[0010]第一用户和第二用户的面部和身姿关键点的捕捉；
[0011]第一用户和第二用户所处的环境的动态捕捉；
[0012]第一用户的显示设备呈现第一用户所处环境中叠加第二用户身体和表情的增强现实场景；
[0013]第二用户的显示设备呈现第二第二用户所处环境中叠加第一用户身体和表情的增强现实场景；
[0014]声音传输作为同步时间轴的主轴
。
[0015]可选的，第一用户的面部静态扫描和
3D
模型重建具体包括：
[0016]第一用户手持虚拟现实显示设备前置的摄像头和
ToF
结构光照向第一用户面部，构建出第一用户的静态面部信息；
[0017]第一用户手持该虚拟现实设备对头部侧面进行拍照，通过不少于6张不同位置的照片，叠加之前的面部信息，基于
AI
算法，构建出第一用户头部的整体
3D
模型；
[0018]将第一用户头部的整体
3D
模型一次性传输至第二用户虚拟现实设备本地存储中
。
[0019]可选的，第一用户的面部和身姿关键点的捕捉具体包括：
[0020]使用位于虚拟现实设备光机边缘的
LED
补光和摄像头进行的眼动追踪，以及位于虚拟现实设备鼻罩前端用于捕捉鼻
、
口动态实时信息；
[0021]将眼
、
鼻
、
口的动态关键点试试传输至第二用户虚拟现实设备本地存储中，配合已经存入的第一用户的面部静态扫描和
3D
模型重建，实现第二用户的显示设备呈现第二用户所处环境中叠加第一用户身体和表情的增强现实场景
。
[0022]可选的，第二用户的面部静态扫描和
3D
模型重建具体包括：
[0023]第二用户手持虚拟现实显示设备前置的摄像头和
ToF
结构光照向第二用户面部，构建出第二用户的静态面部信息；
[0024]第二用户手持该虚拟现实设备对头部侧面进行拍照，通过不少于6张不同位置的照片，叠加之前的面部信息，基于
AI
算法，构建出第二用户头部的整体
3D
模型；
[0025]将第二用户头部的整体
3D
模型一次性传输至第一用户虚拟现实设备本地存储中
。
[0026]可选的，第二用户的面部和身姿关键点的捕捉具体包括：
[0027]通过使用位于虚拟现实设备光机边缘的
LED
补光和摄像头进行的眼动追踪，以及位于虚拟现实设备鼻罩前端用于捕捉鼻
、
口动态实时信息，并将眼
、
鼻
、
口的动态关键点试试传输至第二用户虚拟现实设备本地存储中，配合已经存入的第二用户的面部静态扫描和
3D
模型重建，实现第一用户的显示设备呈现第一用户所处环境中叠加第二用户身体和表情的增强现实场景
。
[0028]可选的，第一用户所处的环境的动态捕捉具体包括：
[0029]第一用户头戴虚拟现实设备的前置的摄像头和
ToF
结构光捕捉所处环境的图像和景深信息，实时构建出房间的
3D
场景点阵图和深度信息，待收到第二用户的面部静态扫描和
3D
模型重建和第二用户的面部和身姿关键点的捕捉信息后，同时根据第二用户所处的环境的动态捕捉所提供的光照信息和高度信息，将第二用户的形象以全
3D
动态实时的叠加到第一用户所处的环境中，以实现第一用户的显示设备呈现第一用户所处环境中叠加第二用户身体和表情的增强现实场景
。
[0030]可选的，第二用户所处的环境的动态捕捉具体包括：
[0031]第二用户头戴虚拟现实设备的前置的摄像头和
ToF
结构光捕捉所处环境的图像和景深信息，实时构建出房间的
3D
场景点阵图和深度信息，待收到第一用户的面部静态扫描和
3D
模型重建和第一用户的面部和身姿关键点的捕捉信息后，同时根据第一用户所处的环境的动态捕捉所提供的光照信息和高度信息，将第一用户的形象以全
3D
动态实时的叠加到第二用户所处的环境中，以实现第二用户的显示设备呈现第二用户所处环境中叠加第一用户身体和表情的增强现实场景
。
[0032]可选的，声音传输作为同步时间轴的主轴，在本地聚合信息并呈现时，要按照声音作为基准来生成渲染图像
。
[0033]本专利技术提供的一种通过虚拟现实的方式实现瞬间传送方法，传送方法包括：第一用户和第二用户的面部静态扫描和
3D
模型重建；第一用户和第二用户的面部和身姿关键点的捕捉；第一用户和第二用户所处的环境的动态捕捉；第一用户的显示设备呈现第一用户所处环境中叠加第二用户身体和表情的增强现实场景；第二用户的显示设备呈现第二第二用户所处环境中叠加第一用户身体和表情的增强现实场景；声音传输作为同步时间轴的主
轴
。
本专利技术完美解决了目前市场上现有的
VR
应用，受限于硬件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种通过虚拟现实的方式实现瞬间传送方法，其特征在于，所述传送方法包括：第一用户和第二用户的面部静态扫描和
3D
模型重建；第一用户和第二用户的面部和身姿关键点的捕捉；第一用户和第二用户所处的环境的动态捕捉；第一用户的显示设备呈现第一用户所处环境中叠加第二用户身体和表情的增强现实场景；第二用户的显示设备呈现第二第二用户所处环境中叠加第一用户身体和表情的增强现实场景；声音传输作为同步时间轴的主轴
。2.
根据权利要求1所述的一种通过虚拟现实的方式实现瞬间传送方法，其特征在于，所述第一用户的面部静态扫描和
3D
模型重建具体包括：第一用户手持虚拟现实显示设备前置的摄像头和
ToF
结构光照向第一用户面部，构建出第一用户的静态面部信息；第一用户手持该虚拟现实设备对头部侧面进行拍照，通过不少于6张不同位置的照片，叠加之前的面部信息，基于
AI
算法，构建出第一用户头部的整体
3D
模型；将所述第一用户头部的整体
3D
模型一次性传输至第二用户虚拟现实设备本地存储中
。3.
根据权利要求1所述的一种通过虚拟现实的方式实现瞬间传送方法，其特征在于，所述第一用户的面部和身姿关键点的捕捉具体包括：使用位于虚拟现实设备光机边缘的
LED
补光和摄像头进行的眼动追踪，以及位于虚拟现实设备鼻罩前端用于捕捉鼻
、
口动态实时信息；将眼
、
鼻
、
口的动态关键点试试传输至第二用户虚拟现实设备本地存储中，配合已经存入的第一用户的面部静态扫描和
3D
模型重建，实现第二用户的显示设备呈现第二用户所处环境中叠加第一用户身体和表情的增强现实场景
。4.
根据权利要求1所述的一种通过虚拟现实的方式实现瞬间传送方法，其特征在于，所述第二用户的面部静态扫描和
3D
模型重建具体包括：第二用户手持虚拟现实显示设备前置的摄像头和
ToF
结构光照向第二用户面部，构建出第二用户的静态面部信息；第二用户手持该虚拟现实设备对头部侧面进行拍照，通过不少于6张不同位置的照片，叠加之前的面部信息，基于
AI
算法，构建出第二用户头部的整体
3D
模型；将所述第二用户头部的整体
3D
模型一次性...

【专利技术属性】
技术研发人员：宋征，张春杰，宋盈满，王彬，赵阳，曹立永，
申请(专利权)人：北京安一矩阵科技有限公司，
类型：发明
国别省市：