一种基于元宇宙的增强多模态虚拟现实系统及方法技术方案

本发明专利技术公开一种基于元宇宙的增强多模态虚拟现实系统及方法，涉及虚拟现实数据数字信息传输技术领域，解决的问题是元宇宙的增强多模态虚拟现实交互能力滞后，数据处理效率低下

【技术实现步骤摘要】
一种基于元宇宙的增强多模态虚拟现实系统及方法


[0001]本专利技术涉及虚拟现实数字信息传输
，且更具体涉及一种基于元宇宙的增强多模态虚拟现实系统及方法
。

技术介绍

[0002]元宇宙
(Metaverse)
是指一个虚拟的三维空间，由各种虚拟现实
(VR)、
增强现实
(AR)、
游戏和其他在线交互体验组成，这些体验都是建立在互联网上的
。
在元宇宙中，用户可以与其他用户进行实时的在线交互，共享虚拟物品和虚拟空间，完成各种任务和活动，同时也可以进行各种虚拟与现实互动，如视频会议
、
股票交易
、
在线购物等
。
在现有技术中，元宇宙是下一代互联网的发展，涉及到许多技术和商业模式的创新，如人工智能
、
虚拟现实
、
区块链
、
加密货币等，将成为未来数字世界的最重要组成部分
。
根据对元宇宙相关特性的理解，可以将元宇宙数字世界总结为一个大规模的
、
可互操作的实时渲染
3D
虚拟世界网络，用户可以具有个人身份识别
、
业务数据连续性和无限用户同步的持续体验
。
[0003]虚拟现实充当了一个计算平台，用户可以在网上过第二人生
。
在虚拟现实中，用户戴着耳机，沉浸在三维环境中，在虚拟世界中通过数据信息传输提高用户应用体验，用户可以携带运动传感控制器与虚拟对象进行交互，并使用麦克风与其他人进行通信
。
而在数字信息信息交互过程中，如何计算交互过程中的数据信息，如何提高数据信息交互是亟待解决的问题
。
[0004]多模态虚拟现实
(Multimodal VR)
是指通过多种虚拟现实
(VR)、
增强现实
(AR)
和视频技术，在同一虚拟空间中实现不同模态的交互
。VR
可以模拟真实环境，让用户沉浸其中，
AR
则可以在虚拟环境中添加数字内容，让用户可以看到虚拟物体
。
多模态虚拟现实技术的目标是提供更加丰富
、
多样
、
沉浸的虚拟体验
。
用户可以与虚拟环境中的多个对象进行交互，可以通过视觉
、
听觉
、
触觉等多个感官方式进行体验
。 基于上述技术背景，多模态虚拟现实应用中数据信息交互方法是亟待解决的技术问题
。
[0005]本专利技术公开一种基于元宇宙的增强多模态虚拟现实系统及方法，不仅提高了用户虚拟数据信息交互能力，还提高了用户虚拟信息处理和应用能力，大大提高了用户体验
。

技术实现思路

[0006]针对上述技术的不足，本专利技术公开一种基于元宇宙的增强多模态虚拟现实系统及方法，通过分布式共识算法实现数据通信，通过三维建模模型将现实世界映射在元宇宙虚拟世界，通过分割单元处理单个三维模型重建的精度问题，通过配准单元将现实世界物体的点位坐标在元宇宙精准重现，大大提高了数字信息交互能力，也提高了信息传递过程中的交互方法，本专利技术充分发挥了提高元宇宙体验者的创造能力，大大降低了体验人员的损失率，提高了体验者对多种类型元宇宙的体验满意程度
。
[0007]为了实现上述技术效果，本专利技术采用技术方案：一种基于元宇宙的增强多模态虚拟现实系统，包括物联网采集模块
、
区块链模块
、
数据处理模块和数据管理模块；物联网采集模块用于获取多类型数据信息，所述物联网采集模块包括无线传感器网络单元
、
数据加密单元和数据传输单元，所述无线传感器网络单元通过无线通信网络把不同类型的传感器节点进行自由式组织与结合，所述数据加密单元用于将采集的数据进行加密，所述数据传输单元用于传送加密后的数据；所述无线传感器网络单元连接数据加密单元，所述数据加密单元连接数据传输单元；数据处理模块用于初步处理获取的数据信息，所述数据处理模块包括主控制器
、
信息转换单元
、
信息分析单元
、
信息筛选单元和信息清洗单元，所述主控制器用于调节各模块的工作状态，所述信息转换单元将接收的数据信息转换成机器接收的形式，所述信息清洗单元包括检测子单元
、
遗漏子单元和噪声子单元，所述遗漏子单元用于填补信息残缺的部分，所述噪声子单元用于修正信息的异常部分，所述检测子单元用于检测信息的一致性，所述信息分析单元用于分析清洗后的数据信息，所述信息筛选单元用于查找特定环境部分信息的建模情况，所述信息转换单元连接信息清洗单元，所述信息清洗单元连接信息分析单元，所述信息分析单元连接信息筛选单元；区块链模块利用块链式数据结构验证与存储数据，利用分布式共识算法生成和更新数据以实现数据通信，利用密码学的方式保证数据传输和访问的安全
、
利用由自动化脚本代码组成的智能合约，编程和操作数据的全新的分布式基础架构与计算范式，所述区块链模块包括数据层
、
网络层
、
共识层
、
激励层和合约层，所述数据层用于封装底层数据区块以及相关的数据加密和时间戳，所述网络层包括分布式组网机制
、
数据传播机制和数据验证机制，所述共识层用于封装网络节点的各类共识算法，所述激励层将经济因素集成到区块链体系，所述合约层用于封装各类脚本
、
算法和智能合约，所述数据层连接网络层，所述网络层连接共识层，所述共识层连接激励层，所述激励层连接合约层；数据管理模块用于充分有效地发挥数据的作用，所述数据管理模块包括存储单元和应用单元，所述存储单元用于存储生成的多类型三维模型以及处理后的数据信息，所述应用单元用于将多类型三维模型进行组合以形成完整虚拟映射；虚拟现实系统还包括交互模块
、
环境生成模块
、
实时渲染模块和算力网络模块；环境生成模块用于将真实环境映射在虚拟网络；所述环境生成模块包括三维建模单元
、
数据漫游单元和层叠单元，所述三维建模单元采用三维重建模型生成环境地形，所述数据漫游单元用于异地查看三维环境模型，所述层叠单元用于多窗口和多视角解析三维环境模型；交互模块用于实现全感官的沉浸式体验，拥有数字世界的虚拟分身，在数字世界里创造内容
、
社交和交易；所述交互模块包括眼控单元
、
语音单元
、
手势单元和脑机单元，所述眼控单元通过眼球追踪交互，所述语音单元通过自然语言交互，所述手势单元通过肢体交互，所述脑机单元通过神经元交互；实时渲染模块用于虚拟世界同现实世界保持高度同步和保真，所述实时渲染模块包括计算单元
、
转换单元和对比单元，所述计算单元将现实世
界通过图形数据源表示，所述转换单元将图形数据源转化为虚拟三维本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于元宇宙的增强多模态虚拟现实系统，包括物联网采集模块
、
区块链模块
、
数据处理模块和数据管理模块；其特征在于：物联网采集模块用于获取多类型数据信息，所述物联网采集模块包括无线传感器网络单元
、
数据加密单元和数据传输单元，所述无线传感器网络单元通过无线通信网络把不同类型的传感器节点进行自由式组织与结合，所述数据加密单元用于将采集的数据进行加密，所述数据传输单元用于传送加密后的数据；所述无线传感器网络单元连接数据加密单元，所述数据加密单元连接数据传输单元；数据处理模块用于初步处理获取的数据信息，所述数据处理模块包括主控制器
、
信息转换单元
、
信息分析单元
、
信息筛选单元和信息清洗单元，所述主控制器用于调节各模块的工作状态，所述信息转换单元将接收的数据信息转换成机器接收的形式，所述信息清洗单元包括检测子单元
、
遗漏子单元和噪声子单元，所述遗漏子单元用于填补信息残缺的部分，所述噪声子单元用于修正信息的异常部分，所述检测子单元用于检测信息的一致性，所述信息分析单元用于分析清洗后的数据信息，所述信息筛选单元用于查找特定环境部分信息的建模情况，所述信息转换单元连接信息清洗单元，所述信息清洗单元连接信息分析单元，所述信息分析单元连接信息筛选单元；区块链模块利用块链式数据结构验证与存储数据，利用分布式共识算法生成和更新数据以实现数据通信，利用密码学的方式保证数据传输和访问的安全
、
利用由自动化脚本代码组成的智能合约，编程和操作数据的全新的分布式基础架构与计算范式，所述区块链模块包括数据层
、
网络层
、
共识层
、
激励层和合约层，所述数据层用于封装底层数据区块以及相关的数据加密和时间戳，所述网络层包括分布式组网机制
、
数据传播机制和数据验证机制，所述共识层用于封装网络节点的各类共识算法，所述激励层将经济因素集成到区块链体系，所述合约层用于封装各类脚本
、
算法和智能合约，所述数据层连接网络层，所述网络层连接共识层，所述共识层连接激励层，所述激励层连接合约层；数据管理模块用于充分有效地发挥数据的作用，所述数据管理模块包括存储单元和应用单元，所述存储单元用于存储生成的多类型三维模型以及处理后的数据信息，所述应用单元用于将多类型三维模型进行组合以形成完整虚拟映射；虚拟现实系统还包括交互模块
、
环境生成模块
、
实时渲染模块和算力网络模块；环境生成模块用于将真实环境映射在虚拟网络；所述环境生成模块包括三维建模单元
、
数据漫游单元和层叠单元，所述三维建模单元采用三维重建模型生成环境地形，所述数据漫游单元用于异地查看三维环境模型，所述层叠单元用于多窗口和多视角解析三维环境模型；交互模块用于实现全感官的沉浸式体验，拥有数字世界的虚拟分身，在数字世界里创造内容
、
社交和交易；所述交互模块包括眼控单元
、
语音单元
、
手势单元和脑机单元，所述眼控单元通过眼球追踪交互，所述语音单元通过自然语言交互，所述手势单元通过肢体交互，所述脑机单元通过神经元交互；实时渲染模块用于虚拟世界同现实世界保持高度同步和保真，所述实时渲染模块包括计算单元
、
转换单元和对比单元，所述计算单元将现实世界通过图形数据源表示，所述转换
单元将图形数据源转化为虚拟三维模型，所述对比单元通过现实世界将虚拟三维模型进行增强；算力网络模块用于满足元宇宙对信息处理；所述算力网络模块包括融合单元和调度单元，所述融合单元用于统筹网络和算力资源的有机融合，所述调度单元用于全程全网的数据传输能力及算力的调度
。2.
根据权利要求1所述的一种基于元宇宙的增强多模态虚拟现实系统，其特征在于：所述三维重建模型包括获取单元
、
滤波单元
、
分割单元
、
配准单元和重建单元，所述获取单元将现实世界中的环境数据化为点云数据，所述滤波单元用于去除点云数据中的杂波，所述分割单元用于获取点云数据的局部特征，所述配准单元用于匹配现实世界与三维模型的基本坐标点，所述重建单元根据适配的基本坐标点构建相应的三维模型，所述获取单元连接滤波单元，所述滤波单元连接分割单元，所述分割单元连接配准单元，所述配准单元连接重建单元
。3.
根据权利要求2所述的一种基于元宇宙的增强多模态虚拟现实系统，其特征在于：所述获取单元采用
RGB
双目相机
、3D
结构光相机和
3D
激光雷达对现实世界的环境地形进行扫描以获取相应物体的点云数据
。4.
根据权利要求2所述的一种基于元宇宙的增强多模态虚拟现实系统，其特征在于：所述滤波单元采用双边多尺度滤波算法进行点云去噪，所述双边多尺度滤波算法首先在小尺度上采用双边高斯滤波方差计算第一条点云法线，然后在大尺度上采用最小二乘法计算第二条点云法线，由第一条点云法线和第二条点云法线滤去低频信息，最后通过欧式分割
。5.
根据权利要求2所述的一种基于元宇宙的增强多模态虚拟现实系统，其特征在于：所述分割单元采用语义分割模型进行点云分割，所述语义分割模型包括
RGB
编码器
、Thermal
编码器和并行解码器，所述
RGB
编码器的骨干网络...

【专利技术属性】
技术研发人员：孙红耀，
申请(专利权)人：河南博兆电子科技有限公司，
类型：发明
国别省市：