基于裸眼3D虚拟对象的交互方法及装置制造方法及图纸

本申请提供了一种基于裸眼3D虚拟对象的交互方法及装置，其中，该方法包括：确定虚拟形象，并将所述虚拟形象渲染为裸眼3D虚拟对象；通过采集装置采集多模态的用户数据，响应于所述多模态的用户数据，利用多模态语言模型生成响应数据；基于所述响应数据，驱动所述裸眼3D虚拟对象，并通过所述裸眼3D虚拟对象将所述响应数据反馈给用户，以与用户进行交互。本申请解决了现有技术中虚拟对象与用户沟通不逼真的技术问题。

【技术实现步骤摘要】

本申请涉及虚拟对象渲染，具体而言，涉及一种基于裸眼3d虚拟对象的交互方法及装置。

技术介绍

1、目前基于虚拟对象的交互方法通常涉及在计算机图形环境中呈现虚拟对象，并通过用户界面和输入设备(如鼠标、键盘、触摸屏、麦克风等)进行交互。这些虚拟对象可以是二维或三维的，但二维对象在某些情况下可能会导致观感不真实的问题。例如，在虚拟现实(vr)或增强现实(ar)应用中，使用二维对象来表示三维场景或物体可能会导致深度感的不足，使用户无法准确感知物体之间的距离和位置。

2、针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

1、本专利技术实施例提供了一种基于裸眼3d虚拟对象的交互方法及装置，以至少解决现有技术中虚拟对象与用户沟通不逼真的技术问题。

2、根据本专利技术实施例的一个方面，提供了一种基于裸眼3d虚拟对象的交互方法，包括：确定虚拟形象，并将所述虚拟形象渲染为裸眼3d虚拟对象；通过采集装置采集多模态的用户数据，响应于所述多模态的用户数据，利用多模态语言模型生成响应数据；基于所述响应数据本文档来自技高网...

【技术保护点】

1.一种基于裸眼3D虚拟对象的交互方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，将所述虚拟形象渲染为裸眼3D虚拟对象，包括：

3.根据权利要求1所述的方法，其特征在于，通过采集装置采集多模态的用户数据，包括：

4.根据权利要求3所述的方法，其特征在于，响应于所述多模态的用户数据，利用多模态语言模型生成响应数据，包括：

5.根据权利要求4所述的方法，其特征在于，将所述多模态的用户数据融合在一起，包括：

6.根据权利要求4所述的方法，其特征在于，将所述多模态编码器的输出作为输入，输入到预训练的所述多模态语言模型...

【技术特征摘要】

1.一种基于裸眼3d虚拟对象的交互方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，将所述虚拟形象渲染为裸眼3d虚拟对象，包括：

3.根据权利要求1所述的方法，其特征在于，通过采集装置采集多模态的用户数据，包括：

4.根据权利要求3所述的方法，其特征在于，响应于所述多模态的用户数据，利用多模态语言模型生成响应数据，包括：

5.根据权利要求4所述的方法，其特征在于，将所述多模态的用户数据融合在一起，包括：

6.根据权利要求4所述的方...

【专利技术属性】
技术研发人员：纪智辉，赵川江，
申请(专利权)人：世优绿洲上海数字技术有限公司，
类型：发明
国别省市：