本发明专利技术涉及一种基于VR全景视频的智能文本生成方法，包括如下步骤：加载导入全景视频；通过搭建多模态分类模型，载到VR场景中；加载训练好的ChatGPT模型，添加到VR场景中；对加载的VR场景中不同的类别物品、场景点设置碰撞检测范围；将ChatGPT模型通过与社交媒体平台、新闻网站的API实现实时数据源连接，训练ChatGPT模型。本发明专利技术通过加载全景视频，集成一个多模态预测模型和ChatGPT模型对全景视频中的各个目标内容生成相关的文本，提升了VR场景内容的丰富度，丰富了用户获取信息的方式，实现了虚拟现实与目标检测与ChatGPT融合的结合，通过对不同场景内容的植入，帮助用户了解没去过的场景或是不了解的事务，帮助人们获取信息或制定计划，并模拟体验身临其境的感受。
【技术实现步骤摘要】
本专利技术涉及vr，具体地说，涉及一种基于vr全景视频的智能文本生成方法。
技术介绍
1、随着虚拟现实技术的发展，虚拟现实在实际场景中的应用也越来越广泛，与现实场景的结合效果也越来越完善，“vr+产业”已经成为发展趋势。其中全景视频与vr的结合为用户带来了更加贴切的场景感受，可以让用户仿佛置身实地，提升了用户在虚拟场景中的沉浸感。多模态技术是利用多种感知方式来实现用户与计算机之间的交互，如视觉、听觉、触觉、嗅觉等。随着技术的不断发展，多模态技术的应用范围也越来越广泛。在虚拟现实技术中，多模态技术的应用可以提高用户的沉浸感和参与度，让用户更好地感受到虚拟场景的真实性。例如，在vr游戏中，结合视觉、听觉和触觉技术，可以为用户提供更加真实、自然的游戏体验。
2、当前vr技术的应用上主要是虚拟现实技术与音频技术、触觉反馈技术、嗅觉技术、听觉技术的结合来提高用户感受，但在虚拟现实场景中目标检测与文本语言自动生成的多模态结合运用上的做法却很少，虚拟现实场景的内容丰富度还不够。
技术实现思路
>1、本专利技术的目本文档来自技高网...
【技术保护点】
1.一种基于VR全景视频的智能文本生成方法，其特征在于，所述基于VR全景视频的智能文本生成方法，包括如下步骤：
2.根据权利要求1所述的基于VR全景视频的智能文本生成方法，其特征在于，所述搭建多模态分类模型，包括：
3.根据权利要求1所述的基于VR全景视频的智能文本生成方法，其特征在于，所述加载训练好的ChatGPT模型，使用转换工具在Unity中加载PyTorch模型，将模型文件转换为适用于VR应用的ONNX格式，作为游戏对象添加到VR场景中，包括：
4.根据权利要求1所述的基于VR全景视频的智能文本生成方法，其特征在于，所述对加载的VR场景中不同的...
【技术特征摘要】
1.一种基于vr全景视频的智能文本生成方法，其特征在于，所述基于vr全景视频的智能文本生成方法，包括如下步骤：
2.根据权利要求1所述的基于vr全景视频的智能文本生成方法，其特征在于，所述搭建多模态分类模型，包括：
3.根据权利要求1所述的基于vr全景视频的智能文本生成方法，其特征在于，所述加载训练好的chatgpt模型，使用转换工具在unity中加载pytorch模型，将模型文件转换为适用于vr应用的onnx格式，作为游戏对象添加到vr场景中，包括：
4.根据权利要求1所述的...
【专利技术属性】
技术研发人员：潘华，陈鑫锋，胡灵犀，侯君，胡兴，蒋林华，吴东方，
申请(专利权)人：浙江大学金华研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。