一种基于深度学习和虚拟现实的辅助判断方法技术

本发明专利技术提供一种基于深度学习和虚拟现实的辅助判断方法，属于辅助检测技术领域，本发明专利技术构建虚拟现实环境，选择虚拟对话人物和场景，通过佩戴虚拟现实VR装置及智能穿戴传感器，实现与虚拟现实环境的交互和数据的采集，结合数据，利用来自云数据中心的模型进行预测并作出辅助提示，通过语音识别、文字转换、声音合成、表情生成，在边缘计算节点或工作站实现虚拟现实场景的实时渲染，辅助完成与待实时交互和判断。互和判断。互和判断。

【技术实现步骤摘要】
一种基于深度学习和虚拟现实的辅助判断方法


[0001]本专利技术涉及辅助检测
，尤其涉及一种基于深度学习和虚拟现实的辅助判断方法。

技术介绍

[0002]随着深度学习技术的快速发展,以及互联网和云计算时代海量数据和高效计算能力的支撑，以CNN卷积神经网络为代表的深度学习技术，通过训练构建得到类似人脑结构的大规模神经网络，在计算机视觉、语音识别、自然语言理解等领域取得了突破性进展，正在给整个社会带来颠覆性的变化。
[0003]虚拟现实技术(Virtual Reality，缩写为VR)是计算机、电子信息、仿真技术相结合形成的全新的实用技术，涉及计算机图形学、人机交互技术、传感技术、人工智能等领域，通过计算机模拟虚拟环境从而给人以环境沉浸感，作为参与者通过适当装置，体验三维视、听、嗅觉等感觉，自然地对虚拟世界进行体验和交互作用。近年来，VR技术也取得了巨大进步，各行各业对VR技术的需求日益旺盛，特别是深度学习技术与虚拟现实技术相结合，给各行各业应用带来了无限的可能性。
[0004]某些传统的病症，例如抑郁症诊断主要根据病史、临床本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习和虚拟现实的辅助判断方法，其特征在于，构建虚拟现实环境，选择虚拟对话人物和场景，通过佩戴虚拟现实VR装置及智能穿戴传感器，实现与虚拟现实环境的交互和数据的采集，结合数据，利用来自云数据中心的模型进行预测并作出辅助提示，通过语音识别、文字转换、声音合成、表情生成，在边缘计算节点或工作站实现虚拟现实场景的实时渲染，辅助完成与待实时交互和判断。2.根据权利要求1所述的方法，其特征在于，所述的虚拟现实环境是一种计算机生成的模拟环境，包括创建的虚拟场景和虚拟人物；所述虚拟现实VR装置包括VR头盔、VR数据手套、VR座舱、VR数据皮肤衣、麦克风、立体声扬声器、摄像头等装置，利用VR装置实现视觉、听觉、味觉、嗅觉、触觉与力觉的输入和反馈，完成与虚拟现实环境的交互，其中以VR头盔显示器为核心形成视觉系统，利用麦克风输入语音，通过立体声扬声器感知声音输出，采用摄像头来捕捉外观行为。3.根据权利要求1所述的方法，其特征在于，边缘处可选择佩戴VR设备或者采用显示装置两种方式来交互，并支持远程模式。4.根据权利要求1所述的方法，其特征在于，所述的智能穿戴传感器检测的数据包括心率、血压、血氧饱和度的健康数据，通过边缘计算节点实时处理，根据需要上传到云数据中心。5.根据权利要求1所述的方法，其特征在于，所述的边缘计算节点或工作站具备计算、存储、网络功能，并通过GPU硬件加速实现虚拟现实环境实时渲染，在VR设备所在边缘侧完成虚拟现实环境生成和处理、视觉系统处理、听觉系统处理、交互反馈系统、穿戴数据采集的业务逻辑，同时在边缘侧提供语音识别、语义转化、语音生成、虚拟环境人物表情动作生成、虚拟环境场景和人物推荐、判断预测服务。6.根据权利要求1所述的方法，其特征在于，所述的云数据中心聚集大量的计算、存储、网络资源，对边缘计算节点和工作站进行统一管理，提供数据库、数据存储等数据服务，模型训练服务、语音识别、语义分析、文字转换、语音生成、语音动作生成的人工智能服务以及场景模型、人物模型、交互设计、虚拟人物生成的虚拟现实服务，基于数据服务、人工智能及虚拟现实服务构建文字生成语音模型、语义表达转换文字模型、个性化虚拟人物生成模型、虚拟环境场景和人物推荐模型、预测模型以及提示模型，并根据边缘计算节点资源及业务状况推送个性化模型和服务。7.根据权利要求6所述的方法，其特征在于，所述的文字生成语音模型采用神经网络模型，根据文字输入来合成输出虚拟人物个性化语音；所述的语义表达转换文字模型采用深度学习自编码器(Auto
‑
Enc...

【专利技术属性】
技术研发人员：孙善宝，王晓利，罗清彩，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：