远程三维场景互动教学系统及控制方法技术方案

本发明专利技术涉及一种远程三维场景互动教学系统，包括远程服务器与所述服务器连接的互动端，采集用户动作信息，并发送所述用户动作信息到所述远程服务器；所述服务器还用于根据所述用户动作信息，控制所述显示场景中虚拟角色的动作，生成更新显示画面，接收语音生成语音信号，并发送所述语音信号到所述远程服务器，所述远程服务器还根据所述语音信号和所述虚拟角色之间的位置关系生成语音播放信号。实现更加直观，形象，沉浸式的沟通，消除老师和学生之间的距离感。

【技术实现步骤摘要】
远程三维场景互动教学系统及控制方法
本专利技术涉及互联网教学领域，具体而言，涉及一种远程三维场景互动教学系统及一种远程三维场景互动教学系统的控制方法。
技术介绍
互联网教育需要提高学员的真实代入感，提高学员的真实体验；构建虚拟的教学环境能够提高学员的真实体验，提高学员的学习积极性。当前比较普遍的做法是使用文字，视频或者幻灯片等方式让用户进行英语的朗读和表达，另外也有利用虚拟现实技术进行场景中物体单词学习的系统。然而，上述的现有技术方案仍然有让用户不够方便以及体验不够好的地方，如果让用户看文字，视频，幻灯片等教材，让用户始终以一个观察者的身份在进行学习，给用户的感觉是教条、枯燥、人云亦云的感觉。现有的虚拟现实技术的外语学习系统让用户在场景中只能跟物体进行交互，学习物体的单词，同样也比较枯燥，缺乏乐趣。当前比较普遍的做法直接播放远程老师的视频对学员进行教学。但是互动性不好，学员只能看到老师，无法直观体验老师描绘的场景，物体和原理。学员感受到的信息都是二维的平面信息，沉浸式体验不足。同样老师感受到的学员的反馈也都是二维平面信息，沉浸式体验不足。
技术实现思路
本专利技术为了解决现有技术中虚拟教学环境中环境枯燥、缺乏乐趣，学员代入感差，体验差的问题，提供了一种远程三维场景互动教学系统，包括远程服务器与所述服务器连接的互动端，所述互动端包括显示装置、三维模型采集装置和语音装置；所述远程服务器用于发送显示场景模型到所述显示装置；所述三维模型采集装置和用于采集用户动作信息和场景的深度信息，并发送所述用户动作信息到所述远程服务器；所述服务器还用于根据所述用户动作信息，控制所述显示装置中显示场景中虚拟角色的动作，显示装置根据场景中虚拟角色和三维场景实时渲染显示画面；所述语音装置用于接收语音生成语音信号，并发送所述语音信号到所述远程服务器，所述远程服务器还根据所述语音信号和所述虚拟角色之间的位置关系，利用HRTF技术生成语音播放信号，并将所述语音播放信号发送给所述语音装置，所述语音装置还用于根据所述语音播放信号播放语音。进一步地，所述远程服务器还具体用于根据所述语音信号和所述虚拟角色之间的位置关系生成与左右耳对应的两路语音播放信号。进一步地，所述远程服务器还具体用于获取当前听音的虚拟角色的位置、面朝方向和左右耳之间距离，获取发音的虚拟角色的位置，通过听音的虚拟角色的位置、面朝方向、左右耳之间距离和发音的虚拟角色的位置计算出左右耳对应的两路语音播放信号。进一步地，所述三维模型采集装置包括深度相机和动作捕捉设备。进一步地，所述显示装置为头戴式虚拟现实设备，投影屏幕，曲面屏幕，平面屏幕中的一种或多种。本专利技术另一方面还提供了一种远程三维场景互动教学系统的控制方法，包括如下步骤：S110，获取现实场景中的用户位置信息，肢体动作信息，脸部表情信息和语音信号；S120，根据所述用户位置信息，肢体动作信息和脸部表情信息，控制三维显示场景中虚拟角色的动作和脸部表情，最后由显示装置根据三维场景和三维虚拟角色生成更新显示画面；S130，根据所述显示场景中虚拟角色之间的位置关系和所述语音信号，利用HRTF技术生成语音播放信号；S140，发送所述用户的肢体动作信息和表情信息，以及所述语音播放信号。进一步地，所述步骤S130的步骤包括，根据所述语音信号和所述虚拟角色之间的位置关系生成与左右耳对应的两路语音播放信号，所述步骤S140中的所述语音播放信号包括所述两路语音播放信号。本专利技术与现有技术相比，通过本专利技术实施例提供的方法，可以极大优化老师和学生的上课体验和学习效果，让学生直观体会到学习的东西和场景。附图说明通过参考附图会更加清楚的理解本专利技术的特征和优点，附图是示意性的而不应理解为对本专利技术进行任何限制，在附图中：图1为本专利技术一些实施例中的远程三维场景互动教学系统的结构示意图；图2为本专利技术一些实施例中的整体显示场景的示意图；图3为本专利技术一些实施例中的虚拟角色A显示场景的示意图；图4为本专利技术一些实施例中的虚拟角色B显示场景的示意图；图5为本专利技术一些实施例中的显示场景虚拟角色运动的示意图；图6为本专利技术一些实施例中的生成语音播放信号的计算模型示意图；图7为本专利技术一些实施例中的远程三维场景互动教学系统的控制方法的流程示意图。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施方式对本专利技术进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。在下面的描述中阐述了很多具体细节以便于充分理解本专利技术，但是，本专利技术还可以采用其他不同于在此描述的其他方式来实施，因此，本专利技术的保护范围并不受下面公开的具体实施例的限制。本专利技术克服现有的虚拟教学环境，场景单一，互动性差的问题，提出了一种，互动性好，能够让学员真实体验好，沉浸感真实，能够通过声音信号感知位置，具有丰富乐趣的互动教学系统，包括远程服务器，与所述远程服务器连接的多个显示装置、多个三维模型采集装置和多个语音装置，所述远程服务器根据各虚拟角色视角将各虚拟显示场景发送到所述各个显示装置中，所述多个三维模型采集装置用于采集显示场景中用户的动作，并将采集到的信息发送个所述远程服务器，所述远程服务器接收到各个信息后，控制各个对应的虚拟角色动作，并产生相应的虚拟显示画面，回传更新的虚拟显示画面到所述多个各自对应的显示装置中，所述语音装置还用采集用户的语音信息，并发送给所述远程服务器，远程服务器根据各个对应的虚拟角色之间的位置关系对所述语音信息进行调整，生成语音播放信息，并回传给多个各自对应的语音装置中，语音装置进行播放，使得用户能够在模仿真实听音环境中听音，从而能够感知用户的位置，具有较好的沉浸感。实施例一如图1所示，本专利技术实施例提供了一种远程三维场景互动教学系统100，包括远程服务器100与所述服务器100连接的学生端200和教师端300，所述学生端200包括第一显示装置210、第一三维模型采集装置220和第一语音装置230；所述教师端300包括第二显示装置310、第二三维模型采集装置320和第二语音装置330；所述远程服务器100用于发送显示场景模型到所述第一显示装置210和所述第二显示装置310；所述第一显示装置210和所述第二显示装置310用于显示所述显示场景，所述第一三维模型采集装置220和所述第二三维模型采集装置320用于采集用户动作信息和场景的深度信息，并发送所述用户动作信息到所述远程服务器100；所述服务器100还用于根据所述用户动作信息，控制所述显示装置210、310中显示场景中虚拟角色的动作，显示装置210、310根据场景中虚拟角色和三维场景实时渲染显示画面；；所述第一语音装置230和第二语音装置330用于接收语音生成语音信号，并发送所述语音信号到所述远程服务器100，所述远程服务器100还根据所述语音信号和所述虚拟角色之间的位置关系，利用HRTF(头部相关传输函数)技术生成语音播放信号，并将所述语音播放信号发送给所述第一语音装置230和第二语音装置330，所述第一语音装置230和第二语音装置330还用于根据所述语音播放信号播放语音。具体地，如图2所示为整体显示画面，如图3所述为对虚拟角色A显示的画面，如图4所示为对虚拟角色B现实的本文档来自技高网...

【技术保护点】
一种远程三维场景互动教学系统，其特征在于，包括远程服务器与所述服务器连接的互动端，所述互动端包括显示装置、三维模型采集装置和语音装置。所述远程服务器用于发送显示场景模型到所述显示装置；所述三维模型采集装置用于采集用户动作信息和场景的深度信息，并发送所述用户动作信息到所述远程服务器；所述服务器还用于根据所述用户动作信息，控制所述显示装置中显示场景中虚拟角色的动作，显示装置根据场景中虚拟角色和三维场景实时渲染显示画面；所述语音装置用于接收语音生成语音信号，并发送所述语音信号到所述远程服务器，所述远程服务器还根据所述语音信号和所述虚拟角色之间的位置关系，利用HRTF技术生成语音播放信号，并将所述语音播放信号发送给所述语音装置，所述语音装置还用于根据所述语音播放信号播放语音。

【技术特征摘要】
1.一种远程三维场景互动教学系统，其特征在于，包括远程服务器与所述服务器连接的互动端，所述互动端包括显示装置、三维模型采集装置和语音装置。所述远程服务器用于发送显示场景模型到所述显示装置；所述三维模型采集装置用于采集用户动作信息和场景的深度信息，并发送所述用户动作信息到所述远程服务器；所述服务器还用于根据所述用户动作信息，控制所述显示装置中显示场景中虚拟角色的动作，显示装置根据场景中虚拟角色和三维场景实时渲染显示画面；所述语音装置用于接收语音生成语音信号，并发送所述语音信号到所述远程服务器，所述远程服务器还根据所述语音信号和所述虚拟角色之间的位置关系，利用HRTF技术生成语音播放信号，并将所述语音播放信号发送给所述语音装置，所述语音装置还用于根据所述语音播放信号播放语音。2.根据权利要求1所述的远程三维场景互动教学系统，其特征在于，所述远程服务器还具体用于根据所述语音信号和所述虚拟角色之间的位置关系，利用HRTF技术生成与左右耳对应的两路语音播放信号。3.根据权利要求1所述的远程三维场景互动教学系统，其特征在于，所述远程服务器还具体用于获取当前听音的虚拟角色的位置、面朝方向和左右耳之间距离，获取发音的虚拟角色的位置，通过听音的虚拟角色的位置、面朝方向、左右耳之间距离和发音的虚拟...

【专利技术属性】
技术研发人员：梁小龙，高晗，霍岩，李若霜，
申请(专利权)人：北京大生在线科技有限公司，
类型：发明
国别省市：北京,11