【技术实现步骤摘要】
混合现实的远程教学互动、教具互动系统及其互动方法
本专利技术涉及课堂教学培训领域，尤其涉及混合现实的远程教学互动、教具互动系统及其互动方法。
技术介绍
随着科技的进步，随着AR(AugmentedReality，增强现实技术)/VR(VirtualReality，虚拟现实技术)混合现实技术的日益发展，其应用越来越被人们所接受。AR/VR混合现实技术应用广泛，无论是医学方面、娱乐方面，还是航天领域、铁路运输、安全隐患培训。AR/VR技术成为应用广泛、强有力的应用解决方案。目前，学校课堂教学培训方式，偏向概念性教学，专业课程教学还缺少有效的方法和手段，培训课程枯燥无味，缺乏互动性。因此在教育领域中，AR技术的应用具有远大的发展前景。目前应用在教育领域的AR实现方式只能通过摄像设备捕捉到标识模型上的识别标识，以根据上述识别标识、识别标识模型；然后运行AR软件对标识模型进行处理，以将与标识模型对应的虚拟模型通过显示屏幕呈现。然而上述现有技术中还存在下述问题：只能使得同一空间的教师和学生进行交互教学，并且教师和...
【技术保护点】
1.一种混合现实的远程教学互动系统，其特征在于，至少包括一个AR显示设备，所述远程教学互动系统将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中所述AR显示设备的视场里。/n
【技术特征摘要】
1.一种混合现实的远程教学互动系统，其特征在于，至少包括一个AR显示设备，所述远程教学互动系统将至少一处第二教学场景中的远程教师的抠图影像实时投影在第一教学场景中所述AR显示设备的视场里。
2.如权利要求1所述的混合现实的远程教学互动系统，其特征在于，所述AR显示设备包括第一传感器单元和/或第二传感器单元；
所述第一传感器单元，用于获取所述AR显示设备的状态信息；
所述第二传感器单元，用于获取教学场景的3D影像和空间相对信息。
3.如权利要求2所述的混合现实的远程教学互动系统，其特征在于，所述第一传感器单元至少包括鱼眼摄像头、自由度传感器和惯性测量单元；
所述鱼眼摄像头，用于识别所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对移动信息；
所述自由度传感器，用于获取所述AR显示设备在所述第一教学场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述第一教学场景内的相对角度信息；
所述惯性测量单元，用于获取所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对距离信息；
所述第二传感器单元至少包括RGB摄像头和TOF摄像头；
所述RGB摄像头，用于获取所述第一教学场景的影像以及现场教师的影像；
所述TOF摄像头，用于获取所述第一教学场景的空间信息以及所述现场教师的空间信息。
4.如权利要求2或3所述的混合现实的远程教学互动系统，其特征在于，所述混合现实的远程教学互动系统还包括抠像摄影设备和通信设备；
所述抠像摄影设备，用于将至少一处所述第二教学场景中的所述远程教师的抠图影像实时通过所述通信设备，传输至第一教学场景中所述AR显示设备的视场里。
5.如权利要求4所述的混合现实的远程教学互动系统，其特征在于，
在所述第一教学场景中所述AR显示设备的视场里，所述AR显示设备根据所述现场教师的3D体貌特征，在台上成比例地还原地投影出所述远程教师的3D体貌影像，且将所述远程教师的影像设置在所述现场教师的侧对面，且均侧朝向台下。
6.如权利要求4所述的混合现实的远程教学互动系统，其特征在于，
所述混合现实的远程教学互动系统还包括在远程的投影/显示器，和在现场的全局摄像机，在所述第二教学场景中，所述投影/显示器中AR结合投影/显示：全局摄像机获取的所述现场教师的影像以及远程的所述抠像摄影设备获取的所述远程教师的影像。
7.如权利要求4所述的混合现实的远程教学互动系统，其特征在于，所述抠像摄影设备包括至少一台摄像机，一台所述摄像机用于在所述第二教学场景中实时采集所述远程教师的实时二维影像；
或者，所述抠像摄影设备包括至少两台TOF摄像头，两台所述TOF摄像头，用于在所述第二教学场景中采集所述远程教师的实时三维影像，以及所述远程教师与所述TOF摄像头之间的第二距离参数，并将所述实时三维影像和所述第二距离参数整合，将整合结果作为所述远程教师的抠图影像。
8.如权利要求4所述的混合现实的远程教学互动系统，其特征在于，所述通信设备为采用4G/5G通讯技术的移动通讯设备。
9.如权利要求8所述的混合现实的远程教学互动系统，其特征在于，所述第一教学场景中设有所述AR显示设备和/或网络路由器，所述AR显示设备设有通信芯片，所述通信芯片支持4G/5G通讯、WIFI和/或LIFI；
所述网络路由器支持有线宽带通讯和/或无线4G/5G通讯。
10.如权利要求1所述的混合现实的远程教学互动系统，其特征在于，所述AR显示设备包括手势捕捉单元；
所述手势捕捉单元，用于捕捉用户的手势动作。
11.如权利要求10所述的混合现实的远程教学互动系统，其特征在于，所述手势捕捉单元包括但不限于自然手势识别传感器、数字手套、手柄控制器和/或手表式惯性测量单元。
12.如权利要求1所述的混合现实的远程教学互动系统，其特征在于，
所述混合现实的远程教学互动系统还包括语音交互设备，所述AR显示设备装有所述语音交互设备，用于作为所述AR显示设备与用户的语音交互媒介，或者，在第二教学场景中的远程教师通过所述语音交互设备进行语音交互。
13.如权利要求12所述的混合现实的远程教学互动系统，其特征在于，所述第一教学场景中的所述语音交互设备和所述第二教学场景中的所述语音交互设备，通过通讯设备实现互联互通。
14.一种混合现实的虚实结合教具互动系统，其特征在于，至少包括AR显示设备和抠像摄影设备，所述虚实结合教具互动系统根据所述AR显示设备在第一教学场景中的第一教具触发物，和/或根据抠像摄影设备在第二教学场景中扑捉到的第二教具触发物，触发显示所述第一教具触发物和/或所述第二教具触发物相应的虚拟教具、动画或视频。
15.如权利要求14所述的混合现实的虚实结合教具互动系统，其特征在于，所述AR显示设备包括第一传感器单元和/或第二传感器单元；
所述第一传感器单元，用于获取所述AR显示设备的状态信息，
所述第二传感器单元，用于获取所述第一教具触发物和/或所述第二教具触发物的3D影像和空间相对信息。
16.如权利要求15所述的混合现实的虚实结合教具互动系统，其特征在于，所述第一传感器单元至少包括鱼眼摄像头、自由度传感器和惯性测量单元；
鱼眼摄像头，用于识别所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对移动信息；
所述自由度传感器，用于获取所述AR显示设备在所述第一教学场景内的移动距离和旋转角度，并根据所述移动距离和所述旋转角度计算得到所述AR显示设备在所述第一教学场景内的相对角度信息；
所述惯性测量单元，用于获取所述AR显示设备在所述第一教学场景内的移动距离，并根据所述移动距离计算得到所述AR显示设备与所述第一教学场景空间内的相对距离信息；
所述第二传感器单元包括RGB摄像头和TOF摄像头，所述RGB摄像头，用于获取所述第一教具触发物和/或所述第二教具触发物的影像；
所述TOF摄像头，用于获取所述第一教学场景的空间信息以及所述第一教具触发物的空间姿态信息教具触发物。
17.根据权利要求15或16所述的混合现实的虚实结合教具互动系统，其特征在于，
所述混合现实的远程教学互动系统还包括虚拟教具显示模块和通信设备，
所述AR显示设备，用于将所述第一教学场景中的所述第一教具触发物的抠图影像实时通过所述通信设备，传输至所述第二教学场景中的投影/显示器；
所述抠像摄影设备，用于将至少一处所述第二教学场景中的所述第二教具触发物的抠图影像实时通过所述通信设备，传输至所述第一教学场景中所述AR显示设备的视场里；
所述虚拟教具显示模块，用于根据获取所述第一教具触发物和/或所述第二教具触发物触发虚拟教具或虚拟动画片段，供所述AR显示设备的视场中或投影/显示器中进行显示。
18.根据权利要求17所述的混合现实的虚实结合教具互动系统，其特征在于，
所述AR显示设备包括至少一台摄像头和/或至少两台TOF摄像头；
所述抠像摄影设备包括至少一台摄像头和/或至少两台TOF摄像头；
一台所述摄像头用于在所述第二教学场景中实时采集所述第二教具触发物的实时二维影像；
两台所述TOF摄像头，用于采集所述第一教具触发物和/或所述第二教具触发物的实时三维影像，以及所述第一教具触发物和/或所述第二教具触发物与所述TOF摄像头之间的第二距离参数，并将所述实时三维影像和所述第二距离参数整合，将整合结果作为所述第一教具触发物和/或所述第二教具触发物的抠图影像。
19.根据权利要求17所述的混合现实的虚实结合教具互动系统，其特征在于，所述通信设备为采用4G/5G通讯技术的移动通讯设备。
20.如权利要求19所述的混合现实的虚实结合教具互动系统，其特征在于，
所述第一教学场景中设有所述AR显示设备和/或网络路由器，所述AR显示设备设有通信芯片，所述通信芯片支持4G/5G通讯、WIFI和/或LIFI；所述网络路由器支持有线宽带通讯和/或无线4G/5G通讯。
21.根据权利要求14所述的混合现实的虚实结合教具互动系统，其特征在于，所述第一教具触发物或所述第二教具触发物包括实物教具，触发卡片和触发多面体中的任意一个；
所述实物教具与整个所述虚拟教具或所述虚拟教具的一部分类似；
所述触发卡片设置有一个标记物；
所述触发多面体的每个面均设置有所述标记物，
所述AR显示设备根据所述标记物显示对应的所述虚拟教具。
22.如权利要求17或21所述的混合现实的虚实结合教具互动系统，其特征在于，所述虚拟教具显示模块包括第一虚拟教具投影组件和/或第二虚拟教具投影组件；
所述第一虚拟教具投影组件根据所述第一教具...
【专利技术属性】
技术研发人员：刘本英，梁潇日，房晓俊，
申请(专利权)人：塔普翊海上海智能科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。