交互式全息幻象教学系统及方法技术方案

本发明专利技术提供了一种交互式全息幻象教学系统及方法，其中，该系统包括：服务器；包括第一体感控制器、方向照明灯、第二黑幕布的第一装置；包括投影仪、全息膜、第一黑幕布的第二装置；包括摄像头、第二体感控制器、第一处理器的第三装置；包括摄像机、第二处理器、显示器的第四装置；按照序号依次设置该四个装置；服务器分别与摄像头、第一体感控制器、投影仪、通过第一处理器与第二体感控制器连接；第一装置、第二装置处于黑暗环境中。上述系统能突破全息幻象技术只在展现类应用的局限性，开拓全息幻象的交互应用，且能将其与教学相结合，突破传统多媒体教学方式，第一、二操作者均可与虚拟幻象进行交互，增添课堂的趣味性和互动性，提高教学质量。

【技术实现步骤摘要】

本专利技术涉及交互式全息投影技术、背景图像分离技术、多传感器融合技术、体感交互
，尤其涉及一种交互式全息幻象教学系统及方法。
技术介绍
全息投影(Holography)是一种采用全息膜将真实物体的反射光线与虚拟图像的反射光线相融合，在空中产生立体幻象，实现虚拟物体在现实环境中再现的视觉效果。在最初，这种技术只是应用在展会展览，随着技术的不断成熟，全息投影技术渐渐应用在了其他的领域，尤其是在数字娱乐，如舞台展现、产品发布会、虚拟讲堂等。以上都很精彩地将虚拟物体呈现在真实场景中。然而以上应用都主在呈现，硬性地将虚拟物体置于特定的真实场景中，而缺少交互的功能，这也是为何全息技术至今主要应用在展会，演唱会等展现类应用方面的原因。若要让全息投影技术应用到各个领域，我们必须要让全息投影技术融合体感交互技术。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种交互式全息幻象教学系统及方法，能够突破全息幻象技术只在展会、演唱会等展现类应用的局限性，开拓了全息幻象的交互应用，同时，能够将交互式全息幻象与课堂教学相结合，突破了传统的多媒体教学方式，不仅第一操作者可以与虚拟的幻象进行交互，第二操作者在课堂中也可以实时的进行虚实交互，增添课堂的趣味性和互动性，提高教学质量。第一方面，本专利技术提供一种交互式全息幻象教学系统，包括：第一装置、第二装置、第三装置、第四装置、服务器，所述第二>装置设置于所述第一、三装置之间，所述第三装置设置于所述第二、四装置之间；所述第一装置包括：第一体感控制器、方向照明灯、第二黑幕布；所述第二装置包括：投影仪、全息膜、第一黑幕布；所述第三装置包括：摄像头、第二体感控制器、第一处理器；所述第四装置包括：摄像机、第二处理器、显示器；所述摄像头，用于获取第二操作者的图像；所述第一体感控制器，用于获取第一操作者的动作信息，并将所述第一操作者的动作信息转化为数字动作指令信息；所述第二体感控制器，用于获取第二操作者的肢体动作信息；所述第一处理器，用于将所述肢体动作信息转化为肢体动作的数字操纵指令信息；所述服务器，用于获取所述摄像头中的所述第二操作者的图像、所述第一体感控制器中的所述数字动作指令信息、以及所述第一处理器中的所述数字操纵指令信息，将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中，分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景，所述服务器与所述摄像头、所述第一体感控制器、所述投影仪分别连接，所述服务器通过所述第一处理器与所述第二体感控制器连接；所述第一黑幕布，用于反射所述投影仪的投影，所述第一黑幕布在所述投影仪的下方；所述全息膜，用于将所述第一黑幕布反射的投影生成3D幻象；所述第二黑幕布，用于混合背景呈现为黑色,所述第二黑幕布在所述第一操作者的背后位置；所述方向照明灯，用于照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；所述摄像机，用于获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己；所述第一装置、所述第二装置均处于黑暗环境中。可选地，所述第一体感控制器为：Kinect；和/或，所述第二体感控制器为：leapmotion；和/或，所述摄像头为：广角摄像头。可选地，所述第二操作者与所述第二体感控制器和所述第一处理器的数量相同，为一个或一个以上；和/或，所述第一体感控制器、和/或所述显示器、和/或所述投影仪、和/或所述摄像头设置在讲台或舞台上，和/或所述全息膜通过连接器设置在所述讲台或舞台上。可选地，所述全息膜与所述第二操作者方向的水平地面成45°；和/或，所述第一体感控制器设置在所述显示器的顶部。可选地，所述系统还包括：竖直设置的第三黑幕布，用于防止所述第二操作者观测到所述投影仪在所述第一黑幕布生成的地面投影；和/或，所述服务器放置在所述第三黑幕布的内部。可选地，所述第一处理器设置在所述第二操作者使用的封装桌子的内部，通过所述封装桌子的上表面的小孔与设置在所述封装桌子的上表面的所述第二体感控制器连接，所述第一处理器通过所述封装桌子的侧面的小孔与外接电源连接。第二方面，本专利技术提供一种使用上述系统的交互式全息幻象教学方法，包括：摄像头获取第二操作者的图像；第一体感控制器获取第一操作者的动作信息，将所述第一操作者的动作信息转化为数字动作指令信息；第二体感控制器获取第二操作者的肢体动作信息，将所述肢体动作信息发送至第一处理器，所述第一处理器将所述肢体动作信息转化为肢体动作的数字操纵指令信息；服务器获取所述第二操作者的图像、所述数字动作指令信息和所述数字操纵指令信息；服务器将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中；服务器分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景；投影仪获取服务器中的所述交互后的3D虚拟场景，将所述交互后的3D虚拟场景投影在所述投影仪下方的第一黑幕布上；第一黑幕布将所述投影仪的投影反射通过全息膜生成3D幻象；方向照明灯照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；摄像机获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己。可选地，所述第一体感控制器为：Kinect；和/或，所述第二体感控制器为：leapmotion；和/或，所述摄像头为：广本文档来自技高网...

【技术保护点】
一种交互式全息幻象教学系统，其特征在于，包括：第一装置、第二装置、第三装置、第四装置、服务器，所述第二装置设置于所述第一、三装置之间，所述第三装置设置于所述第二、四装置之间；所述第一装置包括：第一体感控制器、方向照明灯、第二黑幕布；所述第二装置包括：投影仪、全息膜、第一黑幕布；所述第三装置包括：摄像头、第二体感控制器、第一处理器；所述第四装置包括：摄像机、第二处理器、显示器；所述摄像头，用于获取第二操作者的图像；所述第一体感控制器，用于获取第一操作者的动作信息，并将所述第一操作者的动作信息转化为数字动作指令信息；所述第二体感控制器，用于获取第二操作者的肢体动作信息；所述第一处理器，用于将所述肢体动作信息转化为肢体动作的数字操纵指令信息；所述服务器，用于获取所述摄像头中的所述第二操作者的图像、所述第一体感控制器中的所述数字动作指令信息、以及所述第一处理器中的所述数字操纵指令信息，将所述第二操作者的图像进行背景分离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物图像融入到保存在所述服务器中的3D虚拟场景中，分别根据所述数字动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二操作者与虚拟物体的交互，获取交互后的3D虚拟场景，所述服务器与所述摄像头、所述第一体感控制器、所述投影仪分别连接，所述服务器通过所述第一处理器与所述第二体感控制器连接；所述第一黑幕布，用于反射所述投影仪的投影，所述第一黑幕布在所述投影仪的下方；所述全息膜，用于将所述第一黑幕布反射的投影生成3D幻象；所述第二黑幕布，用于混合背景呈现为黑色,所述第二黑幕布在所述第一操作者的背后位置；所述方向照明灯，用于照亮所述第一操作者，使所述第一操作者与所述3D幻象融合到一个场景中；所述摄像机，用于获取所述第一操作者与所述3D幻象融合后的场景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己；所述第一装置、所述第二装置均处于黑暗环境中。...

【技术特征摘要】
1.一种交互式全息幻象教学系统，其特征在于，包括：第一装置、
第二装置、第三装置、第四装置、服务器，所述第二装置设置于所述
第一、三装置之间，所述第三装置设置于所述第二、四装置之间；
所述第一装置包括：第一体感控制器、方向照明灯、第二黑幕布；
所述第二装置包括：投影仪、全息膜、第一黑幕布；
所述第三装置包括：摄像头、第二体感控制器、第一处理器；
所述第四装置包括：摄像机、第二处理器、显示器；
所述摄像头，用于获取第二操作者的图像；
所述第一体感控制器，用于获取第一操作者的动作信息，并将所
述第一操作者的动作信息转化为数字动作指令信息；
所述第二体感控制器，用于获取第二操作者的肢体动作信息；
所述第一处理器，用于将所述肢体动作信息转化为肢体动作的数
字操纵指令信息；
所述服务器，用于获取所述摄像头中的所述第二操作者的图像、
所述第一体感控制器中的所述数字动作指令信息、以及所述第一处理
器中的所述数字操纵指令信息，将所述第二操作者的图像进行背景分
离处理，获得所述第二操作者的人物图像，将所述第二操作者的人物
图像融入到保存在所述服务器中的3D虚拟场景中，分别根据所述数字
动作指令信息、所述数字操纵指令信息，在所述服务器中的融入所述
第二操作者的人物图像后的3D虚拟场景中分别实现第一操作者、第二
操作者与虚拟物体的交互，获取交互后的3D虚拟场景，所述服务器与
所述摄像头、所述第一体感控制器、所述投影仪分别连接，所述服务
器通过所述第一处理器与所述第二体感控制器连接；
所述第一黑幕布，用于反射所述投影仪的投影，所述第一黑幕布
在所述投影仪的下方；
所述全息膜，用于将所述第一黑幕布反射的投影生成3D幻象；
所述第二黑幕布，用于混合背景呈现为黑色,所述第二黑幕布在所
述第一操作者的背后位置；
所述方向照明灯，用于照亮所述第一操作者，使所述第一操作者
与所述3D幻象融合到一个场景中；
所述摄像机，用于获取所述第一操作者与所述3D幻象融合后的场
景的图像，将所述第一操作者与所述3D幻象融合后的场景的图像通过
第二处理器在显示器中显示，以使所述第一操作者在所述显示器中看
到所述3D幻象、所述3D幻象中的第二操作者和所述第一操作者自己；
所述第一装置、所述第二装置均处于黑暗环境中。
2.根据权利要求1所述的系统，其特征在于，所述第一体感控制
器为：Kinect；
和/或，
所述第二体感控制器为：leapmotion；
和/或，
所述摄像头为：广角摄像头。
3.根据权利要求1所述的系统，其特征在于，所述第二操作者与
所述第二体感控制器和所述第一处理器的数量相同，为一个或一个以
上；
和/或，
所述第一体感控制器、和/或所述显示器、和/或所述投影仪、和/
或所述摄像头设置在讲台或舞台上，和/或所述全息膜通过连接器设置
在所述讲台或舞台上。
4.根据权利要...

【专利技术属性】
技术研发人员：宋伟，李晋宏，赵庆银，文明云，黎佳雪，
申请(专利权)人：北方工业大学，
类型：发明
国别省市：北京;11