基于移动终端的手工制品与虚拟现实体验系统及方法技术方案

本发明专利技术公开了一种基于移动终端的手工制品与虚拟现实体验系统及方法，包括手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；故事线生成子系统，被配置为编辑模型的出场顺序与台词；场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。

【技术实现步骤摘要】
基于移动终端的手工制品与虚拟现实体验系统及方法
本专利技术涉及一种基于移动终端的手工制品与虚拟现实体验系统及方法。
技术介绍
青少年时期为一个可塑性极强的时期，如何利用有趣又有效的手段，对青少年进行教育，激发他们的灵感，进而提高他们的潜能，这是目前教育者与开发者都在思考并尝试解决的问题。传统的教育方式，大部分都是停留在文字、图像和视频的阶段，与这种方式相比，使用计算机的新型教育方式有着许多优点，它能够综合文字、图像、动画、数据等媒体形式以及快速的更新教材信息。虚拟现实、混合现实、增强现实技术被认为是一项技术突破，具有促进学习的能力。这些技术在教育领域中的研究和应用，极大地丰富了教学形式，提高了学习效率。虚拟学习环境(virtuallearningenvironment，VLE)不仅能够提供丰富的教学模式和教学内容，还可以提高学习者分析问题和探索新问题的能力。例如，在学习生物的时候，老师可以在虚拟场景中解剖动物，讲解动物身体的内部构造；学生不仅可以通过虚拟现实方式完成解剖过程，还可以进行多次反复练习，节约了教育成本。E-Teatrix是浙江大学与葡萄牙的INSEC在ELVIS项目中合作设计的系统，在儿童选择自己喜欢的环境后，可以选择相应的人物来形成一个故事主题，让儿童在3D交互式虚拟关键中创建场景、人物并扮演自己所喜欢人物的系统，可以提高儿童的创新设计能力和扮演能力。在进行手工制品的制作过程中，不仅会使手部肌肉群得到充分锻炼，同时能够使得参与者用眼睛观察，用大脑思考，同时双手的一系列动作有助于其右脑的发育，同时增强其眼、脑、手的协调并用能力，从而调动孩子丰富的想象力和创造力，促使其发挥潜能和个性，使他们在玩中变得越来越聪明。目前市面上的相关教育产品，大部分都是停留在文字、图像和视频的阶段，没有交互性，说教成分大，不能让孩子们真正地参与设计和制作的环节，提高他们的动手能力与创造力。如何将虚拟学习环境与传统的手工艺品的制作结合起来，充分调用儿童的想象力和创造力、寓教于乐，是亟待解决的问题。
技术实现思路
本专利技术为了解决上述问题，提出了一种基于移动终端的手工制品与虚拟现实体验系统及方法，本专利技术根据手工制品模型生成虚拟场景的功能，极大地激发了用户的创造力和想象力，用户不仅可以随时随地、随心所欲地制作手工制品模型，还能用它设计场景，构思故事线，可充分发挥自己的创造力与想象力，用这些模型创造出一个栩栩如生的虚拟世界。为了实现上述目的，本专利技术采用如下技术方案：一种基于移动终端的手工制品与虚拟现实体验系统，手工制作子系统、位置与物体识别子系统、故事线生成子系统和场景生成与漫游子系统，其中：所述手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；所述位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；所述故事线生成子系统，被配置为编辑模型的出场顺序与台词；所述场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。进一步的，所述手工制作子系统包括：选择模型单元，被配置为选择手工制品的三维模型；输出展开图单元，被配置为输出与所选三维模型对应的折纸展开图，并以厘米为单位标记各部件尺寸；折纸教学视频单元，被配置为提供所选模型的制作教程，展示整体组装视频和细节组装视频。进一步的，所述位置与物体识别子系统，包括：位置检测单元，被配置为识别与保存物理世界中摆放的手工制品的模型的位置，包括图像获取单元与位置检测函数单元；物体识别单元，被配置为识别与保存物理世界中摆放的折纸模型的名称；所述图像获取单元，被配置为调用摄像头拍摄前景图与背景图，并将其压缩为原来二分之一的大小保存在存储设备上；所述位置检测函数单元，被配置为启动位置检测函数，计算并保存前景图中摆放的物体的坐标。所述故事线生成子系统，包括：出场顺序编辑单元，被配置为编辑与保存模型的出场顺序；台词编辑单元，被配置为编辑与保存模型的台词，若无输入，则保存默认台词。所述场景生成与漫游子系统，包括：场景生成单元，被配置为根据位置与物体识别系统保存的物体的位置与名称信息，结合故事线生成系统保存的故事线台词，在虚拟场景的相应位置初始化模型及其故事线；场景漫游单元，被配置为结合Kinect、手机陀螺仪与/或暴风魔镜，使得用户能在生成的场景里漫游与探索自己设计的故事线。基于上述系统的工作方法，包括以下步骤：(1)选择待制作的手工制品的模型；(2)输出所选模型的折纸展开图；(3)提供整体组装视频与细节组装视频，根据视频制作手工制品模型；(4)在背景中摆放制作好的手工制品模型，拍照识别并保存各个模型的位置；(5)对模型逐个扫描识别，并保存各个手工制品模型的名称；(6)根据步骤(5)得到的名称，编辑手工制品模型的出场顺序；(7)根据步骤(6)得到的出场顺序，编辑并保存故事线与台词；(8)使用虚拟现实设备体验生成的虚拟场景与剧情。所述步骤(4)中，摆放多个模型，拍照识别并保存各个模型的位置的具体步骤为：(4-1)拍摄无物体的背景图与含物体与坐标轴标志物的物体的前景图；(4-2)利用得到的图片，使用基于背景相减法的位置检测函数，输出前景中的各个物体的位置；(4-3)若函数没有返回错误信息，则允许进入步骤(5)；否则在输出相应错误提示。所述步骤(4-1)中，拍摄背景图与前景图的具体步骤为：(4-1-1)拍摄无物体的背景图；(4-1-2)摆放三个坐标轴标志物，分别表示原点、y轴正方向和x轴正方向；(4-1-3)在坐标轴范围内摆放准备识别的手工制品模型，拍摄前景图；(4-1-4)将背景与前景图压缩并保存。所述步骤(4-2)中使用基于背景相减法的位置检测函数，输出前景中各个物体的位置的具体方法为：(4-2-1)求和背景的差值与去噪；(4-2-2)提取彩色图像转换为灰度图，然后转换为二值图；(4-2-3)对上一步得到的图像膨胀腐蚀，求解并输出轮廓；(4-2-4)求轮廓质心存储并排序，并将坐标映射到虚拟空间的交互范围内。所述步骤(4-3)中返回的错误信息包括以下几种：(4-3-1)程序内错误，包括图像大小不一致、非彩色图片、检测到的物体个数小于3或大于10；(4-3-2)映射出界，物体映射的坐标在虚拟空间的交互范围之外。所述步骤(5)中，对模型逐个扫描识别，并保存下各个模型的名称的具体方法为：(5-1)为了准确而快速地识别每个手工制品模型，为每个模型上传多张用以识别的标记图片；(5-2)扫描手工制品模型，程序根据标记图片识别模型；(5-3)若保存的扫描结果个数等于识别出的位置个数，允许进入步骤(6)，否则提示错误信息，重复步骤(5-2)。所述步骤(5-2)中，识别物体的具体方法为：(5-2-1)每个手工制品模型对应多个标志图片，进行识别，将手机摄像头对准模型进行识别，进行摄像头的聚焦；若识别成功，则显示相应提示，表示该物体识别成功；(5-2-2)识别成功后，查找记录，判断此物体是否有已被识别的记录，若为否，则保存物体名称；(5-2-3)若存在多个手工制品模型，为了位置映射的准确性，按照从上到下，从左到右的顺序扫描模型。所述步骤(6)中，编辑模型的出场顺序的方法为：(6本文档来自技高网...

【技术保护点】
一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：手工制作子系统、位置与物体识别子系统、故事线生成子系统和场景生成与漫游子系统，其中：所述手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；所述位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；所述故事线生成子系统，被配置为编辑模型的出场顺序与台词；所述场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。

【技术特征摘要】
1.一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：手工制作子系统、位置与物体识别子系统、故事线生成子系统和场景生成与漫游子系统，其中：所述手工制作子系统，被配置为根据模型生成手工制品的展开图，并提供教学视频；所述位置与物体识别子系统，被配置为识别并输出物理世界中包括手工制品的多个物体的名称与坐标；所述故事线生成子系统，被配置为编辑模型的出场顺序与台词；所述场景生成与漫游子系统，被配置为根据物体的名称与坐标，生成相应场景，根据故事线台词，生成相应故事线，使用虚拟现实设备体验生成的虚拟场景与剧情，实现交互。2.如权利要求1所述的一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：所述手工制作子系统包括：选择模型单元，被配置为选择手工制品的三维模型；输出展开图单元，被配置为输出与所选三维模型对应的折纸展开图，并以厘米为单位标记各部件尺寸；折纸教学视频单元被配置为提供所选模型的制作教程，展示整体组装视频和细节组装视频。3.如权利要求1所述的一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：所述位置与物体识别子系统，包括：位置检测单元，被配置为识别与保存物理世界中摆放的手工制品的模型的位置，包括图像获取单元与位置检测函数单元；物体识别单元，被配置为识别与保存物理世界中摆放的折纸模型的名称；所述图像获取单元，被配置为调用摄像头拍摄前景图与背景图，并将其压缩为原来二分之一的大小保存在存储设备上；所述位置检测函数单元，被配置为启动位置检测函数，计算并保存前景图中摆放的物体的坐标。4.如权利要求1所述的一种基于移动终端的手工制品与虚拟现实体验系统，其特征是：所述场景生成与漫游子系统，包括：场景生成单元，被配置为根据位置与物体识别系统保存的物体的位置与名称信息，结合故事线生成系统保存的故事线台词，在虚拟场景的相应位置初始化模型及其故事线；场景漫游单元，被配置为结合Kinect、手机陀螺仪与/或暴风魔镜，使得用户能在生成的场景里漫游与探索自己设计的故事线。5.基于如权利要求1-4中任一项所述的系统的工作方法，其特征是：包括以下步骤：(1)选择待制作的手工制品的模型；(2)输出所选模型的折纸展开图；(3)提供整体组装视频与细节组装视频，根据视频制作手工制品模型；(4)在背景中摆放制作好的手工制品模型，拍照识别并保存各个模型的位置；(5)对模型逐个扫描识别，并保存各个手工制品模型的名称；(6)根据步骤(5)得到的名称，编辑手工制品模型的出场顺序；(7)根据步骤(6)得到的出场顺序，编辑并保存故事线与台词；(8)使用虚拟现实设备体验生成的虚拟场景与剧情。6.如权利要求5所述的工作方法，其特征是：所述步骤(4)中，摆放多个模型，拍照识别并保存各个模型的位置的具体步骤为：(4...

【专利技术属性】
技术研发人员：周念梅，盖伟，王禹秋，杨承磊，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东,37