支持手工创作的MR鱼缸互动系统及方法技术方案

本公开提供了一种支持手工创作的MR鱼缸互动系统及方法，包括：实时捕获用户所选择的颜色与轮廓信息，将其映射至对应的二维和三维虚拟形象；利用基于双眼视差的时分式立体渲染方法，将用户设计的虚拟形象立体出屏显示至鱼缸的前侧玻璃或鱼缸的内部空间中，生成混合现实的体验环境；获取与用户所设计的虚拟形象相匹配的实体形象；接收用户改造后的实体形象中的传感器数据，并基于所述传感器数据对混合现实鱼缸内的虚拟形象进行交互控制；基于用户真实的动作或语言特征对混合现实鱼缸中与用户关联的虚拟形象进行控制，使虚拟形象展现出与用户动作或语言特征相匹配的动作，不同用户以虚拟形象化身的方式在不同混合现实鱼缸之间进行互动。进行互动。进行互动。

【技术实现步骤摘要】
支持手工创作的MR鱼缸互动系统及方法


[0001]本公开属于虚拟现实
，尤其涉及一种支持手工创作的MR鱼缸互动系统及方法。

技术介绍

[0002]本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。
[0003]数字技术已逐渐融入人们的日常生活，被广泛应用在儿童教育等众多领域，这为内容创作的实现形式提供了新的可能。随着VR(Virtual Reality)技术的发展，已经有一些支持用户参与设计虚拟内容、创建虚拟场景的研究出现。然而，大多数的虚拟内容制作需要用户佩戴HMD(Head Mount Display)等昂贵且沉重的显示设备，容易产生疲惫感与不适感。
[0004]不依赖于头戴式显示设备的MR(Mixed Reality)技术不但可以发挥虚拟环境的优势，而且能够避免给儿童带来佩戴设备的负担。其中，鱼缸作为一款被普遍使用的观赏设备，拥有构造简单、低成本等优点，其内部提供了一个广阔的三维空间，与MR技术结合后，可以构建为一个自然的混合现实交互环境，从而为虚拟形象的创作提供了一个合适的平台。不过，VR、MR等数字技术的使用需要一定的技术背景，且制作的内容与设计的形象只会被保存在虚拟的环境中，对儿童来说十分具有挑战性。

技术实现思路

[0005]本公开为了解决上述问题，提供了一种支持手工创作的MR鱼缸互动系统及方法，所述方案允许用户通过触控及语音的方式进行虚拟形象的设计，通过利用基于双眼视差的立体出屏显示技术，提供了以真实鱼缸为载体的混合现实环境，增加了用户交互的真实感；同时，所述方案支持虚拟形象的实体化，允许用户通过手工艺制作的方式，将设计出的虚拟形象转变为有形的且可触摸的实体，从而锻炼儿童手、眼及脑的综合协调能力，促进创造力的培养和发展；此外，本公开所述方案中，用户创作的虚拟形象不仅能够实体化，还被赋予了交互性，所述方案支持用户对制作出的实体进行改造，通过加装传感器模块，使其从普通的物理实体变为可供用户使用的交互工具；最后，本公开所述方案允许用户赋予虚拟形象人的动作及语言等特征，以虚拟形象化身的方式在不同的MR鱼缸之间穿梭，并通过虚拟化身的肢体动作或语言进行交流。
[0006]根据本公开实施例的第一个方面，提供了一种支持手工创作的MR鱼缸互动系统，包括：
[0007]虚拟形象设计模块，被配置为实时捕获用户所选择的颜色与轮廓信息，将其映射至对应的二维和三维虚拟形象；
[0008]立体出屏显示模块，被配置为利用基于双眼视差的时分式立体渲染方法，将用户设计的虚拟形象立体出屏显示至鱼缸的前侧玻璃或鱼缸的内部空间中，生成混合现实的体验环境；
[0009]虚拟形象实体制作模块，被配置为获取与用户所设计的虚拟形象相匹配的实体形象；
[0010]实物交互模块，被配置为接收用户改造后的实体形象中的传感器数据，并基于所述传感器数据对混合现实鱼缸内的虚拟形象进行交互控制；其中，所述实体形象的改造具体为：对用户参与制作的实体形象加装陀螺仪及加速度传感器；
[0011]虚拟化身交互模块，被配置为基于用户真实的动作或语言特征对混合现实鱼缸中与用户关联的虚拟形象进行控制，使虚拟形象展现出与用户动作或语言特征相匹配的动作，不同用户以虚拟形象化身的方式在不同混合现实鱼缸之间进行互动。
[0012]进一步的，所述混合现实鱼缸包括鱼缸本体、位于鱼缸前侧玻璃的触摸框以及投影仪，通过所述红外触摸框实现用户的触控输入，所述投影仪用于将虚拟画面显示在鱼缸后侧玻璃上的液晶调光膜上；所述混合现实鱼缸配合用户佩戴的立体眼镜实现基于真实鱼缸的混合现实环境；所述实体形象的获取方式采用通过用户参与的手工艺制作方式或3D打印方式。
[0013]进一步的，所述系统还包括自然交互模块，其被配置为基于红外触控技术及智能语音技术，接收用户的触控或语音信号，并基于所述触控或语音信号以及预先关联的控制命令，实现对鱼缸内虚拟形象的交互控制。
[0014]进一步的，所述自然交互模块包括配置于混合现实鱼缸前侧玻璃上的触摸框及麦克风阵列。
[0015]进一步的，所述虚拟化身交互模块包括动作捕捉设备，其结合自然交互模块的麦克风阵列，实时获取用户的动作或语言，并基于预设的与动作或语言关联的控制命令对与用户对应的虚拟形象进行控制；其中，用户对应的虚拟形象可在不同混合现实鱼缸进行显示。
[0016]进一步的，所述系统预先构建有二维虚拟形象轮廓库及对应设置的三维虚拟形象库，用户可根据需求，利用混合现实鱼缸前侧玻璃上的触摸框来选择不同的虚拟形象轮廓对其进行颜色配置，实现虚拟形象的设计。
[0017]进一步的，所述基于所述传感器数据对混合现实鱼缸内的虚拟形象进行交互控制，具体为：实时获取加速度传感器数据以及陀螺仪数据，当获得的加速度值超出预设阈值时，则认为用户此时拿起了某个实体形象，从而触发混合现实鱼缸中与当前实体形象对应的虚拟形象的显示；将通过加速度传感器获得的加速度值以及通过陀螺仪实时获取的旋转角度值映射到混合现实鱼缸中的虚拟形象，实现虚拟形象与实体形象的同步运动。
[0018]根据本公开实施例的第二个方面，提供了一种支持手工创作的MR鱼缸互动方法，包括：
[0019]实时捕获用户所选择的颜色与轮廓信息，将其映射至对应的二维和三维虚拟形象；
[0020]利用基于双眼视差的时分式立体渲染方法，将用户设计的虚拟形象立体出屏显示至鱼缸的前侧玻璃或鱼缸的内部空间中，生成混合现实的体验环境；
[0021]获取与用户所设计的虚拟形象相匹配的实体形象；
[0022]接收用户改造后的实体形象中的传感器数据，并基于所述传感器数据对混合现实鱼缸内的虚拟形象进行交互控制；其中，所述实体形象的改造具体为：对用户参与制作的实
体形象加装陀螺仪及加速度传感器；
[0023]基于用户真实的动作或语言特征对混合现实鱼缸中与用户关联的虚拟形象进行控制，使虚拟形象展现出与用户动作或语言特征相匹配的动作，不同用户以虚拟形象化身的方式在不同混合现实鱼缸之间进行互动。
[0024]根据本公开实施例的第三个方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上运行的计算机程序，所述处理器执行所述程序时实现所述的一种支持手工创作的MR鱼缸互动方法。
[0025]根据本公开实施例的第四个方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的一种支持手工创作的MR鱼缸互动方法。
[0026]与现有技术相比，本公开的有益效果是：
[0027](1)本公开提供了一种支持手工创作的MR鱼缸互动系统及方法，所述方案允许用户通过触控及语音的方式进行虚拟形象的设计，其自然的交互方式也容易学习和使用，所述方案通过利用基于双眼视差的立体出屏显示技术，提供了以真实鱼缸为载体的混合现实环境，增加了用户交互的真实感；同时，所述方案支持虚拟形象的实体化，允许用户通过手工艺制作的方式，将设计出的虚拟形象转变为有形的且可触摸的实体本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种支持手工创作的MR鱼缸互动系统，其特征在于，包括：虚拟形象设计模块，被配置为实时捕获用户所选择的颜色与轮廓信息，将其映射至对应的二维和三维虚拟形象；立体出屏显示模块，被配置为利用基于双眼视差的时分式立体渲染方法，将用户设计的虚拟形象立体出屏显示至鱼缸的前侧玻璃或鱼缸的内部空间中，生成混合现实的体验环境；虚拟形象实体制作模块，被配置为获取与用户所设计的虚拟形象相匹配的实体形象；实物交互模块，被配置为接收用户改造后的实体形象中的传感器数据，并基于所述传感器数据对混合现实鱼缸内的虚拟形象进行交互控制；其中，所述实体形象的改造具体为：对用户参与制作的实体形象加装陀螺仪及加速度传感器；虚拟化身交互模块，被配置为基于用户真实的动作或语言特征对混合现实鱼缸中与用户关联的虚拟形象进行控制，使虚拟形象展现出与用户动作或语言特征相匹配的动作，不同用户以虚拟形象化身的方式在不同混合现实鱼缸之间进行互动。2.如权利要求1所述的一种支持手工创作的MR鱼缸互动系统，其特征在于，所述混合现实鱼缸包括鱼缸本体、位于鱼缸前侧玻璃的触摸框以及投影仪，通过所述红外触摸框实现用户的触控输入，所述投影仪用于将虚拟画面显示在鱼缸后侧玻璃上的液晶调光膜上；所述混合现实鱼缸配合用户佩戴的立体眼镜实现基于真实鱼缸的混合现实环境；所述实体形象的获取方式采用通过用户参与的手工艺制作方式或3D打印方式。3.如权利要求1所述的一种支持手工创作的MR鱼缸互动系统，其特征在于，所述系统还包括自然交互模块，其被配置为基于红外触控技术及智能语音技术，接收用户的触控或语音信号，并基于所述触控或语音信号以及预先关联的控制命令，实现对鱼缸内虚拟形象的交互控制。4.如权利要求1所述的一种支持手工创作的MR鱼缸互动系统，其特征在于，所述自然交互模块包括配置于混合现实鱼缸前侧玻璃上的触摸框及麦克风阵列。5.如权利要求1所述的一种支持手工创作的MR鱼缸互动系统，其特征在于，所述虚拟化身交互模块包括动作捕捉设备，其结合自然交互模块的麦克风阵列，实时获取用户的动作或语言，并基于预设的与动作或语言关联的控制命令对与用户对应的虚拟形象进行控制；其中，用户对应的虚拟形象可在不同混合现实鱼缸进行显...

【专利技术属性】
技术研发人员：杨承磊，任铭传，盖伟，吕高荣，王馨宇，
申请(专利权)人：山东大学，
类型：发明
国别省市：