一种融合真实环境的虚实结合的交互方法及系统技术方案

本发明专利技术提供一种融合真实环境的虚实结合的交互方法及系统，能够达到真正的虚实结合的交互机制和体验。所述方法包括：步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。所述系统包括：确定边缘点运动单元，作用单元，显示单元。本发明专利技术适用于人机交互技术领域。

【技术实现步骤摘要】
一种融合真实环境的虚实结合的交互方法及系统
本专利技术涉及人机交互
，特别是指一种融合真实环境的虚实结合的交互方法及系统。
技术介绍
电子游戏作为一种娱乐活动已遍布计算机、手机、游戏主机等各种可安装游戏的电子设备。现有的电子游戏主要由玩家(即：游戏用户)操纵电子设备上的触摸屏、游戏手柄、鼠标、键盘等输入装置与电子设备显示的游戏的虚拟内容进行交互，虚拟内容包括但不限于游戏中的场景、人物、道具等。这种交互方式下的游戏体验完全局限于电子设备中游戏本身涉及的虚拟内容，与玩家身边的真实环境没有建立联系。近年来，为打破这一局限，出现了一些虚实结合的游戏探索，试图将真实环境和玩家的肢体动作引入游戏，以提升游戏体验。主要体现在体感游戏和增强现实游戏两方面。体感游戏以微软开发的电子游戏平台(Xbox)游戏机上的Kinect相关游戏为代表，通过深度摄像头或其它传感装置及相应的算法，跟踪玩家全身或半身的肢体动作，并由此控制游戏中的虚拟人物的动作。此类游戏用玩家真实的身体动作代替了通常的游戏输入装置，但游戏显示的内容仍为游戏中的虚拟内容，没有达到真正的虚实结合体验。增强现实游戏是通过在真实环境上叠加显示游戏中的虚拟内容达到虚实结合的效果。叠加显示可通过投影直接叠加在真实环境之上，或通过透视式头戴显示器(智能眼镜)将虚拟内容叠加在人眼与真实环境之间，或通过普通显示器同时显示摄像头拍摄到的真实环境与虚拟内容达到间接叠加的效果。其中前两种方式因需要专用设备，目前主要在研究探索阶段，最后一种方式对设备要求较低，在手机上已有一些实际游戏例子。简单的增强现实游戏并不对真实环境作分析，真实环境仅仅作为游戏显示的背景，不与游戏中的虚拟内容进行交互；较为高级的增强现实游戏会实时识别和跟踪真实环境中的一些预设标志，如二维码、特定图片等，并将虚拟内容与这些标志在二维或三维空间中对齐显示，以加强虚实结合的感受，但除这些预设标志以外的真实环境依然只作为显示背景，对游戏自身交互不发生作用。因此目前的增强现实游戏的“虚实结合”基本上局限在视觉效果上，而游戏自身的交互机制与传统的“纯虚拟”游戏并无本质区别。也就是说，目前存在的体感游戏和增强现实游戏并没有达到真正的虚实结合的游戏交互机制和体验。
技术实现思路
本专利技术要解决的技术问题是提供一种融合真实环境的虚实结合的交互方法及系统，以解决现有技术所存在的体感游戏和增强现实技术并没有达到真正的虚实结合的交互机制和体验的问题。为解决上述技术问题，本专利技术实施例提供一种融合真实环境的虚实结合的交互方法，其特征在于，包括：步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。可选地，所述捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态包括：通过摄像装置捕捉一帧真实环境的图像；对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。可选地，所述对该图像进行边缘检测，确定该图像中的边缘点包括：根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；对提取的图像进行边缘检测，确定该图像中的边缘点。可选地，所述结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态包括：针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。可选地，所述检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；若有，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性。可选地，所述将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果包括：将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；所述将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果包括：通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；所述将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果包括：利用真实环境中的物体去扭曲、压矮虚拟物体。可选地，所述基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果。可选地，所述根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示包括：根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。另一方面，本专利技术实施例还提供一种融合真实环境的虚实结合的交互系统，包括：确定边缘点运动单元，用于捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；作用单元，用于检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；显示单元，用于根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回检测边缘点单元继续执行，直至虚实交互结束。可选地，所述确定边缘点运动单元包括：捕捉模块，用于通过摄像装置捕捉一帧真实环境的图像；检测模块，用于对该图像进行边缘检测，确定该图像中的边缘点，所述边缘点对应于真实环境中相应物体的轮廓；确定边缘点运动模块：用于结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态。可选地，所述检测模块包括：分割子模块，用于根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应本文档来自技高网...

【技术保护点】
一种融合真实环境的虚实结合的交互方法，其特征在于，包括：步骤1，捕捉一帧真实环境的图像，确定该图像中的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束。

【技术特征摘要】
1.一种融合真实环境的虚实结合的交互方法，其特征在于，包括：步骤1，捕捉一帧真实环境的图像，利用边缘检测算法对捕捉的图像进行边缘检测，得到所述图像中的边缘点，结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态；步骤2，检测虚拟内容中每个虚拟物体的周围是否存在所述边缘点，若存在，则基于所述边缘点的运动状态对所述虚拟物体施加相应的作用；其中，所述步骤2包括：具体为：基于叠加显示的方式，检测虚拟内容中每个虚拟物体的周围是否有边缘点；若有，则基于所述边缘点的运动状态模拟真实的物理定律，并结合所述虚拟物体的自身状态，将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果，所述虚拟物体的自身状态包括：虚拟内容中为虚拟物体设定的虚拟属性；其中，所述将真实环境中与所述边缘点对应的物体的运动状态作用到所述虚拟物体上并产生相应的作用效果包括：将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果；或者，将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果；所述将真实环境中与所述边缘点对应的物体的运动状态以物理方式作用到所述虚拟物体上并产生相应的作用效果包括：通过模拟真实的物理定律，利用真实环境中的物体去碰撞、击打虚拟物体；或者，将真实环境中的物体作为攻击、防御或引导工具帮助虚拟物体越过障碍物；或者，虚拟物体在玩家设定的场景里运动，并与玩家设定的场景以及玩家进行交互；所述将真实环境中与所述边缘点对应的物体的运动状态以超越物理方式作用到所述虚拟物体上并产生相应的作用效果包括：利用真实环境中的物体去扭曲、压矮虚拟物体；步骤3，根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示，返回步骤1继续执行，直至虚实交互结束；其中，所述根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容和真实环境叠加显示包括：根据所述边缘点对所述虚拟物体的作用效果，将虚拟内容与真实环境进行叠加，完整地显示在屏幕上；或者，根据虚拟内容中预设的属性，将虚拟内容与真实环境的部分区域进行叠加显示；或者，根据虚拟内容中预设的属性，将真实环境只显示在屏幕或虚拟场景中的一部分区域。2.根据权利要求1所述的方法，其特征在于，所述对该图像进行边缘检测，确定该图像中的边缘点包括：根据虚拟内容中预设的属性，对已捕捉的图像进行分割，提取出与预设的属性相对应的图像，所述预设的属性包括：用于指定与虚拟内容进行交互的存在于真实环境中的物体和/或其运动状态，所述真实环境中的物体包括：存在于自然界中的一切生物和非生物；对提取的图像进行边缘检测，确定该图像中的边缘点。3.根据权利要求1所述的方法，其特征在于，所述结合捕捉到的前一帧图像，确定每个被检测出的边缘点在前一帧图像与当前图像之间的运动状态包括：针对每个被检测出的边缘点，结合被捕捉到的前一帧图像，确定对应在所述边缘点上的真实环境中的物体上的点在前一帧图像与当前图像之间的运动状态。4.根据权利要求1所述的方法，其特征在于，所述基于所述边缘点的运动状态对所述虚拟物体施加相应的作用包括：当虚拟物体的周围存在边缘点时，则基于所述边缘点的运动状态及虚拟内容中预设的规则，并结合所述虚拟...

【专利技术属性】
技术研发人员：曹翔，
申请(专利权)人：北京小小牛创意科技有限公司，
类型：发明
国别省市：北京;11