基于增强现实的显示方法、设备及存储介质技术

本公开实施例提供一种基于增强现实的显示方法、设备及存储介质，该方法通过响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；根据目标物体图像生成目标物体对应的虚拟形象；基于增强现实技术，在实时场景图像中显示目标物体的虚拟形象。通过获取目标物体图像，基于目标物体图像生成目标物体对应的虚拟形象，并基于增强现实技术，将虚拟形象显示于实时场景图像中，可以根据用户需求生成各种各样的虚拟形象，满足用户多样化的需求，提高用户使用AR技术的使用体验。

【技术实现步骤摘要】
基于增强现实的显示方法、设备及存储介质
本公开实施例涉及增强现实
，尤其涉及一种基于增强现实的显示方法、设备及存储介质。
技术介绍
增强现实技术(AugmentedReality，简称AR)，是一种将虚拟信息与真实世界融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。随着增强现实技术的发展，其在各行业中均得到广泛应用。现有技术中对AR技术的一种应用是在真实世界中叠加虚拟模型，例如卡通人物模型、动物模型等，然而，现有技术中的虚拟模型通常是固定的，是由开发人员预先设计好的虚拟模型形象，这就导致虚拟模型形象比较单一，无法满足用户多样化的需求，进而影响用户使用AR技术的意愿和使用体验。
技术实现思路
本公开实施例提供一种基于增强现实的显示方法、设备及存储介质，以克服虚拟模型形象比较单一，无法满足用户多样化的需求的问题。第一方面，本公开实施例提供一种基于增强现实的显示方法，包括：响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；根据所述目标物体图像生成所述目标物体对应的虚拟形象；基于增强现实显示技术，在所述实时场景图像中显示所述目标物体的虚拟形象。第二方面，本公开实施例提供一种基于增强现实的显示设备，包括：目标物体确定单元，用于响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；生成单元，用于根据所述目标物体图像生成所述目标物体对应的虚拟形象；显示单元，用于基于增强现实显示技术，在所述实时场景图像中显示所述目标物体的虚拟形象。第三方面，本公开实施例提供一种电子设备，包括：至少一个处理器和存储器；所述存储器存储计算机执行指令；所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一方面以及第一方面各种可能的设计所述的方法。第四方面，本公开实施例提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一方面以及第一方面各种可能的设计所述的方法。本公开实施例提供的基于增强现实的显示方法、设备及存储介质，该方法通过响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；根据目标物体图像生成目标物体对应的虚拟形象；基于增强现实技术，在实时场景图像中增强显示目标物体的虚拟形象。通过获取目标物体图像，基于目标物体图像生成目标物体对应的虚拟形象，可以避免虚拟形象需要预先设计、且形象固定单一的问题，本公开实施例中可根据用户需求生成各种各样的虚拟形象，可以满足用户多样化的需求，通过增强现实技术，将虚拟形象显示在实时场景图像中的目标位置处，提高用户使用AR技术的意愿和使用体验。附图说明为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本公开一实施例提供的基于增强现实的显示方法流程示意图；图2a为本公开一实施例提供的显示目标物体图像的轮廓的一个示例图；图2b为本公开一实施例提供的用户发出第一指令、确定目标物体图像一个示例图；图3为本公开一实施例提供的目标物体图像的对应的虚拟形象的示例图；图4为本公开一实施例提供的实时场景图像中显示虚拟形象的示例图；图5为本公开一实施例提供的基于增强现实的显示方法流程示意图；图6为本公开一实施例提供的基于增强现实的显示方法流程示意图；图7为本公开一实施例提供的获取目标物体对应的虚拟形象过程的示例图；图8为本公开实施例提供的基于增强现实的显示设备的结构框图；图9为本公开实施例提供的电子设备的硬件结构示意图。具体实施方式为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。本公开实施例可适用于任意的具备AR功能的电子设备，例如智能手机、平板电脑、可穿戴设备等等，本公开实施例的应用场景可以包括例如，电子设备通过其图像采集单元采集实时场景图像，根据场景图像中的目标物体生成对应的虚拟形象，并经过本公开各实施例的增强现实的显示方法，最终将目标物体对应的虚拟形象在实时场景的中进行增强显示，其中增强显示包括：基于增强现实显示技术，显示虚拟物体，例如实时场景图像中的目标物体为一个芒果，通过采用本公开实施例中的虚拟形象生成方法生成目标物体芒果对应的虚拟形象，经过本公开各实施例的增强现实的显示方法后，可以将目标物体芒果对应的虚拟形象在实时场景图像中进行增强显示并进一步通过动画的形式动态显示，其中芒果对应的虚拟形象可具备四肢和/或表情，且四肢和/或表情可以有一定的动作，以使得芒果对应的虚拟形象在实时场景中运动。参考图1，图1为本公开实施例提供的基于增强现实的显示方法流程示意图。本实施例的方法可以应用在具备AR功能的电子设备中，该基于增强现实的显示方法可以包括：S101、响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像。在本实施例中，电子设备的图像采集单元如摄像头等可以采集实时场景图像，并显示在电子设备的显示单元中。当用户希望得到实时场景图像中的某一目标物体图像对应的虚拟形象时，用户可发出第一指令，使得电子设备根据第一指令获取实时场景图像中的目标物体图像。在一个实施例中，电子设备可以根据第一指令，基于图像采集单元采集到的实时场景图像中的目标物体图像，再复制出同样的目标物体图像作为获取到的目标物体图像，并基于复制后的目标物体图像生成虚拟形象。其中，电子设备可以对实时场景图像中的目标物体进行物体分割，以得到目标物体图像。进一步的，电子设备还可对目标物体分割后所得到的目标物体图像进行标识。具体的，电子设备可运行预加载的物体分割算法，以对实时场景图像中的目标物体进行物体分割，从而得到目标物体图像。其中，本公开实施例中采用的物体分割算法可以包括显著性物体分割算法，在分割时可将实时场景图像中的显著物体作为目标物体，并分割出目标物体图像。其中，显著物体可以为实时场景图像中与背景颜色存在较大差异的物体，也可以为实时场景图像中心区域处的物体，或者实时场景图像中所占面积最大的物体，等等。例如图2a中所示，实时场景图像中的芒果处于实时场景图像中的中心区域且所占面积最大，可以将其作为所述目标物本文档来自技高网...

【技术保护点】
1.一种基于增强现实的显示方法，其特征在于，包括：/n响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；/n根据所述目标物体图像生成所述目标物体对应的虚拟形象；/n基于增强现实显示技术，在所述实时场景图像中显示所述目标物体的虚拟形象。/n

【技术特征摘要】
1.一种基于增强现实的显示方法，其特征在于，包括：
响应于用户的第一指令，获取图像采集单元采集的实时场景图像中的目标物体图像；
根据所述目标物体图像生成所述目标物体对应的虚拟形象；
基于增强现实显示技术，在所述实时场景图像中显示所述目标物体的虚拟形象。


2.根据权利要求1所述的方法，其特征在于，所述获取图像采集单元采集的实时场景图像中的目标物体图像，包括：
对所述实时场景图像中的所述目标物体进行物体分割，以获取所述目标物体图像，并对所述目标物体图像进行标识。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
响应于用户的触发指令，运行预加载的物体分割算法，以对所述实时场景图像中的所述目标物体进行物体分割；
响应于所述第一指令，停止所述物体分割算法的运行。


4.根据权利要求1所述的方法，其特征在于，所述根据所述目标物体图像生成所述目标物体对应的虚拟形象，包括：
将所述目标物体图像与动画素材进行合成，生成所述目标物体对应的虚拟形象，
其中，所述动画素材包括虚拟形象的肢体动画素材和/或表情动画素材。


5.根据权利要求4所述的方法，其特征在于，所述将所述目标物体图像与动画素材进行合成，包括：
获取所述肢体动画素材和/或所述表情动画素材；
在所述目标物体图像上确定多个连接点；
通过所述多个连接点将所述肢体动画素材和/或所述表情动画素材与所述目标物体图像进行合成，生成所述目标物体对应的虚拟形象。


6.根据权利要求4或5所述的方法，其特征在于，所述方法还包括：
播放所述动画素材，以对所述虚拟形象进行动作和/或表情控制。


7.根据权利要求6所述的方法，其特征在于，所述播放所述动画素材，以对所述虚拟形象进行动作和/或表情控制，包括：
根据所述动画素材的预设动画帧播放所述动画素材，以对所述虚拟形象进行动作和/或表情控制；和/或
根据所述用户的肢体动作和/或表情生成并播放所述动画素材的动画帧，以对所述虚拟形象进行动作和/或表情控制。


8.根据权利要求1所述的方法，其特征在于，还包括：
响应于用户对所述虚拟形象的控制指令，对所述虚拟形象进行相应的控制，所述控制指令包括以下至少一项：
旋转控制指令、缩小控制指令、移动控制指令、放大控制指令。


9.根据权利要求1所述的方法，其特征在于，所述基于增强现实显示技术，在所述实时场景图像中显示所述目标物体的虚拟形象，包括：
在所述实时场景图像中创建虚拟平面；
在所述虚拟平面处生成3D空间；
基于所述增强现实显示技术，在所生成的3D空间中显示所述目标物体的虚拟形象。


10.根据权利要求9所述的方法，其特征在于，所述在所述实时场景图像中创建虚拟平面，包括：
若检测到所述实时场景图像中存在目标平面区域，则基于所述目标平面区域创建所述虚拟平面，其中目标平面区域为与所述图像采集单元距离处于第一预设...

【专利技术属性】
技术研发人员：卢智雄，陈志立，张璟聪，陈子豪，
申请(专利权)人：脸萌有限公司，
类型：发明
国别省市：开曼群岛;KY