基于增强现实的互动方法及装置制造方法及图纸

本说明书提出了一种基于增强现实的互动方法，包括：在扫描到的实景画面中增强显示虚拟互动对象；响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，并基于所述互动图像序列生成与所述虚拟互动形象的互动记录。

【技术实现步骤摘要】
基于增强现实的互动方法及装置
本申请涉及增强现实领域，尤其涉及一种基于增强现实的互动方法及装置。
技术介绍
AR(AugmentedReality，增强现实)技术，是一种通过实时扫描真实环境获取实景画面，并在实景画面上叠加相应的虚拟数据(比如图像、视频、3D模型等)，进而对虚拟世界与现实世界进行融合的技术。由于在实景画面上叠加虚拟数据，可以对实景画面的展示效果进行增强，因此通过引入AR技术，能够面向用户提供一个全新的交互体验。
技术实现思路
本说明书提出一种基于增强现实的互动方法，所述方法包括：在扫描到的实景画面中增强显示虚拟互动对象；响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，并基于所述互动图像序列生成与所述虚拟互动形象的互动记录。本说明书还提出一种基于增强现实的互动装置，所述装置包括：显示模块，在扫描到的实景画面中增强显示虚拟互动对象；获取模块，响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；融合模块，将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列；生成模块，基于所述互动图像序列生成与所述虚拟互动形象的互动记录。本说明书还提出一种电子设备，所述电子设备包括：处理器；用于存储机器可执行指令的存储器；其中，通过读取并执行所述存储器存储的与基于增强现实的互动逻辑对应的机器可执行指令，所述处理器被促使：在扫描到的实景画面中增强显示虚拟互动对象；响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，并基于所述互动图像序列生成与所述虚拟互动形象的互动记录。在以上技术方案中，一方面，由于在实景画面中增强显示虚拟互动对象，可以将虚拟互动形象融入到实景画面中与用户进行互动；因此，可以提升用户与虚拟互动对象进行互动的真实感；另一方面，由于用户发起的与虚拟互动对象的互动操作，会触发将虚拟互动对象的互动动作对应的动作图像序列与实景画面进行渲染融合，并根据渲染融合结果来生成互动记录；因此，对于用户而言，发起的与虚拟互动对象的互动操作，最终会影响生成的互动记录所记录的内容，使得用户可以通过发起不同形式的互动操作，来触发将虚拟互动形象的多样化的互动动作与实景画面进行融合，来生成内容丰富的互动记录。附图说明图1是一示例性实施例提供的一种基于基于增强现实的互动方法的流程图。图2是一示例性实施例提供的一种在实景画面中增强显示虚拟交互对象的示意图。图3是一示例性实施例提供的一种与虚拟互动对象进行合影互动的示意图。图4是一示例性实施例提供的一种与虚拟互动对象进行能力提升互动的示意图。图5是一示例性实施例提供的一种装饰虚拟互动对象的示意图。图6是一示例性实施例提供的一种查看虚拟互动对象的能力等级的示意图。图7是一示例性实施例提供的一种查看与虚拟互动对象的交互记录的示意图。图8是一示例性实施例提供的一种基于增强现实的交互装置的框图。图9是一示例性实施例提供的一种电子设备的结构示意图。具体实施方式本说明书旨在提出了一种用户通过与在实景画面中增强显示的虚拟互动对象进行互动，来触发将虚拟互动对象的互动动作对应的动作图像序列与实景画面进行渲染融合后，生成互动记录的交互模式。在实现时，用户可以通过AR客户端对所处的真实环境进行图像扫描；而AR客户端可以响应用户发起的在实景画面中显示虚拟互动对象的操作，在扫描到的实景画面中增强显示预设的虚拟互动对象；例如，在实际应用中，上述虚拟互动对象具体可以是一个能够做出各种互动动作与用户进行互动的动态虚拟形象(比如，动态3D卡通形象)；而在扫描到的实景画面中，可以提供一个与上述虚拟互动对象对应的“召唤”按钮，用户可以通过诸如点击等方式来操作该“召唤”按钮，触发AR客户端在实景画面中相对的位置上来增强显示上述虚拟互动对象。当AR客户端在实景画面中增强显示了上述虚拟互动对象之后，用户可以通过发起相应的互动操作，与该虚拟互动对象进行互动；而AR客户端在检测到用户发起的互动操作后，可以响应用户发起的与上述虚拟互动对象的互动操作，获取与该虚拟互动对象的互动动作对应的动作图像序列(比如，动作动画)，并将获取到的动作图像序列与上述实景画面进行渲染融合生成互动图像序列；然后，可以基于生成的互动图像序列，来进一步生成与上述虚拟互动形象的互动记录。在以上技术方案中，使得用户通过与在实景画面中增强显示的虚拟互动对象进行互动，就可以触发将虚拟互动对象的互动动作对应的动作图像序列与实景画面进行渲染融合，并基于渲染融合生成的互动图像序列，来进一步生成互动记录；一方面，由于在实景画面中增强显示虚拟互动对象，可以将虚拟互动形象融入到实景画面中与用户进行互动；因此，可以提升用户与虚拟互动对象进行互动的真实感；另一方面，由于用户发起的与虚拟互动对象的互动操作，会触发将虚拟互动对象的互动动作对应的动作图像序列与实景画面进行渲染融合，并根据渲染融合结果来生成互动记录；因此，对于用户而言，发起的与虚拟互动对象的互动操作，最终会影响生成的互动记录所记录的内容，使得用户可以通过发起不同形式的互动操作，来触发将虚拟互动形象的多样化的互动动作与实景画面进行融合，来生成内容丰富的互动记录。下面通过具体实施例并结合具体的应用场景对本申请进行描述。请参考图1，图1是本申请一实施例提供的一种基于基于增强现实的互动方法，应用于AR客户端，所述方法执行以下步骤：步骤102，在扫描到的实景画面中增强显示虚拟互动对象；步骤104，响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；步骤106，将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列；步骤108，基于所述互动图像序列生成与所述虚拟互动形象的互动记录。上述AR客户端，包括基于AR技术开发的，或者集成了AR功能的客户端软件；例如，上述AR客户端，可以是集成了AR服务功能的APP应用；上述AR客户端可以通过搭载的图像扫描功能，对用户所处的真实环境进行图像扫描，来获取实景画面；以及，通过上述AR客户端搭载的AR引擎，对后台的AR服务端推送的虚拟数据(比如需要在实景画面中增强显示的图像序列)进行可视化渲染，将其与实景画面进行叠加融合，以完成上述虚拟数据在实景画面中的增强显示。上述AR服务端，包括面向上述AR客户端提供服务的服务器、服务器集群或者基于服务器集群构建的分布式服务平台；例如，上述AR服务端，可以是面向集成了AR功能的APP提供对接服务的分布式平台；上述AR服务端可以对需要在AR客户端扫描到的实景画面中增强显示的虚拟数据进行内容管理，并向上述AR客户端推送需要在实景画面中增强显示的虚拟数据。上述虚拟互动对象，包括能够做出多样化的互动动作与用户进行互动的，任意形态的动态虚拟形象；例如，能够做出各种互动动作的动态3D卡通形象。需要说明的是，虚拟互动对象能够做出的互动动作，可以由AR客户端的运营方、或者向上述运营方提供服务的第三方ISV(Independent本文档来自技高网...

【技术保护点】
1.一种基于增强现实的互动方法，所述方法包括：在扫描到的实景画面中增强显示虚拟互动对象；响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，并基于所述互动图像序列生成与所述虚拟互动形象的互动记录。

【技术特征摘要】
1.一种基于增强现实的互动方法，所述方法包括：在扫描到的实景画面中增强显示虚拟互动对象；响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列；将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，并基于所述互动图像序列生成与所述虚拟互动形象的互动记录。2.根据权利要求1所述的方法，所述响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列，包括：响应于用户发起的与所述虚拟互动形象的互动操作，获取所述虚拟互动对象当前展示的互动动作对应的动作图像序列。3.根据权利要求1所述的方法，所述虚拟互动对象包括多个类别的能力属性；其中，各个类别的能力属性被划分了若干属性等级；属性等级提升时会触发解锁新的互动动作；所述响应于用户发起的与所述虚拟互动形象的互动操作，获取与所述虚拟互动对象的互动动作对应的动作图像序列，包括：响应于用户发起的与所述虚拟互动形象的互动操作，确定所述互动操作是否触发了对应于所述能力属性的等级提升事件；如果所述互动操作触发了对应于所述能力属性的等级提升事件，获取与解锁的互动动作对应的动作图像序列。4.根据权利要求3所述的方法，所述互动操作包括针对所述实景画面中的目标物品进行图像识别的操作；各个类别的能力属性分别关联了用于提升能力属性的物品；所述方法还包括：响应于用户发起的与所述虚拟互动形象的互动操作，针对所述实景画面中的目标物品进行图像识别；基于所述图像识别的结果确定所述目标物品是否匹配与所述虚拟互动对象的各个类别的能力属性关联的物品；如果所述目标物品匹配与任一类别的能力属性关联的物品，基于第一预设幅度提升该类别的能力属性对应的属性值。5.根据权利要求4所述的方法，所述方法还包括：如果所述目标物品与各个类别的能力属性关联的物品均不匹配，基于第二预设幅度分别提升各个类别的能力属性对应的属性值；其中，所述第二预设幅度低于所述第一预设幅度。6.根据权利要求5所述的方法，还包括：基于所述图像识别的结果确定所述目标物品是否为指定物品；其中，所述指定物品关联了与所述虚拟互动对象相关的装饰元素；如果所述目标物品为所述指定物品，获取所述指定物品关联的装饰元素，并将该装饰元素添加至与所述虚拟互动对象相关的装饰元素列表，以由用户基于所述装饰元素列表中的装饰元素为所述虚拟互动对象设置装饰元素。7.根据权利要求5所述的方法，所述方法还包括：针对各个类别的能力属性对应的属性值进行加权计算，得到所述虚拟互动形象的能力值；基于所述能力值计算对应于所述虚拟互动形象的能力等级；以及，将计算出的能力等级在所述实景画面中向用户输出。8.根据权利要求7所述的方法，所述等级提升事件包括：所述能力属性的属性等级的提升事件；和/或，所述能力等级的提升事件；所述确定所述互动操作是否触发了对应于所述能力属性的等级提升事件，包括：确定提升后的属性值是否触发了所述能力属性的属性等级的提升；和/或，确定提升后的属性值是否触发了所述能力等级的提升。9.根据权利要求8所述的方法，所述获取解锁的互动动作对应的动作图像序列，包括：确定各个类别的能力属性中，属性等级提升的目标能力属性；如果各个类别的能力属性中，包括属性等级提升的唯一能力属性，将该能力属性确定为目标能力属性；如果各个类别的能力属性中，包括属性等级提升的多个能力属性，将该多个能力属性中属性值最高的能力属性确定为所述目标能力属性；获取所述目标能力属性的属性等级提升时解锁的互动动作对应的动作序列图像。10.根据权利要求8所述的方法，所述获取解锁的互动动作对应的动作图像序列，包括：确定各个类别的能力属性中，当前的属性等级与所述能力等级相同的目标能力属性；如果各个类别的能力属性中，包括当前的属性等级与所述能力等级相同的唯一能力属性，将该能力属性确定为所述目标能力属性；如果各个类别的能力属性中，包括当前的属性等级与所述能力等级相同的多个能力属性时，将所述多个能力属性中属性值最高的能力属性确定为所述目标能力属性；获取所述目标能力属性在提升至当前的属性等级时解锁的互动动作对应的动作序列图像。11.根据权利要求1所述的方法，所述将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，包括：获取用户为所述虚拟互动对象设置的装饰元素；将用户设置的装饰元素在所述动作图像序列中预设的位置上进行增强显示，以生成对应于所述虚拟互动对象的动态虚拟形象；将所述动态虚拟形象与所述实景画面进行渲染融合，生成对应于所述动态虚拟形象的互动图像序列。12.根据权利要求1所述的方法，所述将获取到的动作图像序列与所述实景画面进行渲染融合，生成互动图像序列，包括：对预设的装饰元素集合中的装饰元素进行排列组合生成若干种装饰元素搭配；将生成的所述若干种装饰元素搭配分别在所述动态图像序列中预设的位置上进行增强显示，以生成对应于所述虚拟互动对象的若干种虚拟形象；将所述若干种虚拟形象分别与所述实景画面进行渲染融合，生成对应于所述若干种虚拟形象的互动图像序列。13.根据权利要求12所述的方法，所述基于所述互动图像序列生成与所述虚拟互动形象的互动记录，包括：从对应于所述若干种虚拟形象的互动图像序列中，获取与所述虚拟互动对象当前的虚拟形象对应的互动图像序列；基于获取到的互动图像序列生成与所述虚拟互动形象的互动记录。14.根据权利要求13所述的方法，还包括：获取用户为所述虚拟互动对象更新的装饰元素；将用户更新的装饰元素在所述动作图像序列中预设的位置上增强显示，以更新所述虚拟互动对象的虚拟形象；以及，从对应于所述若干种虚拟形象的互动图像序列中，获取与所述更新后的虚拟形象对应的互动图像序列，并基于获取到的所述互动图像序列对所述互动记录中的互动图像序列进行同步更新。15.一种基于增强现实的互动装置，所述装置包括：显示模块，在扫描到的...

【专利技术属性】
技术研发人员：吴瑾，段青龙，季婧，吴承军，程佳慧，王亚迪，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY