基于AR的互动方法、装置及电子设备制造方法及图纸

本说明书一个或多个实施例提供一种基于AR的互动方法、装置及电子设备，应用于客户端；客户端搭载了图形引擎和渲染引擎；渲染引擎与AR引擎对接；AR引擎为跨平台的AR引擎；渲染引擎包括与AR引擎支持的代码对应的解析器；渲染引擎提供了用于对AR引擎支持的代码进行解析的第一API接口；该方法包括：获取用户提交的与基于AR引擎支持的代码的互动场景对应的互动请求；图形引擎调用渲染引擎提供的第一API接口，对互动场景进行解析，以确定互动场景中的显示对象，并对显示对象进行三维建模，得到与显示对象对应的三维模型；渲染引擎调用AR引擎，将三维模型融合到客户端拍摄到的实景画面中进行增强显示，以输出互动场景。以输出互动场景。以输出互动场景。

Ar based interactive method, device and electronic equipment

【技术实现步骤摘要】
基于AR的互动方法、装置及电子设备


[0001]本说明书一个或多个实施例涉及计算机应用
，尤其涉及一种基于AR的互动方法、装置及电子设备。

技术介绍

[0002]增强现实(Augmented Reality，简称AR)技术是一种将虚拟世界和现实环境叠加至同一个影像画面或空间的技术。
[0003]随着计算机技术的发展，以及数字媒体技术的日趋成熟，AR技术已经逐渐应用于游戏互动、智能运动、媒体展览、舞台表演等众多场景。通过应用计算机视觉处理技术和多媒体投影显示技术，AR技术可以为参与体验者营造出一种动态的、逼真的互动体验。通过参与者的肢体动作与投影图像进行互动，AR系统可以产生各种特殊效果，让体验者进入一个虚拟与现实相融合、似真似幻的奇妙世界。

技术实现思路

[0004]本说明书一个或多个实施例提供技术方案如下：
[0005]本说明书提供一种基于AR的互动方法，应用于客户端；所述客户端搭载了图形引擎和渲染引擎；所述渲染引擎与AR引擎对接；所述AR引擎为跨平台的AR引擎；所述渲染引擎包括与所述AR引擎支持的代码对应的解析器；所述渲染引擎提供了用于对所述AR引擎支持的代码进行解析的第一API接口；所述方法包括：
[0006]获取用户提交的与基于所述AR引擎支持的代码的互动场景对应的互动请求；
[0007]所述图形引擎调用所述渲染引擎提供的所述第一API接口，对所述互动场景进行解析，以确定所述互动场景中的显示对象，并对所述显示对象进行三维建模，得到与所述显示对象对应的三维模型；
[0008]所述渲染引擎调用所述AR引擎，将所述三维模型融合到所述客户端拍摄到的实景画面中进行增强显示，以输出所述互动场景。
[0009]本说明书还提供一种基于AR的互动装置，应用于客户端；所述客户端搭载了图形引擎和渲染引擎；所述渲染引擎与AR引擎对接；所述AR引擎为跨平台的AR引擎；所述渲染引擎包括与所述AR引擎支持的代码对应的解析器；所述渲染引擎提供了用于对所述AR引擎支持的代码进行解析的第一API接口；所述装置包括：
[0010]获取模块，获取用户提交的与基于所述AR引擎支持的代码的互动场景对应的互动请求；
[0011]第一调用模块，所述图形引擎调用所述渲染引擎提供的所述第一API接口，对所述互动场景进行解析，以确定所述互动场景中的显示对象，并对所述显示对象进行三维建模，得到与所述显示对象对应的三维模型；
[0012]第二调用模块，所述渲染引擎调用所述AR引擎，将所述三维模型融合到所述客户端拍摄到的实景画面中进行增强显示，以输出所述互动场景。
[0013]本说明书还提供一种电子设备，包括：
[0014]处理器；
[0015]用于存储处理器可执行指令的存储器；
[0016]其中，所述处理器通过运行所述可执行指令以实现如上述任一项所述方法的步骤。
[0017]本说明书还提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如上述任一项所述方法的步骤。
[0018]在上述技术方案中，可以在搭载了图形引擎和渲染引擎的客户端获取到用户提交的与基于AR引擎支持的代码的互动场景对应的互动请求的情况下，先由该图形引擎调用该渲染引擎提供的用于对该AR引擎支持的代码进行解析的API接口，对该互动场景进行解析，确定该互动场景中的显示对象，并对该显示对象进行三维重建，得到与该显示对象对应的三维模型，再由该渲染引擎调用与其对接的AR引擎，将该三维模型融合到该客户端拍摄到的实景画面中进行增强显示。
[0019]采用上述方式，由于客户端搭载的渲染模型可以包括与AR引擎支持的代码对应的解析器，使得该渲染模型既可以与客户端搭载的图形模型在native代码层进行交互，又可以调用与其对接的编程语言与native代码所采用的编程语言不同的AR引擎，因此可以采用AR引擎支持的代码来开发基于AR的互动场景，而不会影响客户端的native代码，从而可以提高代码的适用性和扩展性，降低代码的开发成本。此外，AR引擎可以直接利用对互动场景中的显示对象进行三维重建得到的三维模型，融合到实景画面中进行增强显示，可以降低AR引擎的开发成本，并提升AR引擎的性能。
附图说明
[0020]图1是本说明书一示例性实施例示出的一种基于AR的互动系统的硬件架构图。
[0021]图2是本说明书一示例性实施例示出的一种活动界面的示意图。
[0022]图3是本说明书一示例性实施例示出的一种互动界面的示意图。
[0023]图4是本说明书一示例性实施例示出的一种二维标识的示意图。
[0024]图5是本说明书一示例性实施例示出的一种三维标识的示意图。
[0025]图6是本说明书一示例性实施例示出的一种基于AR的互动方法的示意图。
[0026]图7A是本说明书一示例性实施例示出的一种基于AR的互动系统的软件架构图。
[0027]图7B是本说明书一示例性实施例示出的另一种基于AR的互动系统的软件架构图。
[0028]图8是本说明书一示例性实施例示出的一种基于AR的互动装置所在电子设备的硬件结构图。
[0029]图9是本说明书一示例性实施例示出的一种基于AR的互动装置的框图。
具体实施方式
[0030]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相
一致的装置和方法的例子。
[0031]需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
[0032]随着网络技术的发展，出现了多种多样的虚拟资源的分配方式。
[0033]以“红包”形式的虚拟资源的分配为例，用户可以将电子贺卡、礼金等放入“红包”中，并设定“红包”的领取权限。用户可将红包发放至另一用户，或者发放至群组内，当另一用户或者群组内的成员获取到领取权限时可领取该“红包”。
[0034]在实际应用中，除了可以由用户配置一定数量的虚拟资源(例如：包括一定金额的礼金的虚拟红包)，并将配置的该虚拟资源发放给其他用户之外，还可以预先在服务端中配置包括一定数量的虚拟资源的虚拟资源集合(例如：包括一定金额的奖金的虚拟红包池)，由服务端从该虚拟资源集合中为用户分配虚拟资源。
[0035]在一些虚拟资源的分配场景下，用户可以收集多种类别的电子凭证。用户可以在收集到的电子凭证的类别数达到预设阈值的情况下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR的互动方法，应用于客户端；所述客户端搭载了图形引擎和渲染引擎；所述渲染引擎与AR引擎对接；所述AR引擎为跨平台的AR引擎；所述渲染引擎包括与所述AR引擎支持的代码对应的解析器；所述渲染引擎提供了用于对所述AR引擎支持的代码进行解析的第一API接口；所述方法包括：获取用户提交的与基于所述AR引擎支持的代码的互动场景对应的互动请求；所述图形引擎调用所述渲染引擎提供的所述第一API接口，对所述互动场景进行解析，以确定所述互动场景中的显示对象，并对所述显示对象进行三维建模，得到与所述显示对象对应的三维模型；所述渲染引擎调用所述AR引擎，将所述三维模型融合到所述客户端拍摄到的实景画面中进行增强显示，以输出所述互动场景。2.根据权利要求1所述的方法，所述图像处理引擎包括图形引擎，以及内置在所述图形引擎中的渲染引擎容器。3.根据权利要求1所述的方法，所述渲染引擎为支持JavaScript编程语言的渲染引擎；所述AR引擎为基于JavaScript编程语言的AR引擎。4.根据权利要求3所述的方法，所述图形引擎包括Oasis引擎；所述渲染引擎包括支持JavaScript编程语言的Paladin引擎，或者内置在所述Oasis引擎中的Paladin引擎容器；所述AR引擎包括基于JavaScript编程语言的ARSession引擎。5.根据权利要求1所述的方法，所述渲染引擎还提供了用于获取所述显示对象的建模数据的第二API接口；所述图形引擎提供了用于进行三维建模的第三API接口；所述对所述显示对象进行三维建模，得到与所述显示对象对应的三维模型，包括：所述图形引擎调用所述渲染引擎提供的所述第二API接口，获取与所述显示对象对应的用于进行三维建模的建模数据；调用所述图形引擎提供的所述第三API接口，基于所述建模数据进行三维建模，得到与所述显示对象对应的三维模型。6.根据权利要求5所述的方法，所述获取与所述显示对象对应的用于进行三维建模的建模数据，包括：获取所述显示对象的纹理信息，将所述纹理信息处理成矢量图数据，并对所述矢量图数据进行拉伸变换以生成Mesh数据；所述基于所述建模数据进行三维建模，包括：基于所述Mesh数据进行三维建模。7.根据权利要求1所述的方法，所述AR引擎提供了用于对所述客户端拍摄到...

【专利技术属性】
技术研发人员：邓文博，敖文兵，李健，刘宗明，张敏，王飞，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：