Web增强现实的渲染方法和装置制造方法及图纸

本发明专利技术实施例提供一种Web增强现实的渲染方法和装置，其中方法包括：向终端发送原生调用指令，以使得终端能够基于原生调用指令控制真实图像采集设备采集真实世界图像，将真实世界图像渲染至Web窗口，并返回真实图像采集设备的位置姿态信息；基于真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至Web窗口。本发明专利技术实施例提供的方法和装置，通过调用终端控制真实图像采集设备采集真实世界图像，渲染真实世界部分，相比通过WebRTC渲染真实世界部分的方法，能够有效简化操作流程，避免冗余操作，提高真实世界图像的渲染效率，从而解决渲染过程中真实世界部分与虚拟世界部分的不同步问题，优化用户体验。

Rendering Method and Device of Web Augmented Reality

The embodiment of the present invention provides a rendering method and device for Web augmented reality. The method includes sending native invocation instructions to the terminal to enable the terminal to control the real-world image acquisition device to collect real-world images based on the native invocation instructions, rendering the real-world images to the Web window, and returning the position and attitude information of the real-world image acquisition device based on the real-world images. The position and attitude information of the device is collected and the virtual world image is rendered to the Web window. The method and device provided by the embodiment of the invention can effectively simplify the operation process, avoid redundant operation and improve the rendering efficiency of real-world images by controlling the real-world image acquisition device to collect real-world images and render the real-world parts by calling the terminal. Thus, the real-world parts and virtual parts can be solved in the rendering process. Quasi-world part of the asynchronization problem, optimize user experience.

【技术实现步骤摘要】
Web增强现实的渲染方法和装置
本专利技术实施例涉及增强现实
，尤其涉及一种Web增强现实的渲染方法和装置。
技术介绍
移动互联技术日新月异的进步在改变人类生活方式的同时，也推动了增强现实(AugmentedReality，AR)类应用的蓬勃发展。相比移动端原生AR应用存在的封闭性、跨平台成本高、不易传播等缺点，基于Web(全球广域网)浏览器的AR应用(以下简称为WebAR应用)具有通用性、良好的跨平台特性以及易于传播特性，将Web浏览器作为AR应用的载体能够有效解决原生AR应用存在的问题。然而，WebAR应用在计算能力上与原生AR应用存在很大差距，导致很多可以在原生AR应用上实现的AR效果无法在WebAR应用上实现，于是如何提高Web浏览器在渲染AR应用时的性能显得尤为重要。AR应用的渲染通常分为真实世界部分与虚拟世界部分。现有的WebAR应用中，真实世界部分通过WebRTC(WebReal-TimeCommunication，网页实时通信)协议打开移动端设备的图像采集设备，获取真实世界的视频流，而后绘制到Web窗口当中，作为AR应用的背景。然而上述方法存在明显的缺点。真实世界的捕捉和渲染是AR应用的基础，AR应用需要对连续多帧图片进行处理。WebRTC本身是用来做实时通信的，并不适合从图像采集设备中取一帧一帧的数据进行处理。通过WebRTC技术获取到的视频流，为了获取到单帧图像，需要从视频流中截取。截取图像需要借助<canvas>标签，首先将视频流绘制在canvas上，然后将canvas导出存储为Base64的图像格式，这个过程操作冗余、耗时较长，当需要获取连续的帧图片时，会产生更大的延时。这些问题限制了基于智能终端浏览器的AR应用可以实现的效果，容易造成渲染时真实世界部分与虚拟世界部分不同步、渲染帧率较低的问题，AR体验较差。
技术实现思路
本专利技术实施例提供一种Web增强现实的渲染方法和装置，用以解决现有的Web增强现实的渲染方法存在大量冗余操作，容易造成真实世界部分与虚拟世界部分不同步的问题。第一方面，本专利技术实施例提供一种Web增强现实的渲染方法，包括：向终端发送原生调用指令，以使得所述终端能够基于所述原生调用指令控制真实图像采集设备采集真实世界图像，将所述真实世界图像渲染至Web窗口，并返回所述真实图像采集设备的位置姿态信息；基于所述真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至所述Web窗口。第二方面，本专利技术实施例提供一种Web增强现实的渲染装置，包括：真实渲染单元，用于向终端发送原生调用指令，以使得所述终端能够基于所述原生调用指令控制真实图像采集设备采集真实世界图像，将所述真实世界图像渲染至Web窗口，并返回所述真实图像采集设备的位置姿态信息；虚拟渲染单元，用于基于所述真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至所述Web窗口。第三方面，本专利技术实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如第一方面或第二方面所提供的方法的步骤。第四方面，本专利技术实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面或第二方面所提供的方法的步骤。本专利技术实施例提供的一种Web增强现实的渲染方法和装置，通过调用终端控制真实图像采集设备采集真实世界图像，渲染真实世界部分，相比通过WebRTC渲染真实世界部分的方法，能够有效简化操作流程，避免冗余操作，提高真实世界图像的渲染效率，从而解决渲染过程中真实世界部分与虚拟世界部分的不同步问题，优化用户体验。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的Web增强现实的渲染方法的流程示意图；图2为本专利技术另一实施例提供的Web增强现实的渲染方法的流程示意图；图3为本专利技术又一实施例提供的Web增强现实的渲染方法的流程示意图；图4为本专利技术实施例提供的Web增强现实的渲染装置的结构示意图；图5为本专利技术实施例提供的电子设备的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。现有的WebAR应用中，真实世界部分通过WebRTC协议打开移动端设备的图像采集设备，但是通过WebRTC获取真实世界部分，流程中存在大量冗余操作，容易造成渲染时真实世界部分与虚拟世界部分不同步的问题。为了解决这一问题，本专利技术实施例提供了一种Web增强现实的渲染方法。图1为本专利技术实施例提供的Web增强现实的渲染方法的流程示意图，如图1所示，该方法的执行主体可以是Web浏览器，还可以是基于Web浏览器的WebAR应用，该方法包括：步骤110，向终端发送原生调用指令，以使得终端能够基于原生调用指令控制真实图像采集设备采集真实世界图像，将真实世界图像渲染至Web窗口，并返回真实图像采集设备的位置姿态信息。此处，终端为装载有Web浏览器的智能设备，终端可以是智能手机、平板电脑或智能手表等，本专利技术实施例对此不作具体限定。原生调用指令用于调用终端控制真实图像采集设备采集真实世界图像，此处真实图像采集设备可以是终端自带的图像采集设备，还可以是与终端相连的外接图像采集设备。真实图像采集设备的位置姿态信息是指真实图像采集设备在采集真实世界图像时的位置姿态信息，位置姿态信息包括真实图像采集设备的位置信息和/或真实图像采集设备的姿态信息。在需要进行Web增强现实渲染时，向终端发送原生调用指令。终端在接收到原生调用指令后，通过调用原生方法控制真实图像采集设备进行拍摄，并获取真实图像采集设备采集的真实世界图像，以及真实图像采集设备在采集真实世界图像时的位置姿态信息。此处，终端调用的原生方法即基于终端操作系统执行的调用真实图像采集设备进行图像采集的方法。相比常规的WebAR应用通过WebRTC控制真实图像采集设备，本专利技术实施例中应用终端原生方法控制真实图像采集设备，能够有效简化操作流程，提高真实世界图像的获取效率。终端在采集得到真实世界图像后，直接通过原生能力将真实世界图像作为真实世界部分的一帧绘制在Web窗口。此处，Web窗口即用于显示WebAR应用的窗口。在向终端发送原生调用指令后，等待终端控制真实图像采集设备采集真实世界图像，并接收终端返回的真实图像采集设备的位置姿态信息。步骤120，基于真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至Web窗口。具体地，在得到终端返回的真实图像采集设备的位置姿态信息后，构建虚拟世界图像，并将虚拟世界图像作为虚拟世界部分的一帧绘制在Web窗口。此处，虚拟世界图像是包含有虚拟对象的图像，虚拟对象是预先本文档来自技高网...

【技术保护点】
1.一种Web增强现实的渲染方法，其特征在于，包括：向终端发送原生调用指令，以使得所述终端能够基于所述原生调用指令控制真实图像采集设备采集真实世界图像，将所述真实世界图像渲染至Web窗口，并返回所述真实图像采集设备的位置姿态信息；基于所述真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至所述Web窗口。

【技术特征摘要】
1.一种Web增强现实的渲染方法，其特征在于，包括：向终端发送原生调用指令，以使得所述终端能够基于所述原生调用指令控制真实图像采集设备采集真实世界图像，将所述真实世界图像渲染至Web窗口，并返回所述真实图像采集设备的位置姿态信息；基于所述真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至所述Web窗口。2.根据权利要求1所述的方法，其特征在于，所述基于所述真实图像采集设备的位置姿态信息，将虚拟世界图像渲染至所述Web窗口，具体包括：基于所述真实图像采集设备的位置姿态信息，对虚拟对象进行渲染，得到所述虚拟世界图像；将所述虚拟世界图像绘制在所述Web窗口中。3.根据权利要求2所述的方法，其特征在于，所述基于所述真实图像采集设备的位置姿态信息，对虚拟对象进行渲染，得到所述虚拟世界图像，具体包括：基于所述真实图像采集设备的位置姿态信息，通过WebGL渲染所述虚拟对象，得到所述虚拟世界图像，和/或向所述终端发送原生渲染指令，以使得所述终端能够在接收到所述原生渲染指令后渲染所述虚拟对象，得到并返回所述虚拟世界图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述真实图像采集设备的位置姿态信息，通过WebGL渲染所述虚拟对象，得到所述虚拟世界图像，和/或向所述终端发送原生渲染指令，以使得所述终端能够在接收到所述原生渲染指令后渲染所述虚拟对象，得到并返回所述虚拟世界图像，具体包括：基于所述真实图像采集设备的位置姿态信息，通过WebGL渲染第一虚拟对象，得到第一虚拟世界图像；向所述终端发送原生渲染指令，以使得所述终端能够在接收到所述原生渲染指令后，基于所述真实图像采集设备的位置姿态信息，渲染第二虚拟对象，得到第二虚拟世界图像并返回；叠加所述第一虚拟世界图像和所述第二虚拟世界图像，得到所述虚拟世界图像。5.根据权利要求2所述的方法，其特征在于，所述基于所述真实图像采集设备的位置姿态信息，对虚拟对象进行渲染，得到所述虚拟世界图像，具体包括：基于所述真实图像采集设备的位置姿态信息，更新虚拟图像采集设备的位置...

【专利技术属性】
技术研发人员：商彦磊，乔秀全，李丹，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11