画面的虚实融合方法、存储介质和电子装置制造方法及图纸

本发明专利技术实施例提供了一种画面的虚实融合方法、存储介质和电子装置，其中，方法包括云端进行虚景的画面渲染，并对渲染画面的透明度信息进行提取和重排；云端对透明度信息重排后的渲染画面进行编码，以获得视频编码文件；云端将视频编码文件发送至终端，以便终端基于透明度信息将渲染画面中的虚景与终端中的实景相融合获得虚实融合画面。通过本发明专利技术，解决了相关技术中采用云端渲染的视频流无法与设备相机画面进行虚实融合的问题，达到了使云端渲染的视频流可以与设备相机画面进行高效的虚实融合的效果。融合的效果。融合的效果。

【技术实现步骤摘要】
画面的虚实融合方法、存储介质和电子装置


[0001]本专利技术实施例涉及计算机图形处理领域，具体而言，涉及一种画面的虚实融合方法、存储介质和电子装置。

技术介绍

[0002]现有的画面的虚实融合方法通过采用云端渲染的方案，解决了移动设备渲染资源紧缺的问题。但是云端渲染完成之后，在进行视频编码传输时，主流的H264算法因无法处理渲染后画面的透明度信息，导致视频流中无法携带透明度信息，视频流传递至终端后没有画面透明度信息，无法与设备相机画面进行虚实融合。

技术实现思路

[0003]本专利技术实施例提供了一种画面的虚实融合方法、存储介质和电子装置，以至少解决相关技术中采用云端渲染的视频流无法与设备相机画面进行虚实融合的问题。
[0004]根据本专利技术的一个实施例，提供了一种画面的虚实融合方法，包括：云端进行虚景的画面渲染，并对渲染画面的透明度信息进行提取和重排；所述云端对所述透明度信息重排后的所述渲染画面进行编码，以获得视频编码文件；所述云端将所述视频编码文件发送至终端，以便所述终端基于所述透明度信息将所述渲染画面中的虚景与所述终端中的实景相融合获得虚实融合画面。
[0005]根据本专利技术的另一个实施例，提供了一种画面的虚实融合方法，包括：终端接收来自云端的视频编码文件，其中，所述视频编码文件包括所述云端的渲染画面和所述渲染画面的透明度信息；所述终端对所述视频编码文件进行解码，获得原始图像数组和透明度数据数组；所述终端将终端相机图像与所述原始图像数组和所述透明度数据数组进行融合，获得虚实融合画面。
[0006]根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
[0007]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0008]通过本专利技术，提供了一种画面的虚实融合方法，通过云端进行虚景的画面渲染，并对渲染画面的透明度信息进行提取和重排；云端对透明度信息重排后的渲染画面进行编码，以获得视频编码文件；云端将视频编码文件发送至终端，以便终端基于透明度信息将渲染画面中的虚景与终端中的实景相融合获得虚实融合画面。解决了相关技术中采用云端渲染的视频流无法与设备相机画面进行虚实融合的问题，达到了使云端渲染的视频流可以与设备相机画面进行高效的虚实融合的效果。
附图说明
[0009]图1是相关技术中虚实融合原理示意图；
[0010]图2是相关技术中云端渲染视频编码后丢失透明度信息示例图；
[0011]图3是本专利技术实施例的一种画面的虚实融合方法的计算机终端的硬件结构框图；
[0012]图4是根据本专利技术实施例的画面的虚实融合方法的流程图；
[0013]图5是根据本专利技术另一实施例的画面的虚实融合方法的流程图；
[0014]图6是根据本专利技术实施例的画面的虚实融合装置的结构框图；
[0015]图7是根据本专利技术另一实施例的画面的虚实融合装置的结构框图；
[0016]图8是根据本专利技术另一实施例的画面的虚实融合装置的结构框图；
[0017]图9是根据本专利技术另一实施例的画面的虚实融合装置的结构框图；
[0018]图10是根据本专利技术场景实施例的云端与终端数据交互原理示意图；
[0019]图11是根据本专利技术场景实施例的透明通道传输流程原理图；
[0020]图12是根据本专利技术场景实施例的透明度数据提取和插入原理示意图。
具体实施方式
[0021]下文中将参考附图并结合实施例来详细说明本专利技术的实施例。
[0022]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0023]虚实结合即强调虚拟跟现实的融合，体现在虚实结合、实时交互和三维尺度匹配，主要通过显示技术、交互技术、传感技术和计算机图形和图像技术实现。虚实融合技术通过位姿即时定位结果来即时渲染计算机虚拟物体并叠加到计算机设备相机画面之上合成显示的一种技术，可以将计算机生成的文字、图像、三维模型等虚拟信息与真实世界相结合，是增强现实类产品的基础实现原理。图1是相关技术中虚实融合原理示意图，如图1所示，虚实融合技术在进行虚景（虚拟物体画面）和实景（相机画面）融合时，要以实景为合成底部图层，虚景为上部图层，根据上部图层中虚景的透明度信息，将透明区域丢弃，最终形成虚实融合的画面。
[0024]相关技术中，均依靠设备自身硬件来计算实时位姿并实时渲染虚拟物体，而增强现实场景的实时交互性就需要用户使用移动设备或可穿戴设备来使用，设备硬件本身需要采用轻量化设计，导致硬件性能存在瓶颈，在实时渲染某些复杂或大型虚拟物体时会因为超出硬件极限导致渲染卡顿或无法渲染的问题。
[0025]针对移动终端设备性能瓶颈问题，相关技术中又提出了增强现实场景下云渲染的方案，依赖云端的硬件渲染资源来解决移动设备渲染资源紧缺的问题，但是云端渲染完成之后，在进行视频编码传输时，主流的H264算法因无法处理渲染后画面的透明度信息，导致视频流中无法携带透明度信息，图2是相关技术中云端渲染视频编码后丢失透明度信息示例图，如图2所示，视频流传递至终端后没有画面透明度信息，无法与设备相机画面进行虚实融合。
[0026]针对上述问题，本专利技术实施例提出一种虚实融合方案，基于透明通道传输，通过设计的适配于H264的视频透明通道技术，实现了增强现实云渲染并在最终移动设备上虚实融合的方案，提升了移动设备的渲染能力。
[0027]本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在计算机终端上为例，图3是本专利技术实施例的一种画面的虚实融合方法的计算机终端的硬件结构框图。如图3所示，计算机终端可以包括一个或多个（图3中仅示出一个）处理器302（处理器302可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置）和用于存储数据的存储器304，其中，上述计算机终端还可以包括用于通信功能的传输设备306以及输入输出设备308。本领域普通技术人员可以理解，图3所示的结构仅为示意，其并不对上述计算机终端的结构造成限定。例如，计算机终端还可包括比图3中所示更多或者更少的组件，或者具有与图3所示不同的配置。
[0028]存储器304可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的画面的虚实融合方法对应的计算机程序，处理器302通过运行存储在存储器304内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器304可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器304可进一步包括相对于处理器302远程设置的存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种画面的虚实融合方法，其特征在于，包括：云端进行虚景的画面渲染，并对渲染画面的透明度信息进行提取和重排；所述云端对所述透明度信息重排后的所述渲染画面进行编码，以获得视频编码文件；所述云端将所述视频编码文件发送至终端，以便所述终端基于所述透明度信息将所述渲染画面中的虚景与所述终端中的实景相融合获得虚实融合画面。2.根据权利要求1所述的方法，其特征在于，在所述云端进行虚景的画面渲染之前，所述方法还包括：所述云端接收来自所述终端的终端位姿矩阵和终端设备信息。3.根据权利要求2所述的方法，其特征在于，其中，所述终端位姿矩阵至少包括：终端空间位置信息、终端旋转信息；所述终端设备信息至少包括：终端显示器分辨率、终端相机视场角。4.根据权利要求2所述的方法，其特征在于，所述云端进行虚景的画面渲染，包括：所述云端根据所述终端设备信息初始化所述云端的渲染相机参数，并根据所述终端位姿矩阵实时控制渲染相机的相机空间位置和相机旋转信息。5.根据权利要求1所述的方法，其特征在于，所述对渲染画面的透明度信息进行提取和重排，包括：所述云端按行提取所述渲染画面中RGBA数据的所述透明度信息，获得透明度数据数组；所述云端对所述透明度数据数组进行补齐操作，使得所述透明度数据数组的长度为终端显示器分辨率宽度的整数倍；所述云端将完成补齐操作的所述透明度数据数组拼接至所述RGBA数据的末尾。6.根据权利要求5所述的方法，其特征在于，所述云端对所述透明度数据数组进行补齐操作，包括：所述云端在所述透明度数据数组中每隔若干个透明度数据插入一个占位数据，插入完成后计算所述透明度数据数组的长度，如果所述长度不是终端显示器分辨率宽度的整数倍，则继续补充所述占位数据至所述透明度数据数组中，直至所述长度为所述终端显示器分辨率宽度的整数倍。7.一种画面的虚实融合方法，其特征在于，包括：终端接收来自云端的视频编码文件，其中，所述视频编码文件包括所述云端的渲染画面和所...

【专利技术属性】
技术研发人员：郭哲，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：