图像处理方法及装置、电子装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法，用于电子装置。图像处理方法包括：以预设频率采集多帧当前用户的场景图像及深度图像，处理每帧场景图像和每帧深度图像以提取当前用户的动作信息，根据动作信息渲染预定三维前景图像以使每帧预定三维前景图像跟随当前用户的动作，以及将每帧渲染后的预定三维前景图像和预定二维背景图像融合得到多帧合并图像以输出视频图像。本发明专利技术还公开一种图像处理装置、电子装置和计算机可读存储介质。本发明专利技术实施方式的图像处理方法及装置、电子装置和计算机可读存储介质将能够跟随当前用户的动作信息的预定三维前景图像与预定二维背景图像进行融合可得到多帧合并图像，还可形成视频图像，如此可增加图像融合的趣味性。

Image processing methods and devices, electronic devices and computer readable storage media

【技术实现步骤摘要】
图像处理方法及装置、电子装置和计算机可读存储介质
本专利技术涉及图像处理
，特别涉及一种图像处理方法及装置、电子装置和计算机可读存储介质。
技术介绍
现有的图像融合通常是将用户的人像与背景图像进行融合，但此种融合方式的趣味性较低。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。本专利技术实施方式的图像处理方法用于电子装置，所述图像处理方法包括：以预设频率采集多帧当前用户的场景图像；以所述预设频率采集多帧所述当前用户的深度图像；处理每帧所述场景图像和每帧所述深度图像以提取所述当前用户的动作信息；根据所述动作信息渲染预定三维前景图像以使每帧所述预定三维前景图像跟随所述当前用户的动作；和将每帧渲染后的所述预定三维前景图像与所述预定二维背景图像融合得到多帧合并图像以输出视频图像。本专利技术实施方式的图像处理装置用于电子装置，所述图像处理装置包括可见光摄像头、深度图像采集组件和处理器。所述可见光摄像头用于以预设频率采集多帧当前用户的场景图像；所述深度图像采集组件用于以所述预设频率采集多帧所述当前用户的深度图像；所述处理器用于处理每帧所述场景图像和每帧所述深度图像以提取所述当前用户的动作信息，根据所述动作信息渲染预定三维前景图像以使每帧所述预定三维前景图像跟随所述当前用户的动作，以及将每帧渲染后的所述预定三维前景图像与所述预定二维背景图像融合得到多帧合并图像以输出视频图像。本专利技术实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的图像处理方法的指令。本专利技术实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。本专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质将能够跟随模仿当前用户的动作信息的预定三维前景图像与预定二维背景图像进行融合，得到多帧合并图像，多帧合并图像还可形成视频图像输出。如此，可增加图像融合的趣味性，提升用户的使用体验。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术某些实施方式的图像处理方法的流程示意图。图2是本专利技术某些实施方式的电子装置的结构示意图。图3是本专利技术某些实施方式的图像处理装置的示意图。图4是本专利技术某些实施方式的图像处理方法的流程示意图。图5是本专利技术某些实施方式的图像处理方法的流程示意图。图6(a)至图6(e)是根据本专利技术一个实施例的结构光测量的场景示意图。图7(a)和图7(b)是根据本专利技术一个实施例的结构光测量的场景示意图。图8是本专利技术某些实施方式的图像处理方法的流程示意图。图9是本专利技术某些实施方式的图像处理方法的流程示意图。图10是本专利技术某些实施方式的图像处理方法的流程示意图。图11是本专利技术某些实施方式的图像处理装置的示意图。图12是本专利技术某些实施方式的电子装置的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请一并参阅图1至2，本专利技术实施方式的图像处理方法用于电子装置1000。图像处理方法包括：01：以预设频率采集多帧当前用户的场景图像；03：以预设频率采集多帧当前用户的深度图像；05：处理每帧场景图像和每帧深度图像以提取当前用户的动作信息；07：根据动作信息渲染预定三维前景图像以使每帧预定三维前景图像跟随当前用户的动作；和08：将每帧渲染后的预定三维前景图像和预定二维背景图像融合得到多帧合并图像以输出视频图像。请一并参阅图2和图3，本专利技术实施方式的图像处理方法可以由本专利技术实施方式的图像处理装置100实现。本专利技术实施方式的图像处理装置100用于电子装置1000。图像处理装置100包括可见光摄像头11、深度图像采集组件12和处理器20。步骤01可以由可见光摄像头11实现，步骤03可以由深度图像采集组件12实现，步骤05、步骤07和步骤08可以由处理器20实现。也即是说，可见光摄像头11可用于以预设频率采集多帧当前用户的场景图像；深度图像采集组件12可用于以预设频率采集多帧当前用户的深度图像；处理器20可用于处理每帧场景图像和每帧深度图像以提取当前用户的动作信息，根据动作信息渲染预定三维前景图像以使每帧预定三维前景图像跟随当前用户的动作，以及将每帧渲染后的预定三维前景图像和预定二维背景图像融合得到多帧合并图像以输出视频图像。其中，预设频率指的是可见光摄像头11和深度图像采集组件12每秒钟采集图像的帧率，帧率的取值可以是每秒钟30帧、每秒钟60帧、每秒钟120帧等。帧率越高，视频图像越流畅。可见光摄像头11采集的场景图像是灰度图像或彩色图像，深度图像采集组件12采集的深度图像表征包含当前用户的场景中各个人或物体的深度信息。在本专利技术的具体实施例中，可见光摄像头11和深度图像采集组件12应采用同一预设频率进行图像采集，如此，多帧场景图像与多帧深度图像一一对应，则处理器20处理每帧场景图像及对应的深度图像后得到的动作信息可渲染一帧对应的预定三维前景图像，从而便于步骤08中对每帧预定三维前景图像与预定二维背景图像的融合处理。另外，场景图像的场景范围与深度图像的场景范围一致，且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。在某些实施方式中，预定三维前景图像包括三维的虚拟人物、三维的真实人物、三维的动植物中的至少一种。三维的真实人物排除当前用户自身。其中，三维的虚拟人物可以是三维的动画人物，例如马里奥、柯南、大头儿子、蜡笔小新等；三维的真实人物可以是三维图像的著名人物，例如奥黛丽·赫本、憨豆先生、哈利波特等，三维的动植物可以是三维动画的动物或植物，例如米老鼠、唐老鸭、豌豆射手等。本专利技术实施方式的图像处理装置100可以应用于本专利技术实施方式的电子装置1000。也即是说，本专利技术实施方式的电子装置1000包括本专利技术实施方式的图像处理装置100。在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。在某些实施方式中，预定三维前景图像可以由处理器20随机选取，或者由当前用户自行选定。本专利技术实施方式的图像处理方法、图像处理装置100和电子装置1000将能够跟随模仿当前用户的动作信息的预定三维前景图像与预定二维背景图像进行融合，得到多帧合并图像，多帧合并图像还可形成视频图像输出。如此，可增加图像融合的趣味性，提升用户的使用体验。此外，由于合并图像中不包含用户的实际人像，因此可在一定程度上保护用户的隐私。请参阅图4，在某些实施方式中，步骤03以预设频率采集多帧当前用户的深度图像包括：031：向当前用户投射结构光；032：以预设频率拍摄多帧经当前用户调制的结构光图像；和033：解调每帧结构光图像的各个像素对应的相位信息以得到多本文档来自技高网...

【技术保护点】
一种图像处理方法，用于电子装置，其特征在于，所述图像处理方法包括：以预设频率采集多帧当前用户的场景图像；以所述预设频率采集多帧所述当前用户的深度图像；处理每帧所述场景图像和每帧所述深度图像以提取所述当前用户的动作信息；根据所述动作信息渲染预定三维前景图像以使每帧所述预定三维前景图像跟随所述当前用户的动作；和将每帧渲染后的所述预定三维前景图像与所述预定二维背景图像融合得到多帧合并图像以输出视频图像。

【技术特征摘要】
1.一种图像处理方法，用于电子装置，其特征在于，所述图像处理方法包括：以预设频率采集多帧当前用户的场景图像；以所述预设频率采集多帧所述当前用户的深度图像；处理每帧所述场景图像和每帧所述深度图像以提取所述当前用户的动作信息；根据所述动作信息渲染预定三维前景图像以使每帧所述预定三维前景图像跟随所述当前用户的动作；和将每帧渲染后的所述预定三维前景图像与所述预定二维背景图像融合得到多帧合并图像以输出视频图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：采集所述当前用户的声音信息；和将所述视频图像与所述声音信息融合以输出有声视频。3.根据权利要求1所述的图像处理方法，其特征在于，所述以所述预设频率采集多帧所述当前用户的深度图像的步骤包括：向所述当前用户投射结构光；以所述预设频率拍摄多帧经所述当前用户调制的结构光图像；和解调每帧所述结构光图像的各个像素对应的相位信息以得到多帧所述深度图像。4.根据权利要求3所述的图像处理方法，其特征在于，所述解调每帧所述结构光图像的各个像素对应的相位信息以得到多帧所述深度图像的步骤包括：解调每帧所述结构光图像中各个像素对应的相位信息；将所述相位信息转化为深度信息；和根据所述深度信息生成所述深度图像。5.根据权利要求1所述的图像处理方法，其特征在于，所述预定三维前景图像包括三维的虚拟人物、三维的真实人物、三维的动植物中的至少一种，所述三维的真实人物排除了所述当前用户自身。6.根据权利要求1所述的图像处理方法，其特征在于，所述动作信息包括所述当前用户的表情和肢体动作中的至少一种，所述预定二维背景图像能够随机选取或由所述当前用户选定。7.一种图像处理装置，用于电子装置，其特征在于，所述图像处理装置包括：可见光摄像头，所述可见光摄像头用于以预设频率采集多帧当前用户的场景图像；深度图像采集组件，所述深度图像采集组件用于以所述预设频率采集多帧所述当前用户的深度图像；和处理器，所述处理器用于：处理每帧所述场景图像和每帧所...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44