图像处理方法及装置、电子装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法，用于电子装置。图像处理方法包括：获取当前用户的二维的场景图像；获取当前用户的深度图像；处理场景图像和深度图像以分割场景图像中的人物区域及除却人物区域以外的背景区域以获得背景区域图像；和将预定三维图像与背景区域图像融合以得到合并图像。本发明专利技术还公开了一种图像处理装置、电子装置和计算机可读存储介质。本发明专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质通过深度信息分割人物和背景，使得分割出的人物区域和背景区域更加准确，并将分割得到的背景区域图像与预定三维图像融合得到合并图像，由预定三维图像替换当前用户在场景图像中的图像，提升用户的使用体验。

Image processing methods and devices, electronic devices and computer readable storage media

The invention discloses an image processing method, which is used in an electronic device. The image processing method comprises: a two-dimensional scene image of the current user; the depth image of the current user; to separate the background area away from the scene image characters in regional and regional characters except to obtain the background image processing scene images and depth images; and the predetermined three-dimensional image and background image fusion to get the combined image. The invention also discloses an image processing device, an electronic device and a computer readable storage medium. The embodiment of the invention processing method, image processing apparatus, electronic apparatus and computer readable storage medium through the depth information of characters and background image segmentation methods, the characters and background region segmentation more accurately and the background of the image and pre and segmented 3D image fusion image with fixed image, in the image in the scene the current user is replaced by a predetermined three-dimensional image, enhance the user experience.

【技术实现步骤摘要】
图像处理方法及装置、电子装置和计算机可读存储介质
本专利技术涉及图像处理
，特别涉及一种图像处理方法及装置、电子装置和计算机可读存储介质。
技术介绍
现有的图像融合通常是将用户的人像与背景图像进行融合，但此种融合方式的趣味性较低。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。本专利技术实施方式的图像处理方法用于电子装置，所述图像处理方法包括：获取当前用户的二维的场景图像；获取当前用户的深度图像；处理所述场景图像和所述深度图像以分割所述场景图像中的人物区域及除却所述人物区域以外的背景区域以获得背景区域图像；和将预定三维图像与所述背景区域图像融合以得到合并图像。本专利技术实施方式的图像处理装置用于电子装置，所述图像处理装置包括可见光摄像头、深度图像采集组件和处理器。所述可见光摄像头用于获取当前用户的二维的场景图像。所述深度图像采集组件用于获取当前用户的深度图像。所述处理器用于处理所述场景图像和所述深度图像以分割所述场景图像中的人物区域及除却所述人物区域以外的背景区域以获得背景区域图像，以及将预定三维图像与所述背景区域图像融合以得到合并图像。本专利技术实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的图像处理方法的指令。本专利技术实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。本专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质通过深度信息分割人物和背景，使得分割出的人物区域和背景区域更加准确，并将分割得到的背景区域图像与预定三维图像融合得到合并图像，由预定三维图像替换当前用户在场景图像中的图像(即，人物区域)，趣味性较高，提升用户的使用体验。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术某些实施方式的图像处理方法的流程示意图。图2是本专利技术某些实施方式的电子装置的结构示意图。图3是本专利技术某些实施方式的图像处理装置的示意图。图4是本专利技术某些实施方式的图像处理方法的流程示意图。图5是本专利技术某些实施方式的图像处理方法的流程示意图。图6(a)至图6(e)是根据本专利技术一个实施例的结构光测量的场景示意图。图7(a)和图7(b)是根据本专利技术一个实施例的结构光测量的场景示意图。图8是本专利技术某些实施方式的图像处理方法的流程示意图。图9是本专利技术某些实施方式的图像处理方法的流程示意图。图10是本专利技术某些实施方式的图像处理方法的流程示意图。图11是本专利技术某些实施方式的图像处理方法的流程示意图。图12是本专利技术某些实施方式的图像处理装置的示意图。图13是本专利技术某些实施方式的电子装置的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请一并参阅图1至2，本专利技术实施方式的图像处理方法用于电子装置1000。图像处理方法包括：01：获取当前用户的二维的场景图像；03：获取当前用户的深度图像；05：处理场景图像和深度图像以分割场景图像中的人物区域及除却人物区域以外的背景区域以获得背景区域图像；和07：将预定三维图像与背景区域图像融合以得到合并图像。请一并参阅图2和图3，本专利技术实施方式的图像处理方法可以由本专利技术实施方式的图像处理装置100实现。本专利技术实施方式的图像处理装置100用于电子装置1000。图像处理装置100包括可见光摄像头11、深度图像采集组件12和处理器20。步骤01可以由可见光摄像头11实现，步骤03可以由深度图像采集组件12实现，步骤05和步骤07可以由处理器20实现。也即是说，可见光摄像头11可用于获取当前用户的二维的场景图像；深度图像采集组件12可用于获取当前用户的深度图像；处理器20可用于处理场景图像和深度图像以分割场景图像中的人物区域及除却人物区域以外的背景区域以获得背景区域图像，以及将预定三维图像与背景区域图像融合以得到合并图像。其中，场景图像是可以是二维的灰度图像或彩色图像，深度图像表征包含当前用户的场景中各个人或物体的深度信息。场景图像的场景范围与深度图像的场景范围一致，且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。在某些实施方式中，预定三维图像包括三维的虚拟人物、三维的真实人物、三维的动植物中的至少一种。三维的真实人物排除当前用户自身。其中，三维的虚拟人物可以是三维的动画人物，例如马里奥、柯南、大头儿子、蜡笔小新等；三维的真实人物可以是三维图像的著名人物，例如奥黛丽·赫本、憨豆先生、哈利波特等，三维的动植物可以是三维动画的动物或植物，例如米老鼠、唐老鸭、豌豆射手等。本专利技术实施方式的图像处理装置100可以应用于本专利技术实施方式的电子装置1000。也即是说，本专利技术实施方式的电子装置1000包括本专利技术实施方式的图像处理装置100。在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。本专利技术实施方式的图像处理方法、图像处理装置100和电子装置1000通过深度信息分割人物和背景，使得分割出的人物区域和背景区域更加准确，并将分割得到的背景区域图像与三维的虚拟的人物、动植物或三维的真实的人物进行融合得到合并图像，也即是说，用非当前用户的图像替换掉当前用户所在的人物区域，增强用户的趣味性体验。此外，由于合并图像中不包含用户的实际人像，因此可在一定程度上保护用户的隐私。请参阅图4，在某些实施方式中，步骤03获取当前用户的深度图像的步骤包括：031：向当前用户投射结构光；032：拍摄经当前用户调制的结构光图像；和033：解调结构光图像的各个像素对应的相位信息以得到深度图像。请再参阅图3，在某些实施方式中，深度图像采集组件12包括结构光投射器121和结构光摄像头122。步骤031可以由结构光投射器121实现，步骤032和步骤033可以由结构光摄像头122实现。也即是说，结构光投射器121可用于向当前用户投射结构光；结构光摄像头122可用于拍摄经当前用户调制的结构光图像，以及解调结构光图像的各个像素对应的相位信息以得到深度图像。具体地，结构光投射器121将一定模式的结构光投射到当前用户的面部及躯体上后，在当前用户的面部及躯体的表面会形成由当前用户调制后的结构光图像。结构光摄像头122拍摄经调制后的结构光图像，再对结构光图像进行解调以得到深度图像。其中，结构光的模式可以是激光条纹、格雷码、正弦条纹、非均匀散斑等。请参阅图5，在某些实施方式中，步骤033解调结构光图像的各个像素对应的相位信息以得到深度图像的步骤包括：0331：解调结构光图像中各个像素对应的相位信息；0332：将相位信息转化为深度信息；和0333：根据深度信息生成深度图像。请再参阅图2，本文档来自技高网...

【技术保护点】
一种图像处理方法，用于电子装置，其特征在于，所述图像处理方法包括：获取当前用户的二维的场景图像；获取当前用户的深度图像；处理所述场景图像和所述深度图像以分割所述场景图像中的人物区域及除却所述人物区域以外的背景区域以获得背景区域图像；和将预定三维图像与所述背景区域图像融合以得到合并图像。

【技术特征摘要】
1.一种图像处理方法，用于电子装置，其特征在于，所述图像处理方法包括：获取当前用户的二维的场景图像；获取当前用户的深度图像；处理所述场景图像和所述深度图像以分割所述场景图像中的人物区域及除却所述人物区域以外的背景区域以获得背景区域图像；和将预定三维图像与所述背景区域图像融合以得到合并图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述获取当前用户的深度图像的步骤包括：向所述当前用户投射结构光；拍摄经所述当前用户调制的结构光图像；和解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像。3.根据权利要求2所述的图像处理方法，其特征在于，所述解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像的步骤包括：解调所述结构光图像中各个像素对应的相位信息；将所述相位信息转化为深度信息；和根据所述深度信息生成所述深度图像。4.根据权利要求1所述的图像处理方法，其特征在于，所述预定三维图像包括三维的虚拟人物、三维的真实人物、三维的动植物中的至少一种，所述三维的真实人物排除了所述当前用户自身。5.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：处理所述场景图像和所述深度图像以提取所述当前用户的动作信息；和根据所述动作信息渲染所述预定三维图像以使所述预定三维图像跟随所述当前用户的动作；所述将所述预定三维图像与所述背景区域图像融合以得到合并图像的步骤包括：将渲染后的所述预定三维图像与所述背景区域图像融合以得到所述合并图像。6.根据权利要求5所述的图像处理方法，其特征在于，所述动作信息包括所述当前用户的表情和/或肢体动作。7.根据权利要求1所述的图像处理方法，其特征在于，所述将预定三维图像与所述背景区域图像融合以得到合并图像的步骤包括：比较所述预定三维图像与所述人物区域的尺寸的大小；在所述预定三维图像的尺寸大于所述人物区域的尺寸时，缩小所述预定三维图像并填充进所述场景图像中的所述人物区域以融合得到合并图像；和在所述预定三维图像的尺寸小于所述人物区域的尺寸时，放大所述预定三维图像并填充进所述场景图像中的所述人物区域以融合得到合并图像，或将所述预定三维图像填充进所述场景图像中的所述人物区域，并利用所述人物区域相邻近的像素填充所述预定三维图像与所述人物区域之间的空隙。8.一种图像处理装置，用于电子装置，其特征在于，所述图像处理装置包括：可见光摄像头，所述可见光摄像头用于获取当前用户的二维的场景图像；深度图像采集组件，所述深度图像采集组件用于获取当前用户的深度图像；和...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44