图像处理方法及装置制造方法及图纸

本发明专利技术公开了一种图像处理方法、装置，其中，该方法包括：获取当前用户的场景视频，及对应的多帧深度图像；根据多帧深度图像，处理场景视频的各帧场景图像，以获取当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及人物区域的深度；将人物区域图像与背景图像融合以生成各帧合并图像；根据合并图像中人物区域的深度，对背景物体在合并图像中的深度进行调整。该方法通过获取更为精确的各帧人物区域图像实现融合得到的合并图像的画面效果更好，此外通过获取人物区域的深度调整背景物体在合并图像中的深度，可以实现呈现出不同效果的视频画面，实现了用户可以与虚拟背景中的物体进行互动，增加了视频聊天的趣味性，提升了用户的体验。

Image processing method and device

The invention discloses an image processing method and device, wherein the method comprises the following steps: acquiring the current user scene video, multi frame image and the corresponding depth; according to the multi frame depth image, the image processing of the video frame scene scene, to get the current user in each frame image characters in the region and people the corresponding image region, and the regional character depth; the character regions and background image fusion to generate each frame with image; according to the characters and merge image regions in depth, to adjust the background objects in the combination image depth. By this method to obtain a more accurate figure of each frame image to achieve better image fusion with the picture effect, moreover through the depth adjustment of background objects to get the characters area in the combination image depth, can realize the video screen showing different effects, the user can interact with the virtual objects in the background. Increase video chat interest, enhance the user experience.

【技术实现步骤摘要】
图像处理方法及装置
本专利技术涉及终端
，尤其涉及一种图像处理方法及装置。
技术介绍
随着手机、平板电脑等移动终端的普及，视频聊天在人们日常沟通中越来越普遍。视频聊天时，出现在聊天画面中的不仅包括视频用户，还包括背景。但聊天过程中背景枯燥，私密性差，聊天背景容易被对方看到，常常需要对聊天背景进行虚拟化，同时在虚拟背景中增加虚拟的动物，以增加聊天的趣味性和参与性。因此，如何更好地实现用户与虚拟背景中的物体更好地互动成为亟待解决的技术问题。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。本专利技术实施方式的图像处理方法用于电子装置，所述图像处理方法包括：获取当前用户的场景视频，及对应的多帧深度图像；根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及所述人物区域的深度；将所述人物区域图像与背景图像融合以生成各帧合并图像，其中，所述背景图像包括至少一个背景物体；根据所述合并图像中所述人物区域的深度，对所述背景物体在所述合并图像中的深度进行调整。本专利技术实施方式的图像处理装置，用于电子装置。所述图像处理装置包括：第一获取模块，用于获取当前用户的场景视频，所述场景视频包括各帧场景图像；第二获取模块，用于获得各帧场景图像对应的多帧深度图像；处理模块，用于根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及所述人物区域的深度；融合模块，用于将所述人物区域图像与背景图像融合以生成各帧合并图像，其中，所述背景图像包括至少一个背景物体；深度调整模块，用于根据所述合并图像中所述人物区域的深度，对所述背景物体在所述合并图像中的深度进行调整。本专利技术实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的图像处理方法的指令。本专利技术实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。本专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质通过获取当前用户的场景视频，及对应的多帧深度图像；根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及所述人物区域的深度；将所述人物区域图像与背景图像融合以生成各帧合并图像，其中，所述背景图像包括至少一个背景物体；根据所述合并图像中所述人物区域的深度，对所述背景物体在所述合并图像中的深度进行调整。该方法通过获取更为精确的各帧人物区域图像实现融合得到的合并图像的画面效果更好，此外通过获取人物区域的深度调整背景物体在合并图像中的深度，可以实现呈现出不同效果的视频画面，实现了用户可以与虚拟背景中的物体进行互动，增加了视频聊天的趣味性，提升了用户的体验。本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中，图1是本专利技术某些实施方式的图像处理方法的流程示意图。图2是本专利技术某些实施方式的图像处理方法的流程示意图。图3是本专利技术某些实施方式的图像处理方法的流程示意图。图4是本专利技术某些实施方式的图像处理方法的流程示意图。图5是本专利技术某些实施方式的图像处理方法的流程示意图。图6(a)至图6(e)是根据本专利技术一个实施例的结构光测量的场景示意图。图7(a)和图7(b)根据本专利技术一个实施例的结构光测量的场景示意图。图8是本专利技术某些实施方式的图像处理装置的模块示意图。图9是本专利技术某些实施方式的电子装置的模块示意图。图10是本专利技术某些实施方式的图像处理电路的模块示意图。图11是本专利技术某些实施方式的电子装置的模块示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。下面参考附图描述本专利技术实施例的图像处理方法、装置、电子装置和计算机可读存储介质。图1是本专利技术某些实施方式的图像处理方法的流程示意图。该方法的执行主体为图像处理装置，该装置可集成在终端中。其中，终端可以包括手机、平板电脑、智能穿戴式设备等具有各种操作系统的硬件设备。如图1所示，该方法包括以下步骤：S101、获取当前用户的场景视频，及对应的多帧深度图像。本实施例中的场景视频可以理解为由终端设备上的取像装置不断获取的多帧场景图像，在场景图像中即包括视频用户以及视频用户所处的环境，该场景图像以聊天画面的形式显示在终端。例如，图像处理装置包括可见光摄像头11，通过可见光摄像头11获取当前视频用户的场景视频以及场景视频包括的多帧场景图像。可见光摄像头11可以是RGB摄像头，所拍摄出的图像可以为彩色图像。举例来说，图像处理装置包括深度图像采集组件12，通过深度图像采集组件12获取所述当前视频用户的多帧深度图像。深度图像中每个像素的灰度值可以表征拍摄场景中的某一点到深度图像采集组件12的距离，在本实施例中，深度图像包含表征当前视频用户所在的场景中各个人或物体的深度信息。深度图像的相关技术参见现有技术，在此不再赘述。S102、根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及所述人物区域的深度。现有的分割人物与背景的方法主要根据相邻像素在像素值方面的相似性和不连续性进行人物与背景的分割，但这种分割方法易受外界光照等环境因素的影响。由于都是对当前视频用户所处的场景进行拍摄，各帧场景图像的场景范围与深度图像的场景范围基本一致，且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。基于深度图像的获取不易受光照、场景中色彩分布等因素的影响，因此，通过深度图像提取到的人物区域更加准确，尤其可以准确标定出人物区域的边界。图2是本专利技术某些实施方式的图像处理方法的流程示意图。本实施例对“根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像”进行优化。在一种可能的实现方式中，“根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像”的具体实现方式如图2所示，包括以下步骤：S21、逐帧识别所述场景图像中的人脸区域。S22、从所述深度图像中获取与所述人脸区域对应的深度信息。S23、根据所述人脸区域的深度信息确定所述人物区域的深度范围。S24、根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得各帧所述人物区域图像。举例来说，步骤21、步骤22、步骤23和步骤24均可以由处理器20实现。也即是说，处理器20可进一步用于逐帧识别所述场景图像中的人脸区本文档来自技高网...

【技术保护点】
一种图像处理方法，其特征在于，包括：获取当前用户的场景视频，及对应的多帧深度图像；根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及所述人物区域的深度；将所述人物区域图像与背景图像融合以生成各帧合并图像，其中，所述背景图像包括至少一个背景物体；根据所述合并图像中所述人物区域的深度，对所述背景物体在所述合并图像中的深度进行调整。

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取当前用户的场景视频，及对应的多帧深度图像；根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像中的人物区域而得到对应的人物区域图像，及所述人物区域的深度；将所述人物区域图像与背景图像融合以生成各帧合并图像，其中，所述背景图像包括至少一个背景物体；根据所述合并图像中所述人物区域的深度，对所述背景物体在所述合并图像中的深度进行调整。2.根据权利要求1所述的图像处理方法，其特征在于，所述根据所述合并图像中所述人物区域的深度，对所述背景物体在所述合并图像中的深度进行调整，包括：针对每一帧人物区域图像，进行身体部位识别，以确定出目标身体部位图像；根据所述人物区域的深度，确定所述目标身体部位的深度；调整所述背景物体在所述合并图像中的深度，以改变所述背景物体的深度与所述目标身体部位的深度之间的深度差值。3.根据权利要求2所述的图像处理方法，其特征在于，在所述调整所述背景物体在所述合并图像中的深度，以改变所述背景物体的深度与所述目标身体部位的深度之间的深度差值之后，还包括：调整所述背景物体在所述合并图像中的图像位置，以改变所述合并图像中所述背景物体与所述目标身体部位之间的距离。4.如权利要求1所述的方法，其特征在于，所述获取所述当前用户的多帧深度图像，包括：多次向所述当前用户投射结构光；多次拍摄经所述当前用户调制的多帧结构光图像；逐帧解调所述结构光图像的各个像素对应的相位信息以得到各帧结构光图像对应的所述深度图像。5.如权利要求4所述的方法，其特征在于，所述逐帧解调所述结构光图像的各个像素对应的相位信息以得到各帧结构光图像对应的所述深度图像，包括：逐帧解调所述结构光图像中各个像素对应的相位信息；将所述相位信息转化为深度信息；根据所述深度信息生成各帧结构光图像对应的所述深度图像。6.如权利要求1所述的方法，其特征在于，所述根据所述多帧深度图像，处理所述场景视频的各帧场景图像，以获取所述当前用户在各帧场景图像...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44