图像处理方法和装置、电子装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法，用于处理合并图像。图像处理方法包括：判断连续两帧合并图像中的人物区域图像的位置变化是否大于预定阈值，连续两帧合并图像包括前一帧合并图像和当前帧合并图像；和在位置变化大于预定阈值时，以前一帧合并图像或预定二维背景图像作为当前帧合并图像。本发明专利技术还公开了一种图像处理装置、电子装置和计算机可读存储介质。本发明专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质在处理真实人物与虚拟背景的合并图像时，通过连续两帧人物图像区域的位置变化判断人像的稳定程度，并在不稳定时以稳定的合并图像进行替代，使得全部过程中合并图像始终保持稳定。

Image processing methods and devices, electronic devices and computer readable storage media

The present invention discloses an image processing method for processing the merged image. The image processing method comprises: judging the continuous position changes the character region of the image frame two in combined image is greater than a predetermined threshold, two consecutive frames with image including the previous frame and the current frame image with combined image; and the change in the position is greater than a predetermined threshold, a previous frame merging image or predetermined two-dimensional background image as the current frame with image. The invention also discloses an image processing device, an electronic device and a computer readable storage medium. The embodiment of the invention processing method, image processing apparatus, electronic apparatus and computer readable storage medium with image processing in real character with virtual background image mode, judge the degree of stability through the portrait position change of two successive characters of image region, and in the unstable with image stabilization by substitution, making the whole process in the merged image remains stable.

【技术实现步骤摘要】
图像处理方法和装置、电子装置和计算机可读存储介质
本专利技术涉及图像处理
，特别涉及一种图像处理方法和装置、电子装置和计算机可读存储介质。
技术介绍
在使用电子装置进行视频时，可能会由于电子设备的活动导致画面不稳定，甚至导致人像部分消失，用户体验差。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。本专利技术实施方式的图像处理方法，用于处理合并图像，所述合并图像由预定二维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理方法包括：判断连续两帧所述合并图像中的所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧合并图像包括前一帧合并图像和当前帧合并图像；和在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定二维背景图像作为所述当前帧合并图像。本专利技术实施方式的图像处理装置，用于处理合并图像，所述合并图像由预定二维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理装置包括：处理器，所述处理器用于：识别所述当前用户的语音内容；和根据所述语音内容在所述合并图像中的所述预定二维背景图像处添加与所述语音内容相匹配的新增内容。本专利技术实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的图像处理方法的指令。本专利技术实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。本专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质，在处理真实人物与虚拟背景的合并图像时，通过连续两帧人物图像区域的位置变化判断人像的稳定程度，并在不稳定时以稳定的合并图像进行替代，使得全部过程中合并图像始终保持稳定。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术某些实施方式的图像处理方法的流程示意图。图2是本专利技术某些实施方式的电子装置的结构示意图。图3是本专利技术某些实施方式的图像处理方法的流程示意图。图4是本专利技术某些实施方式的图像处理装置的模块示意图。图5是本专利技术某些实施方式的图像处理方法的流程示意图。图6是本专利技术某些实施方式的图像处理方法的流程示意图。图7是本专利技术某些实施方式的图像处理方法的流程示意图。图8(a)至图8(e)是根据本专利技术一个实施例的结构光测量的场景示意图。图9(a)和图9(b)根据本专利技术一个实施例的结构光测量的场景示意图。图10是本专利技术某些实施方式的图像处理方法的流程示意图。图11是本专利技术某些实施方式的电子装置的模块示意图。图12是本专利技术某些实施方式的电子装置的模块示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请参阅图1和图2，本专利技术实施方式的图像处理方法，用于处理合并图像，图像处理方法包括步骤：S10；判断连续两帧合并图像中的人物区域图像的位置变化是否大于预定阈值，连续两帧合并图像包括前一帧合并图像和当前帧合并图像；和S20：在位置变化大于预定阈值时，以前一帧合并图像或预定二维背景图像作为当前帧合并图像。请参阅图2，本专利技术实施方式的图像处理装置100，用于处理合并图像。其中，合并图像由预定二维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成。本专利技术实施方式的图像处理方法可以由本专利技术实施方式的图像处理装置100实现，并用于电子装置1000。图像处理装置100包括处理器20。步骤S10和步骤S20可以由处理器20实现。也即是说，处理器20用于判断连续两帧合并图像中的人物区域图像的位置变化是否大于预定阈值，并在位置变化大于预定阈值时，以前一帧合并图像或预定二维背景图像作为所述当前帧合并图像。在某些应用场景，例如视频会议或视频过程中，参与双方出于安全、隐私或增加趣味性等需求，采用预定二维背景图像替代真实场景作为背景与当前用户在真实场景下的场景图像中的人物区域图像融合成合并图像并输出呈现给对方。场景图像通过摄像头进行采集，在过程中，可能会由于电子装置的位置变化例如跌落等，导致拍摄角度的异常从而使场景图像发生抖动甚至无法采集到人物区域图像，用户体验较差。本专利技术实施方式的图像处理方法，在进行视频会议或视频聊天的过程中，对包括当前帧和当前帧的前一帧在内的连续两帧合并图像中人物区域图像进行比对，从而判断摄像头是否抖动或位置偏移。具体地，可通过人物区域图像的位置变化来判断，可以理解，通常在进行场景图像采集时，人物区域图像位于场景图像的中间区域，而当摄像头发生抖动或偏移时，人物区域将偏离原有的中间位置。在一些示例中，当前用户可能由于自身位置变动而导致其人物区域图像在场景图像中的位置产出变化，但这种变化通常较小，因此，本实施方式中，当这种位置变化大于预定阈值时，对当前的合并图像进行图像处理。为保持合并图像的稳定，在一些示例中，可以采用前一帧，也即是人物区域图像位置未发生变化的一帧合并图像，作为当前帧的合并图像。在另一些示例中，在可以直接将预定二维背景图像作为当前帧合并图像，也即是说，此时，将不再对摄像头获取的真实的场景图像与背景图像进行合并，如此，可有效保护由于摄像头发生的移动而造成人物区域图像偏离原有位置，而将其他真实场景内的内容暴露的隐患。本专利技术实施方式的图像处理装置100可以应用于本专利技术实施方式的电子装置1000。也即是说，本专利技术实施方式的电子装置1000包括本专利技术实施方式的图像处理装置100。在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。请参阅图3和图4，在某些实施方式中，图像处理方法包括：S01：获取当前用户的场景图像；S02：获取当前用户的深度图像；S03：处理场景图像和深度图像以提取当前用户在场景图像中的人物区域而获得人物区域图像；和S04：将人物区域图像与预定二维背景图像融合以得到合并图像。在某些实施方式中，图像处理装置100还包括可见光摄像头11和深度图像采集组件12。步骤S01可以由可见光摄像头11实现，步骤02可以由深度图像采集组件12实现，步骤S03和步骤04可以由处理器20实现。也即是说，可见光摄像头11可用于获取当前用户的场景图像；深度图像采集组件12可用于获取当前用户的深度图像；处理器20可用于处理场景图像和深度图像以提取当前用户在场景图像中的人物区域而获得人物区域图像，以及将人物区域图像与预定二维背景图像融合以得到合并图像。其中，场景图像为可以是灰度图像或彩色图像，深度图像表征包含当前用户的场景中各个人或物体的深度信息。场景图像的场景范围与深度图像的场景范围一致，且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。现有的分割人物与背景的方法主要根据相本文档来自技高网...

【技术保护点】
一种图像处理方法，用于处理合并图像，其特征在于，所述合并图像由预定二维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理方法包括：判断连续两帧所述合并图像中的所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧合并图像包括前一帧合并图像和当前帧合并图像；和在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定二维背景图像作为所述当前帧合并图像。

【技术特征摘要】
1.一种图像处理方法，用于处理合并图像，其特征在于，所述合并图像由预定二维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理方法包括：判断连续两帧所述合并图像中的所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧合并图像包括前一帧合并图像和当前帧合并图像；和在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定二维背景图像作为所述当前帧合并图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：获取当前用户的场景图像；获取所述当前用户的深度图像；处理所述场景图像和所述深度图像以提取所述当前用户在所述场景图像中的人物区域而获得人物区域图像；将所述人物区域图像与预定二维背景图像融合以得到所述合并图像。3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法包括步骤：在所述位置变化大于预定阈值时，判断所述变化持续时间是否大于预定时间；在所述持续时间小于所述预定时间时，在所述持续时间内，以所述前一帧的合并图像或所述预定二维背景图像作为当前帧合并图像。4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法包括步骤：在所述持续时间大于所述预定时间时，在所述预定时间内，以所述前一帧合并图像或所述预定二维背景图像作为所述当前帧合并图像，在所述预定时间后，以当前帧的人物区域图像与预定二维背景图像融合以形成所述当前帧合并图像。5.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述当前用户的深度图像的步骤包括：向所述当前用户投射结构光；拍摄经所述当前用户调制的结构光图像；和解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像。6.根据权利要求5所述的图像处理方法，其特征在于，所述解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像的步骤包括：解调所述结构光图像中各个像素对应的相位信息；将所述相位信息转化为深度信息；和根据所述深度信息生成所述深度图像。7.根据权利要求2所述的图像处理方法，其特征在于，所述处理所述场景图像和所述深度图像以提取所述当前用户在所述场景图像中的人物区域而获得人物区域图像的步骤包括：识别所述场景图像中的人脸区域；从所述深度图像中获取与所述人脸区域对应的深度信息；根据所述人脸区域的深度信息确定所述人物区域的深度范围；和根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得所述人物区域图像。8.根据权利要求7所述的图像处理方法，其特征在于，所述图像处理方法还包括步骤：处理所述场景图像以得到所述场景图像的全场边缘图像；和根据所述全场边缘图像修正所述人物区域图像。9.一种图像处理装置，用于处理合并图像，其特征在于，所述合并图像由预定二维图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理装置包括：处理器，所述处理器用于：判断连续两帧...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44