图像处理方法和装置、电子装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种图像处理方法，用于电子装置处理合并图像。合并图像由预定三维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成。图像处理方法包括：根据电子装置的运动传感器输出检测人物区域图像的位置变化信息；和根据位置变化信息调整预定三维背景图像以使预定三维背景与位置变化信息匹配。本发明专利技术还公开了一种图像处理装置、电子装置和计算机可读存储介质。本发明专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质根据电子装置的运动信息检测人物图像的位置变化，从而调整背景图像，使得背景图像与人物图像的运动信息相匹配，合并图像的视觉效果更加真实，改善用户体验。

Image processing methods and devices, electronic devices and computer readable storage media

【技术实现步骤摘要】
图像处理方法和装置、电子装置和计算机可读存储介质
本专利技术涉及图像处理
，特别涉及一种图像处理方法和装置、电子装置和计算机可读存储介质。
技术介绍
现有的真实场景的人物图像与虚拟的背景图像融合时，由于摄像头移动，将会导致人物图像在真实场景中的位置产生变化，而虚拟的背景图像仍保持不变，二者匹配度较差，用户体验不佳。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。本专利技术实施方式的图像处理方法，用于电子装置处理合并图像，所述合并图像由预定三维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理方法包括：根据所述电子装置的运动传感器输出检测所述人物区域图像的位置变化信息；和根据所述位置变化信息调整所述预定三维背景图像以使所述预定三维背景与所述位置变化信息匹配。本专利技术实施方式的图像处理装置，用于电子装置处理合并图像，所述合并图像由预定三维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理装置包括：处理器，所述处理器用于：根据所述电子装置的运动传感器输出检测所述人物区域图像的位置变化信息；和根据所述位置变化信息调整所述预定三维背景图像以使所述预定三维背景与所述位置变化信息匹配。本专利技术实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的图像处理方法的指令。本专利技术实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。本专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质，在处理真实人物与虚拟背景的合并图像时，根据电子装置的运动信息检测人物图像的位置变化，从而调整背景图像，使得背景图像与人物图像的运动信息相匹配，合并图像的视觉效果更加真实，改善用户体验。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术某些实施方式的图像处理方法的流程示意图。图2是本专利技术某些实施方式的电子装置的结构示意图。图3是本专利技术某些实施方式的图像处理方法的流程示意图。图4是本专利技术某些实施方式的图像处理装置的模块示意图。图5是本专利技术某些实施方式的图像处理方法的流程示意图。图6是本专利技术某些实施方式的图像处理方法的流程示意图。图7(a)至图7(e)是根据本专利技术一个实施例的结构光测量的场景示意图。图8(a)和图8(b)根据本专利技术一个实施例的结构光测量的场景示意图。图9是本专利技术某些实施方式的图像处理方法的流程示意图。图10是本专利技术某些实施方式的图像处理方法的流程示意图。图11是本专利技术某些实施方式的图像处理方法的流程示意图。图12是本专利技术某些实施方式的图像处理方法的流程示意图。图13是本专利技术某些实施方式的电子装置的模块示意图。图14是本专利技术某些实施方式的电子装置的模块示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请参阅图1和图2，本专利技术实施方式的图像处理方法，用于电子装置处理合并图像，图像处理方法包括步骤：S10；根据电子装置的运动传感器输出检测人物区域图像的位置变化信息；和S20：根据位置变化信息调整预定三维背景图像以使预定三维背景与位置变化信息匹配。请参阅图2，本专利技术实施方式的图像处理装置100，用于处理合并图像。其中，合并图像由预定三维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成。本专利技术实施方式的图像处理方法可以由本专利技术实施方式的图像处理装置100实现，并用于电子装置1000。图像处理装置100包括处理器20。步骤S10和步骤S20可以由处理器20实现。也即是说，处理器20用于根据电子装置1000的运动传感器输出检测人物区域图像的位置变化信息以及根据位置变化信息调整预定三维背景图像以使预定三维背景与位置变化信息匹配。在某些应用场景，例如视频会议或视频过程中，参与双方出于安全、隐私或增加趣味性等需求，采用预定三维背景图像替代真实场景作为背景与当前用户在真实场景下的场景图像中的人物区域图像融合成合并图像并输出呈现给对方。场景图像通过摄像头进行采集，在过程中，可能会由于电子装置的位置变化例如跌落、移动等，导致拍摄角度的变化甚至异常，从而使场景图像发生角度及位置的变化，用户体验较差。本专利技术实施方式的图像处理方法，在进行视频会议或视频聊天的过程中，通过运动传感器例如加速度传感器或陀螺仪等的输出来检测摄像头的运动，也即是人物区域图像的位置变化信息。具体地，可以当前人物区域图像所在位置为坐标原点，建立三维坐标系，规定x轴、y轴以及z轴以及正方向，进一步地，根据人物区域图像的运动信息调整预定三维背景图像，使得三维背景图像与人物区域图像的变化相匹配，视觉效果更加真实。可以理解，三维背景图像的调整相对于人物图像区域的变化存在一定的滞后性，因此，当检测到人物图像区域开始变化后，可以持续以变化前最后一帧稳定的合并图像进行输出，当人物区域图像再次稳定后，可检测到位置变化信息，根据该位置变化信息调整预定三维背景图像，调整完成后，直接将调整后的图像输出，忽略中间的变化过程，从而在一定程度上保持了图像的稳定。本专利技术实施方式的图像处理装置100可以应用于本专利技术实施方式的电子装置1000。也即是说，本专利技术实施方式的电子装置1000包括本专利技术实施方式的图像处理装置100。在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。请参阅图3和图4，在某些实施方式中，图像处理方法包括：S01：获取当前用户的场景图像；S02：获取当前用户的深度图像；S03：处理场景图像和深度图像以提取当前用户在场景图像中的人物区域而获得人物区域图像；和S04：将人物区域图像与预定三维背景图像融合以得到合并图像。在某些实施方式中，图像处理装置100还包括可见光摄像头11和深度图像采集组件12。步骤S01可以由可见光摄像头11实现，步骤02可以由深度图像采集组件12实现，步骤S03和步骤04可以由处理器20实现。也即是说，可见光摄像头11可用于获取当前用户的场景图像；深度图像采集组件12可用于获取当前用户的深度图像；处理器20可用于处理场景图像和深度图像以提取当前用户在场景图像中的人物区域而获得人物区域图像，以及将人物区域图像与预定三维背景图像融合以得到合并图像。其中，场景图像为可以是灰度图像或彩色图像，深度图像表征包含当前用户的场景中各个人或物体的深度信息。场景图像的场景范围与深度图像的场景范围一致，且场景图像中的各个像素均能在深度图像中找到对应该像素的深度信息。现有的分割人物与背景的方法主要根据相邻像素在像素值方面的相似性和不连续性进行人物与背景的分割，但这种分本文档来自技高网...

【技术保护点】
一种图像处理方法，用于电子装置处理合并图像，其特征在于，所述合并图像由预定三维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理方法包括：根据所述电子装置的运动传感器输出检测所述人物区域图像的位置变化信息；和根据所述位置变化信息调整所述预定三维背景图像以使所述预定三维背景与所述位置变化信息匹配。

【技术特征摘要】
1.一种图像处理方法，用于电子装置处理合并图像，其特征在于，所述合并图像由预定三维背景图像与当前用户在真实场景下的场景图像中的人物区域图像融合而成，所述图像处理方法包括：根据所述电子装置的运动传感器输出检测所述人物区域图像的位置变化信息；和根据所述位置变化信息调整所述预定三维背景图像以使所述预定三维背景与所述位置变化信息匹配。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：获取当前用户的场景图像；获取所述当前用户的深度图像；处理所述场景图像和所述深度图像以提取所述当前用户在所述场景图像中的人物区域而获得人物区域图像；将所述人物区域图像与预定三维背景图像融合以得到所述合并图像。3.根据权利要求2所述的图像处理方法，其特征在于，所述获取所述当前用户的深度图像的步骤包括：向所述当前用户投射结构光；拍摄经所述当前用户调制的结构光图像；和解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像。4.根据权利要求3所述的图像处理方法，其特征在于，所述解调所述结构光图像的各个像素对应的相位信息以得到所述深度图像的步骤包括：解调所述结构光图像中各个像素对应的相位信息；将所述相位信息转化为深度信息；和根据所述深度信息生成所述深度图像。5.根据权利要求2所述的图像处理方法，其特征在于，所述处理所述场景图像和所述深度图像以提取所述当前用户在所述场景图像中的人物区域而获得人物区域图像的步骤包括：识别所述场景图像中的人脸区域；从所述深度图像中获取与所述人脸区域对应的深度信息；根据所述人脸区域的深度信息确定所述人物区域的深度范围；和根据所述人物区域的深度范围确定与所述人脸区域连接且落入所述深度范围内的人物区域以获得所述人物区域图像。6.根据权利要求5所述的图像处理方法，其特征在于，所述图像处理方法还包括步骤：处理所述场景图像以得到所述场景图像的全场边缘图像；和根据所述全场边缘图像修正所述人物区域图像。7.根据权利要求2所述的图像处理方法，其特征在于，所述将所述人物区域图像与预定三维背景图像融合以得到所述合并图像的步骤包括：获取所述预定三维背景图像中的预定融合区域；根据所述人物区域图像确定所述预定融合区域的待替换像素区域；和将所述预定融合区域的待替换像素区域替换为所述人物区域图像以得到所述合并图像。8.根据权利要求2所述的图像处理方法，其特征在于，将所述人物区域图像与预定三维背景图像融合以得到所述合并图像的步骤包括：处理所述预定三维背景图像以得到所述预定三维背景图像的全场边缘图像；获取所述预定三维背景图像的深度数据；根据所述预定三维背景图像的全场边缘图像及所述深度数据确定所述预定三维背景图像的计算融合区域；根据所述人物区域图像确定所述计算融合区域的待替换像素区域；和将所述计算融合区域的待替换像素区域替换为所述人物区域图像以得到所述合并图像。9.根据权利要求1所述的图像处理方法，其特征在于，所述位置变化信息包括所述人物区域图像的变化方向和变化角度。10.根据权利要求9所述的图像处理方法，其特征在于，所述根据所述位置变化信息调整所述预定三维背景图像以使所述预定三维背景与所述位置变化信息匹配的步骤：以与所述变化方向和所述变化角度相同的方向和角度调整所述预定三维背景以使所述预定三维背景与所述位置变化信息匹配；将变化后的所述人物区域图像与调整后的预定三维背景融合以得到调整后的合并图像。11.一种图像处理装置，用于电子装置处理合并图像，其特征在于，所述合并图像由预定三维背景图像与当前用户在真实场景下的场景图...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44