图像处理方法及装置、电子装置和计算机可读存储介质制造方法及图纸

本发明专利技术公开一种合并图像的图像处理方法。合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成。预定前景图像根据当前用户在场景图像中的人物区域图像的动作信息渲染得到。图像处理方法包括判断连续两帧合并图像对应的两帧人物区域图像的位置变化是否大于预定阈值，以及在位置变化大于预定阈值时以前一帧合并图像或预定三维背景图像作为当前帧合并图像。本发明专利技术还公开一种图像处理装置、电子装置和计算机可读存储介质。本发明专利技术实施方式的图像处理方法及装置、电子装置和计算机可读存储介质在与连续两帧预定前景图像关联的连续两帧人物图像区域不稳定时以稳定的合并图像进行替代，使全部过程中合并图像保持稳定，提升用户体验。

【技术实现步骤摘要】
图像处理方法及装置、电子装置和计算机可读存储介质
本专利技术涉及图像处理
，特别涉及一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。
技术介绍
在使用电子装置进行视频时，电子设备在意外掉落等状态下可能会导致当前用户瞬时离开摄像头的拍摄视场，从而无法获取到当前用户的动作以对合并图像中的预定前景图像进行渲染，从而导致显示的合并图像中的前景图像消失，用户体验差。
技术实现思路
本专利技术的实施例提供了一种图像处理方法、图像处理装置、电子装置和计算机可读存储介质。本专利技术实施方式的图像处理方法用于处理合并图像。所述合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成。所述预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到。所述图像处理方法包括：判断连续两帧所述合并图像对应的两帧所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧所述合并图像包括前一帧合并图像和当前帧合并图像；和在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像。本专利技术实施方式的图像处理装置用于处理合并图像，所述合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成。所述预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到。所述图像处理装置包括处理器，所述处理器用于判断连续两帧所述合并图像对应的两帧所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧所述合并图像包括前一帧合并图像和当前帧合并图像，以及在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像。本专利技术实施方式的电子装置包括一个或多个处理器、存储器和一个或多个程序。其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行上述的图像处理方法的指令。本专利技术实施方式的计算机可读存储介质包括与能够摄像的电子装置结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述的图像处理方法。本专利技术实施方式的图像处理方法、图像处理装置、电子装置和计算机可读存储介质，在处理渲染后的预定前景图像与预定三维背景图像的合并图像时，通过与连续两帧预定前景图像相关联的对应的连续两帧人物图像区域的位置变化判断人像的稳定程度，并在不稳定时以稳定的合并图像进行替代，使得全部过程中合并图像始终保持稳定，从而改善用户的使用体验。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明本专利技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：图1是本专利技术某些实施方式的图像处理方法的流程示意图。图2是本专利技术某些实施方式的图像处理装置的示意图。图3是本专利技术某些实施方式的电子装置的结构示意图。图4是本专利技术某些实施方式的图像处理方法的流程示意图。图5是本专利技术某些实施方式的图像处理方法的流程示意图。图6是本专利技术某些实施方式的图像处理方法的流程示意图。图7(a)至图7(e)是根据本专利技术一个实施例的结构光测量的场景示意图。图8(a)和图8(b)是根据本专利技术一个实施例的结构光测量的场景示意图。图9是本专利技术某些实施方式的图像处理方法的流程示意图。图10是本专利技术某些实施方式的图像处理方法的流程示意图。图11是本专利技术某些实施方式的图像处理方法的流程示意图。图12是本专利技术某些实施方式的图像处理方法的流程示意图。图13是本专利技术某些实施方式的图像处理方法的流程示意图。图14是本专利技术某些实施方式的图像处理装置的示意图。图15是本专利技术某些实施方式的电子装置的示意图。具体实施方式下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本专利技术，而不能理解为对本专利技术的限制。请参阅图1，本专利技术实施方式的图像处理方法用于处理合并图像。合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成。预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到。图像处理方法包括：02：判断连续两帧合并图像对应的两帧人物区域图像的位置变化是否大于预定阈值，连续两帧合并图像包括前一帧合并图像和当前帧合并图像；和04：在位置变化大于预定阈值时，以前一帧合并图像或预定三维背景图像作为当前帧合并图像。请一并参阅图2至3，本专利技术实施方式的图像处理方法可以由本专利技术实施方式的图像处理装置100实现。本专利技术实施方式的图像处理装置100用于处理合并图像。合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成。预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到。图像处理装置100包括处理器20。步骤02和步骤04均可以由处理器20实现。也即是说，处理器20可用于判断连续两帧合并图像对应的两帧人物区域图像的位置变化是否大于预定阈值，连续两帧合并图像包括前一帧合并图像和当前帧合并图像，以及在位置变化大于预定阈值时，以前一帧合并图像或预定三维背景图像作为当前帧合并图像。在某些实施方式中，预定前景图像包括二维和/或三维的预定前景图像。预定前景图像包括虚拟人物、真实人物、动植物中的至少一种，真实人物排除了当前用户自身。其中，虚拟人物可以是动画人物，例如马里奥、柯南、大头儿子、蜡笔小新等；真实人物可以是著名人物，例如奥黛丽赫本、憨豆先生、哈利波特等，动植物可以是动画的动物或植物，例如米老鼠、唐老鸭、豌豆射手等。预定前景图像可跟随模仿当前用户的动作信息。其中，动作信息包括当前用户的表情和肢体动作中的至少一种。也即是说，当前动作信息可以仅包括当前用户的表情或肢体动作，也可同时包括当前用户的表情和肢体动作两者。在某些实施方式中，预定三维背景图像可以是由实际场景建模得到的预定三维背景图像，也可以是动画制作得到的预定三维背景图像。预定三维背景图像能够随机选取或由当前用户选定。本专利技术实施方式的图像处理装置100可以应用于本专利技术实施方式的电子装置1000。也即是说，本专利技术实施方式的电子装置1000包括本专利技术实施方式的图像处理装置100。在某些实施方式中，电子装置1000包括手机、平板电脑、笔记本电脑、智能手环、智能手表、智能头盔、智能眼镜等。本专利技术实施方式的图像处理方法、图像处理装置100和电子装置1000在处理渲染后的预定前景图像与预定三维背景图像的合并图像时，通过与连续两帧预定前景图像相关联的对应的连续两帧人物图像区域的位置变化判断人像的稳定程度，并在不稳定时以稳定的合并图像进行替代，使得全部过程中合并图像始终保持稳定，从而改善用户的使用体验。请参阅图4，在某些实施方式中，本专利技术实施方式的图像处理方法还包括：011：以预设频率采集多帧当前用户的场景图像；012：以预设频率采集多帧当前用户的深度图像；013：处理每帧场景图像和每帧深度图像以提取当前用户的动作信息；014：根据动作信息渲染预定前景图像以使每帧预定前景图像跟随当前用户的动作；和015：将每帧渲染后的预定前景图像和预定三维背景图像融合得到多帧合并图像以输出视本文档来自技高网...

【技术保护点】
一种图像处理方法，用于处理合并图像，所述合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成，所述预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到，其特征在于，所述图像处理方法包括：判断连续两帧所述合并图像对应的两帧所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧所述合并图像包括前一帧合并图像和当前帧合并图像；和在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像。

【技术特征摘要】
1.一种图像处理方法，用于处理合并图像，所述合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成，所述预定前景图像根据所述当前用户在场景图像中的人物区域图像的动作信息渲染得到，其特征在于，所述图像处理方法包括：判断连续两帧所述合并图像对应的两帧所述人物区域图像的位置变化是否大于预定阈值，所述连续两帧所述合并图像包括前一帧合并图像和当前帧合并图像；和在所述位置变化大于预定阈值时，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像。2.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法还包括：以预设频率采集多帧当前用户的场景图像；以所述预设频率采集多帧所述当前用户的深度图像；处理每帧所述场景图像和每帧所述深度图像以提取所述当前用户的动作信息；根据所述动作信息渲染所述预定前景图像以使每帧所述预定前景图像跟随所述当前用户的动作；和将每帧渲染后的所述预定前景图像与所述预定三维背景图像融合得到多帧合并图像以输出视频图像。3.根据权利要求1所述的图像处理方法，其特征在于，所述图像处理方法包括步骤：在所述位置变化大于预定阈值时，判断所述位置变化的持续时间是否大于预定时间；和在所述持续时间小于所述预定时间时，在所述持续时间内，以所述前一帧的合并图像或所述预定三维背景图像作为当前帧合并图像。4.根据权利要求3所述的图像处理方法，其特征在于，所述图像处理方法还包括：在所述持续时间大于所述预定时间时，在所述预定时间内，以所述前一帧合并图像或所述预定三维背景图像作为所述当前帧合并图像，在所述预定时间后，以当前帧的预定前景图像与当前帧的预定三维背景图像融合以形成所述当前帧合并图像。5.根据权利要求2所述的图像处理方法，其特征在于，所述以所述预设频率采集多帧所述当前用户的深度图像的步骤包括：向所述当前用户投射结构光；以所述预设频率拍摄多帧经所述当前用户调制的结构光图像；和解调每帧所述结构光图像的各个像素对应的相位信息以得到多帧所述深度图像。6.根据权利要求5所述的图像处理方法，其特征在于，所述解调每帧所述结构光图像的各个像素对应的相位信息以得到多帧所述深度图像的步骤包括：解调每帧所述结构光图像中各个像素对应的相位信息；将所述相位信息转化为深度信息；和根据所述深度信息生成所述深度图像。7.根据权利要求2所述的图像处理方法，所述将每帧渲染后的所述预定前景图像与所述预定三维背景图像融合得到多帧合并图像以输出视频图像的步骤包括：获取每帧所述预定三维背景图像中的预定融合区域；根据与该帧所述预定三维背景图像对应的所述预定前景图像确定所述预定融合区域的待替换像素区域；将所述预定融合区域的待替换像素区域替换为与该帧所述预定三维背景图像对应的所述预定前景图像以得到所述合并图像；和处理多帧所述合并图像以输出视频图像。8.根据权利要求2所述的图像处理方法，所述将每帧渲染后的所述预定前景图像与所述预定三维背景图像融合得到多帧合并图像以输出视频图像的步骤包括：处理每帧所述预定三维背景图像以获取每帧所述预定三维背景图像的全场边缘图像；获取每帧所述预定三维背景图像的深度数据；根据每帧所述预定三维背景图像的全场边缘图像及所述深度数据以确定每帧所述预定三维背景图像的计算融合区域；根据与该帧所述预定三维背景图像对应的预定前景图像确定所述计算融合区域的待替换像素区域；将所述计算融合区域的待替换像素区域替换为与该帧所述预定三维背景图像对应的所述预定前景图像以得到所述合并图像；和处理多帧所述合并图像以输出视频图像。9.根据权利要求1所述的图像处理方法，其特征在于，所述预定前景图像包括二维和/或三维的预定前景图像，所述预定前景图像包括虚拟人物、真实人物、动植物中的至少一种，所述真实人物排除了所述当前用户自身；所述预定三维背景图像包括由实际场景建模得到的预定三维背景图像，和/或动画制作得到的预定三维背景图像，所述预定三维背景图像能够随机选取或由所述当前用户选定。10.根据权利要求1所述的图像处理方法，其特征在于，所述动作信息包括所述当前用户的表情和肢体动作中的至少一种。11.一种图像处理装置，用于处理合并图像，所述合并图像由预定三维背景图像与可跟随当前用户动作的预定前景图像融合而成，所述预定前景图像根据...

【专利技术属性】
技术研发人员：张学勇，
申请(专利权)人：广东欧珀移动通信有限公司，
类型：发明
国别省市：广东,44