一种图像虚化方法、装置、存储介质及终端设备制造方法及图纸

本申请公开了一种图像虚化方法、装置、存储介质及终端设备，所述方法包括获取所述待处理图像的人像掩膜图，并基于所述人像掩膜图以及预览焦点确定所述待处理图像对应的视差图；基于所述预览焦点，确定所述视差图中的各视差像素点各自对应的虚化半径；基于各视差像素点各自对应的虚化半径对所述待处理图像进行虚化，以得到待处理图像对应的虚化图像。本申请通过结合人像掩膜图与视差图来对待处理图像进行虚化，在虚化过程中通过人像掩膜图来优化视差图中人像的视差值的一致性，减少人像的误虚和漏虚，从而提高待处理图像的预览效果。从而提高待处理图像的预览效果。从而提高待处理图像的预览效果。

【技术实现步骤摘要】
一种图像虚化方法、装置、存储介质及终端设备


[0001]本申请涉及图像处理
，特别涉及一种图像虚化方法、装置、存储介质及终端设备。

技术介绍

[0002]双摄像头已经越来越多地应用于移动终端设备上，并且现有配置双摄的移动终端设备的拍照功能普遍配置有人像虚化功能。基于该人像虚化功能可以在拍照之前进行预览虚化，以使得用户预先获知拍摄图像的图像效果。然而，现有的人像虚化功能普遍存在虚化效果差的问题。

技术实现思路

[0003]本申请要解决的技术问题在于，针对现有技术的不足，提供一种图像虚化方法、装置、存储介质及终端设备。
[0004]为了解决上述技术问题，本申请实施例第一方面提供了一种图像虚化方法，所述方法包括：
[0005]获取待处理图像的人像掩膜图及待处理图像对应的候选预览图像；
[0006]基于所述人像掩膜图确定所述待处理图像对应的视差图，并基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据；
[0007]基于所述融合数据，将所述候选预览图像与所述待处理图像融合，以得到所述待处理图像对应的预览图像。
[0008]所述图像虚化方法，其中，所述待处理图像为成像模组中主成像器拍摄的，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。
[0009]所述图像虚化方法，其中，所述基于所述人像掩膜图确定所述待处理图像对应的视差图具体包括：/>[0010]确定所述待处理图像对应的辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；
[0011]基于所述人像掩膜图，在所述候选视差图中选取所述待处理图像中的人像区域对应的目标视差区域；
[0012]将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。
[0013]所述图像虚化方法，其中，所述待处理图像的人像区域包括预览焦点，所述预设视差值为所述目标视差区域中的各视差像素点的视差值的平均值。
[0014]所述图像虚化方法，其中，所述获取待处理图像的人像掩膜图具体为：
[0015]将所述待处理图像输入人像分割模型，通过所述人像分割模型输出所述待处理图像对应的人像模型；
[0016]其中，所述人像分割模型包括依次级联的第一卷积模块、第一特征提取模块、第二卷积模块以及第二特征提取模块，所述第一特征提取模块包括第一预设数量的因子化卷积模块，所述第二特征提取模块包括第二预设数量的因子化卷积模块，其中，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。
[0017]所述图像虚化方法，其中，所述第一卷积层的卷积核的宽度或者所述第二卷积层的卷积核的宽度等于1。
[0018]所述图像虚化方法，其中，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替布置且级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。
[0019]所述图像虚化方法，其中，所述人像分割模型的训练过程具体包括：
[0020]将预设训练样本中的训练图像输入预设网络模型，通过所述预设网络模型确定所述训练图像对应的预测人像掩膜图，其中，所述训练图像包括人像区域；
[0021]获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；
[0022]基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。
[0023]所述图像虚化方法，其中，所述权重图的图像尺寸与所述预测人像掩膜图的图像尺寸相同，并且所述权重图包括预测人像掩膜图中的各掩膜像素点各自对应的权重值。
[0024]所述图像虚化方法，其中，所述基于人像边缘确定所述预测人像掩膜图对应的权重图具体包括：
[0025]对于所述预测人像掩膜图中的每个掩膜像素点，确定该掩膜像素点与所述人像边缘的距离，并将所述距离作为该掩膜像素点的权重值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的权重值；
[0026]根据获取到各掩膜像素点各自对应的权重值，确定所述预测人像掩膜图对应的权重图。
[0027]所述图像虚化方法，其中，所述基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型具体包括：
[0028]对于预测人像掩膜图中的每个掩膜像素点，基于所述训练图像对应的目标人像掩膜图确定该掩膜像素点对应的候选损失值，以得到所述预测人像掩膜图中的各掩膜像素点各自对应的候选损失值；
[0029]基于所述权重图，将各掩膜像素点各自对应的候选损失值进行加权处理，以得到所述训练图像对应的目标损失值；
[0030]基于所述目标损失值对所述预设网络模型进行训练，以得到人像分割模型。
[0031]所述图像虚化方法，其中，所述基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据具体包括：
[0032]对于所述视差图中的每个视差像素点，获取该视差像素点对应的视差值，根据所
述视差值以及所述待处理图像的预览焦点的焦点视差值，确定该视差像素点对应的融合系数，以得到各视差像素点各自对应的融合系数；
[0033]将各视差像素点各自对应的融合系数作为所述待处理图像对应的融合数据。
[0034]所述图像虚化方法，其中，所述获取待处理图像对应的候选预览图像具体包括：
[0035]将所述待处理图像的图像尺寸调整为预设图像尺寸，并对调整后的待处理图像进行高斯模糊处理，以得到参考虚化图像，其中，所述预设图像尺寸小于所述待处理图像的图像尺寸；
[0036]将所述参考虚化图像的图像尺寸调整为待处理图像的图像尺寸，并将调整后的参考虚化图像作为所述待处理图像对应的候选预览图像。
[0037]本申请实施例第二方面提供了一种图像虚化装置，所述图像虚化装置包括：
[0038]获取模块，用于获取待处理图像的人像掩膜图，以及所述待处理图像对应的候选预览图像；
[0039]确定模块，用于基于所述人像掩膜图确定所述待处理图像对应的视差图，并基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据；
[0040]融合模块，用于基于所述融合数据，将所述候选预览图像与所述待处理图像融合，以得到所述待处理图像对应的预览图像。
[0041]本申请实施例第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像虚化方法，其特征在于，所述方法包括：获取待处理图像的人像掩膜图及待处理图像对应的候选预览图像；基于所述人像掩膜图确定所述待处理图像对应的视差图，基于所述视差图及所述待处理图像的预览焦点确定所述待处理图像对应的融合数据；基于所述融合数据，将所述候选预览图像与所述待处理图像融合，以得到所述待处理图像对应的预览图像。2.根据权利要求1所述图像虚化方法，其特征在于，所述待处理图像为成像模组中主成像器拍摄的，其中，所述成像模组包括至少主成像器和辅助成像器；主成像器用于拍摄待处理图像，辅助成像器用于拍摄辅助图像，所述辅助图像用于辅助确定待处理图像的视差图。3.根据权利要求1所述图像虚化方法，其特征在于，所述基于所述人像掩膜图确定所述待处理图像对应的视差图具体包括：确定所述待处理图像对应的辅助图像，并基于所述待处理图像以及所述辅助图像确定所述待处理图像对应的候选视差图；基于所述人像掩膜图，在所述候选视差图中选取所述待处理图像中的人像区域对应的目标视差区域；将所述目标视差区域中的各视差像素点的视差值均设置为预设视差值，以得到所述待处理图像对应的视差图。4.根据权利要求3所述图像虚化方法，其特征在于，所述待处理图像的人像区域包括预览焦点，所述预设视差值为所述目标视差区域中的各视差像素点的视差值的平均值。5.根据权利要求1所述图像虚化方法，其特征在于，所述获取待处理图像的人像掩膜图具体为：将所述待处理图像输入人像分割模型，通过所述人像分割模型输出所述待处理图像对应的人像模型；其中，所述人像分割模型包括依次级联的第一卷积模块、第一特征提取模块、第二卷积模块以及第二特征提取模块，所述第一特征提取模块包括第一预设数量的因子化卷积模块，所述第二特征提取模块包括第二预设数量的因子化卷积模块，其中，所述因子化卷积模块包括若干第一卷积层、若干第二卷积层以及融合层，所述第一卷层的卷积核的宽度与高度的比值与第二卷积核的宽度与高度的比值互为倒数，所述融合层的输入项包括与其连接的第一卷积层或第二卷积层的输出项以及因子化卷积模块的输入项。6.根据权利要求5所述的图像虚化方法，其特征在于，所述第一卷积层的卷积核的宽度或者所述第二卷积层的卷积核的宽度等于1。7.根据权利要求5所述的图像虚化方法，其特征在于，所述因子化卷积模块还包括两个第三卷积层，若干第一卷积层和若干第二卷积层交替布置且级联于两个第三卷积层之间，所述融合层的输入项包括两个第三卷积层中的位于最后的第三卷积层的输出项，以及位于最前的第三卷积层的输入项。8.根据权利要求1
‑
7任一项所述的图像虚化方法，其特征在于，所述人像分割模型的训练过程具体包括：将预设训练样本中的训练图像输入预设网络模型，通过所述预设网络模型确定所述训练图像对应的预测人像掩膜图；
获取所述预测人像掩膜图中的人像边缘，并基于人像边缘确定所述预测人像掩膜图对应的权重图；基于所述权重图、预测人像掩膜图以及所述训练图像对应的目标人像掩膜图对所述预设网络模型进行训练，以得到人像分割模型。9.根据权利要求8所述图像虚化方法，其特征在于，所述权重图的图像尺寸与所述预测人像掩膜图的图像尺寸相同，并且所述权重图包括预...

【专利技术属性】
技术研发人员：李鹏，刘阳兴，
申请(专利权)人：武汉TCL集团工业研究院有限公司，
类型：发明
国别省市：