图像处理方法和装置、电子设备制造方法及图纸

本申请涉及一种图像处理、人像分割模型的训练方法和装置、电子设备以及计算机可读存储介质，包括：获取待处理RGB图像和对应的深度图；将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型，所述人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，所述训练损失代价包括基于修正区域确定的局部损失代价，所述修正区域是基于训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到的区域；根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像掩膜图，提升了人像分割的精度。提升了人像分割的精度。提升了人像分割的精度。

【技术实现步骤摘要】
图像处理方法和装置、电子设备


[0001]本申请涉及计算机
，特别是涉及一种图像处理、人像分割模型的训练方法和装置、电子设备以及计算机可读存储介质。

技术介绍

[0002]目前人像掩膜图的生成方法，通常采用matting(抠图)的方法来抠图人像，并将抠图结果用于虚化、曝光、对焦等不同应用处理。而在人像虚化、留色等应用中，当图像中含有遮挡物或手持物时，易出现遮挡物分割空洞或手持物分割丢失的问题。

技术实现思路

[0003]本申请实施例提供一种图像处理、人像分割模型的训练方法和装置、电子设备以及计算机可读存储介质，融合深度信息训练人像分割模型，解决了人像含有手持物或者身前含有遮挡物时，易出现遮挡物分割空洞或者分割丢失的问题，提升了人像分割的精度。
[0004]一种图像处理方法，包括：
[0005]获取待处理RGB图像和对应的深度图；
[0006]将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型，所述人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，所述训练损失代价包括基于修正区域确定的局部损失代价，所述修正区域是基于训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到的区域；
[0007]根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像掩膜图。
[0008]一种图像处理装置，包括：
[0009]获取模块，用于获取待处理RGB图像和对应的深度图；
[0010]输入模块，用于将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型，所述人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，所述训练损失代价包括基于修正区域确定的局部损失代价，所述修正区域是基于训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到的区域；
[0011]输出模块，用于根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像分割掩膜图。
[0012]一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0013]获取待处理RGB图像和对应的深度图；
[0014]将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型，所述人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，所述训练损失代价包括基于修正区域确定的局部损失代价，所述修正区域
是基于训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到的区域；
[0015]根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像掩膜图。
[0016]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如下步骤：
[0017]获取待处理RGB图像和对应的深度图；
[0018]将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型，所述人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，所述训练损失代价包括基于修正区域确定的局部损失代价，所述修正区域是基于训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到的区域；
[0019]根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像掩膜图。
[0020]上述图像处理方法、装置、电子设备以及计算机可读存储介质，通过获取待处理RGB图像和对应的深度图；将待处理RGB图像和对应的深度图输入已训练的人像分割模型，人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，训练损失代价包括基于修正区域确定的局部损失代价，修正区域是基于训练人像掩膜图确定深度阈值，根据深度阈值从对应的训练深度图中划分得到的区域；根据人像分割模型的输出得到待处理RGB图像对应的人像掩膜图，由于人像分割模型的训练考虑了局部损失代价，局部损失代价中的修正区域往往包括人像区域、手持物和遮挡物，从而使得已训练的人像分割模型在进行人像分割时，深度图通常含有较精确的手持物或者遮挡物信息，可以引导人像分割网络分割出较完整的含有手持物或者遮挡物的人像掩膜图，能避免遮挡物分割空洞或者分割丢失的问题，提升了人像分割的精度。
[0021]一种人像分割模型的训练方法，包括：
[0022]获取训练RGB图像和对应的训练深度图；
[0023]将所述训练RGB图像和对应的训练深度图输入人像分割模型，所述人像分割模型输出训练人像掩膜图；
[0024]基于所述训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到修正区域；
[0025]基于所述修正区域确定局部区域，根据所述局部区域计算所述训练人像掩膜图与已标注人像掩膜图之间的局部损失代价；
[0026]基于所述局部损失代价计算得到训练损失代价；
[0027]根据所述训练损失代价调整所述人像分割模型的网络参数直到满足收敛条件，得到已训练的人像分割模型。
[0028]一种人像分割模型的训练装置，包括：
[0029]获取模块，用于获取训练RGB图像和对应的训练深度图；
[0030]输入模块，用于将所述训练RGB图像和对应的训练深度图输入人像分割模型，所述人像分割模型输出训练人像掩膜图；
[0031]修正区域确定模块，用于基于所述训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到修正区域；
[0032]训练损失代价确定模块，用于基于所述修正区域确定局部区域，根据所述局部区域计算所述训练人像掩膜图与已标注人像掩膜图之间的局部损失代价，基于所述局部损失代价计算得到训练损失代价；
[0033]人像分割模型确定模块，用于根据所述训练损失代价调整所述人像分割模型的网络参数直到满足收敛条件，得到已训练的人像分割模型。
[0034]一种电子设备，包括存储器以及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：
[0035]获取训练RGB图像和对应的训练深度图；
[0036]将所述训练RGB图像和对应的训练深度图输入人像分割模型，所述人像分割模型输出训练人像掩膜图；
[0037]基于所述训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到修正区域；
[0038]基于所述修正区域确定局部区域，根据所述局部区域计算所述训练人像掩膜图与已标注人像掩膜图之间的局部损失代价；
[0039]基于所述局部损失代价计算得到训练损失代价；
[0040]根据所述训练损失代价调整所述人像分割模型的网络参数直到满足收敛条件，得到已训练的人像分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理RGB图像和对应的深度图；将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型，所述人像分割模型是预先通过训练RGB图像、对应的训练深度图和已标注人像掩膜图，基于训练损失代价训练得到的，所述训练损失代价包括基于修正区域确定的局部损失代价，所述修正区域是基于训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到的区域；根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像掩膜图。2.根据权利要求1所述的方法，其特征在于，所述局部损失代价是基于修正区域与训练背景区域确定的局部区域对应的损失代价，所述修正区域是根据训练人像区域对应于所述训练深度图上目标区域的深度确定深度阈值，根据所述深度阈值从训练深度图中划分得到的区域，所述训练背景区域和所述训练人像区域是根据人像分割模型在训练过程中输出的训练人像掩膜图确定的。3.根据权利要求1所述的方法，其特征在于，所述深度图的获取包括以下方式中的至少一种：获取双摄像头拍摄得到的第一图像和第二图像，对所述第一图像和第二图像进行双摄标定得到所述深度图；获取单摄景深摄像头拍摄得到的所述深度图；获取ToF摄像头采集得到的所述深度图；获取通过结构光采集得到的所述深度图；将所述待处理RGB图像输入单目深度估计网络，所述单目深度估计网络输出所述深度图。4.根据权利要求1所述的方法，其特征在于，所述获取待处理RGB图像和对应的深度图包括：获取双摄像头拍摄得到的第一图像和第二图像；分别对第一图像和第二图像提取特征得到对应的第一特征和第二特征；对所述第一特征和第二特征进行相关性计算得到相关性结果；将所述相关性结果输入双目深度估计网络，所述双目深度估计网络输出所述深度图。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述将所述待处理RGB图像和对应的深度图输入已训练的人像分割模型之前，还包括：分别对所述待处理RGB图像和对应的深度图进行图像缩放处理调整到预设尺寸；将调整到预设尺寸的待处理RGB图像和对应的深度图进行归一化处理；将归一化处理后的待处理RGB图像和对应的深度图进行图像通道拼接。6.根据权利要求1所述的方法，其特征在于，所述根据所述人像分割模型的输出得到所述待处理RGB图像对应的人像分割掩膜图之后，还包括：确定所述人像掩膜图中的背景区域；基于所述背景区域在所述待处理RGB图像中的位置，对所述待处理RGB图像中的背景区域进行虚化处理，得到目标图像。7.一种人像分割模型的训练方法，其特征在于，包括：
获取训练RGB图像和对应的训练深度图；将所述训练RGB图像和对应的训练深度图输入人像分割模型，所述人像分割模型输出训练人像掩膜图；基于所述训练人像掩膜图确定深度阈值，根据所述深度阈值从对应的训练深度图中划分得到修正区域；基于所述修正区域确定局部区域，根据所述局部区域计算所述训练人像掩膜图与已标注人像掩膜图之间的局部损失代价；基于所述局部损失代价计算得到训练损失代价；根据所述训练损失代价调整所述人像分割模型...

【专利技术属性】
技术研发人员：王顺飞，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：