人像分割模型的训练方法及相关装置制造方法及图纸

本申请实施例涉及图像处理技术领域，公开了一种人像分割模型的训练方法及相关装置，该人像分割模型包括数据预处理模块、四输入编码模块和解码模块，该训练方法通过基于损失函数与在线难例挖掘策略对人像分割模型进行训练，该损失函数包括均方差损失函数和交叉熵损失函数，使得四输入编码模块对人体特征信息图像进行特征提取和融合，并将得到的特征图像作用于解码模块，得到主体目标高精度分割图，从而使得本申请能够提高人像分割的稳定性和准确性。性。性。

【技术实现步骤摘要】
人像分割模型的训练方法及相关装置


[0001]本申请实施例涉及图像处理
，特别是涉及一种人像分割模型的训练方法及相关装置。

技术介绍

[0002]随着消费者对在线试衣的需求日渐强烈，虚拟试衣也成为现代计算机视觉领域的重要的方向。目前线下智能试装多采用的是互动试衣镜设备，购物者站在试衣镜前选择试穿服装，试衣镜会根据用户的基本特征和服装款式进行整体的着装展示；线上试装一般通过拍摄用户图像，选择系统提供的目标服饰，进行自动替换。
[0003]无论是智能试衣镜还是线上虚拟试装，现有技术大多通过采集人体数据经三维建模的方式重塑用户形象。然而在现实场景的拍照过程中，图像里往往会有多个人体目标出现，而只有其中的主体目标是需要获取的，其它人体目标的存在会导致虚拟试衣无法完成。
[0004]现有技术通常采用基于像素差值二值化的分割算法或者基于卷积网络的生成模型对图像进行分割以提取图像中的主体目标，然而这两种方法都会分割全部的前景目标，残留相近颜色的人体或杂物，无法实现精准保留图像中的主体目标。

技术实现思路

[0005]本申请实施例旨在提供一种人像分割模型的训练方法及相关装置，以提高人像分割的稳定性和准确性。
[0006]本申请实施例提供以下技术方案：
[0007]第一方面，本申请实施例提供一种人像分割模型的训练方法，该人像分割模型包括数据预处理模块、四输入编码模块和解码模块，该方法包括：
[0008]获取图像数据集，其中，图像数据集包括多个目标的人物图像；
[0009]基于数据预处理模块，对每一人物图像进行数据预处理，以得到每一人物图像对应的人体特征信息图像；
[0010]基于四输入编码模块，对人体特征信息图像进行特征提取和融合，以得到特征图像；
[0011]基于解码模块，对特征图像进行解码，以得到主体目标高精度分割图；
[0012]构建损失函数，基于损失函数与在线难例挖掘策略对人像分割模型进行训练，直至损失函数收敛，其中，损失函数包括均方差损失函数和交叉熵损失函数。
[0013]在一些实施例中，数据预处理模块包括人体高精度分割网络和人体实例分割网络；
[0014]人体特征信息图像包括人体高精度分割图和人体实例分割图；
[0015]基于数据预处理模块，对每一人物图像进行数据预处理，以得到每一人物图像对应的人体特征信息图像，包括：
[0016]基于人体高精度分割网络对每一人物图像进行人像轮廓特征提取，得到每一人物
图像对应的人体高精度分割图；
[0017]基于人体实例分割网络对每一人体高精度分割图进行分割，得到每一人体高精度分割图对应的人体实例分割图。
[0018]在一些实施例中，人体特征信息图像还包括人体关键点图像；
[0019]基于数据预处理模块，对每一人物图像进行数据预处理，以得到每一人物图像对应的人体特征信息图像，还包括：
[0020]通过人体姿态评估算法对每一人物图像进行检测，得到每一人物图像对应的人体关键点图像。
[0021]在一些实施例中，基于四输入编码模块，对人体特征信息图像进行特征提取和融合，以得到特征图像，包括：
[0022]基于四输入编码模块，对每一人物图像与人物图像对应的人体关键点图像、人体高精度分割图、人体实例分割图进行特征提取和融合，以得到特征图像，其中，四输入编码模块包括扩张卷积层、卷积层、激活函数层和批归一化层。
[0023]在一些实施例中，四输入编码模块包括：
[0024][0025]其中，表示第x+1层的第i个特征图像，BN表示批归一化操作，表示Swish激活函数，表示Swish激活函数，表示Relu激活函数，Fix表示第x层的第i个特征图像,Gix+1表示第x+1层的扩张卷积核，表示第x+1层的标准卷积核，表示偏置项。
[0026]在一些实施例中，解码模块包括转置卷积层、激活函数层和批归一化层；
[0027]损失函数包括：
[0028]Loss＝L
MSE
+λ1L
BCE
[0029]其中，Loss表示损失函数，L
MSE
表示均方差损失函数，λ1表示超参数，L
BCE
表示交叉熵损失函数。
[0030]在一些实施例中，均方差损失函数包括：
[0031][0032]其中，L
MSE
表示均方差损失函数，x表示真实样本，表示预测样本，λ
OHEM
表示在线难例挖掘策略系数，n表示样本数量。
[0033]在一些实施例中，交叉熵损失函数，包括：
[0034][0035]其中，L
BCE
表示交叉熵损失函数，n表示样本数量,y
i
表示第i个真实样本的分类标签，p
i
表示第i个预测样本的分类标签。
[0036]在一些实施例中，基于损失函数与在线难例挖掘策略对人像分割模型进行训练，直至损失函数收敛，包括：
[0037]获取每一批次的样本，其中，样本包括人物图像；
[0038]计算当前批次的每一样本的损失函数值；
[0039]根据损失函数值，对当前批次的全部样本进行排序，确定当前批次的困难样本；
[0040]基于困难样本，对人像分割模型进行训练；
[0041]保存每次训练的损失函数值；
[0042]当迭代次数大于预设次数时，对当前训练得到的损失函数值与已保存的损失函数值进行升序排列；
[0043]若当前训练得到的损失函数值的排序名次大于预设序列值，则损失函数收敛。
[0044]第二方面，本申请实施例提供一种人物图像的分割方法，包括：
[0045]获取待分割的人物图像；
[0046]将待分割的人物图像输入人像分割模型，得到待分割的人物图像对应的主体目标高精度分割图，其中，人像分割模型是基于第一方面的人像分割模型的训练方法进行训练得到的。
[0047]第三方面，本申请实施例提供一种电子设备，包括：
[0048]至少一个处理器，以及
[0049]与至少一个处理器通信连接的存储器，其中，
[0050]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行第一方面的人像分割模型的训练方法或第二方面的人物图像的分割方法。
[0051]第四方面，本申请实施例提供一种非易失性计算机可读存储介质，非易失性计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使电子设备执行第一方面的人像分割模型的训练方法或第二方面的人物图像的分割方法。
[0052]本申请实施例的有益效果：区别于现有技术的情况，本申请实施例提供一种人像分割模型的训练方法，该人像分割模型包括数据预处理模块、四输入编码模块和解码模块，该方法包括：获取图像数据集，其中，图像数据集包括多个目标的人物图像；基于数据预处理模块，对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人像分割模型的训练方法，其特征在于，所述人像分割模型包括数据预处理模块、四输入编码模块和解码模块，所述方法包括：获取图像数据集，其中，所述图像数据集包括多个目标的人物图像；基于所述数据预处理模块，对每一所述人物图像进行数据预处理，以得到每一所述人物图像对应的人体特征信息图像；基于所述四输入编码模块，对所述人体特征信息图像进行特征提取和融合，以得到特征图像；基于所述解码模块，对所述特征图像进行解码，以得到主体目标高精度分割图；构建损失函数，基于所述损失函数与在线难例挖掘策略对所述人像分割模型进行训练，直至所述损失函数收敛，其中，所述损失函数包括均方差损失函数和交叉熵损失函数。2.根据权利要求1所述的方法，其特征在于，所述数据预处理模块包括人体高精度分割网络和人体实例分割网络；所述人体特征信息图像包括人体高精度分割图和人体实例分割图；所述基于所述数据预处理模块，对每一所述人物图像进行数据预处理，以得到每一所述人物图像对应的人体特征信息图像，包括：基于所述人体高精度分割网络对每一所述人物图像进行人像轮廓特征提取，得到每一所述人物图像对应的人体高精度分割图；基于所述人体实例分割网络对每一所述人体高精度分割图进行分割，得到每一所述人体高精度分割图对应的人体实例分割图。3.根据权利要求2所述的方法，其特征在于，所述人体特征信息图像还包括人体关键点图像；所述基于所述数据预处理模块，对每一所述人物图像进行数据预处理，以得到每一所述人物图像对应的人体特征信息图像，还包括：通过人体姿态评估算法对每一所述人物图像进行检测，得到每一所述人物图像对应的人体关键点图像。4.根据权利要求3所述的方法，其特征在于，所述基于所述四输入编码模块，对所述人体特征信息图像进行特征提取和融合，以得到特征图像，包括：基于所述四输入编码模块，对每一所述人物图像与所述人物图像对应的人体关键点图像、人体高精度分割图、人体实例分割图进行特征提取和融合，以得到特征图像，其中，所述四输入编码模块包括扩张卷积层、卷积层、激活函数层和批归一化层。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述四输入编码模块包括：其中，表示第x+1层的第i个特征图像，BN表示批归一化操作，表示Swish激活函数，表示Swish激活函数，表示Relu激活函数，
Fix表示第x层的第i个特征图像,Gix+1表示第x+1层的扩张卷积核，表示...

【专利技术属性】
技术研发人员：敖阳，
申请(专利权)人：深圳数联天下智能科技有限公司，
类型：发明
国别省市：