人像分割模型训练及应用方法、装置、设备、介质和产品制造方法及图纸

技术编号：43081208 阅读：9 留言：0更新日期：2024-10-26 09:32

本申请公开了一种人像分割模型的训练及应用方法、装置、设备、介质和产品。该训练方法包括：对未标注的初始图像样本进行遮挡处理，生成未标注的预训练图像样本；基于初始图像样本和预训练图像样本，预训练第一人像分割模型，直至得到预训练好的第一人像分割模型，第一人像分割模型用于对预训练图像样本的遮挡区域进行预测；调整第一人像分割模型的输出层和第一人像分割模型的损失函数，构建第二人像分割模型的网络结构；基于已标注的图像样本和第二人像分割模型的网络结构，调整第二人像分割模型，直至得到调整好的第二人像分割模型。如此，在提升人像分割模型的准确性的同时，又降低了人像分割模型的成本。

全部详细技术资料下载

【技术实现步骤摘要】

本申请涉及图像处理，尤其涉及一种人像分割模型训练及应用方法、装置、设备、介质和产品。

技术介绍

1、人像分割指的是一种将图像中的人像从背景中分离出来，并将人像与背景进行分离以实现背景虚化或背景替换等功能的技术。例如，视频通话中的背景虚化、视频会议中虚拟背景等都采用了人像分割技术。

2、人像分割技术中包括人像分割模型的设计和训练，目前，人像分割模型训练是数据驱动的方式，即通过大量的包含人像的图像数据的标注数据对人像分割模型进行训练，从而提升人像分割模型的准确性，但是，采用上述方式，有标签的数据有限，标注图像又会造成大量的人力消耗，从而降低了人像分割模型的准确性，提升了人像分割模型的成本。

技术实现思路

1、有鉴于此，本申请实施例提供了一种人像分割模型训练及应用方法、装置、设备、介质和产品，旨在提升人像分割模型的准确性的同时，降低人像分割模型的成本。

2、本申请实施例的技术方案是这样实现的：

3、第一方面，本申请实施例提供了一种人像分割模型的训练方法，所述训练方法包括：

4、对未标注的初始图像样本进行遮挡处理，生成未标注的预训练图像样本；

5、基于所述初始图像样本和所述预训练图像样本，预训练第一人像分割模型，直至得到预训练好的第一人像分割模型，所述第一人像分割模型用于对预训练图像样本的遮挡区域进行预测；

6、调整所述第一人像分割模型的输出层和所述第一人像分割模型的损失函数，构建第二人像分割模型的网络结构；

<p>7、基于已标注的图像样本和第二人像分割模型的网络结构，调整所述第二人像分割模型，直至得到调整好的第二人像分割模型；

8、其中，所述第二人像分割模型用于输出待识别图像样本的人像分割结果，所述人像分割结果包括所述待识别图像样本中人像的掩膜图像。

9、在一些实施例中，所述初始图像样本包括：初始图像和初始图像对应的第一像素点数据，所述对未标注的初始图像样本进行遮挡处理，生成未标注的预训练图像样本，包括：

10、基于设定的遮挡比例，对所述第一像素点数据进行遮挡处理，生成预训练图像和预训练图像对应的第二像素点数据；

11、基于预训练图像和预训练图像对应的第二像素点数据，生成未标注的预训练图像样本。

12、在一些实施例中，所述第一人像分割模型包括编码器网络和解码器网络，所述编码器网络对应多个编码阶段，所述多个编码阶段包括下采样阶段和池化阶段，基于所述初始图像样本和所述预训练图像样本，预训练第一人像分割模型，直至得到预训练好的第一人像分割模型，包括：

13、基于所述下采样阶段对应的下采样模块，对所述预训练图像样本进行下采样，生成多个下采样结果，其中，各所述下采样结果的分辨率不同，所述下采样模块为多个，所述下采样结果用于表征上下文图像特征；

14、所述池化阶段对应的池化模块，对最后一个下采样结果进行全局池化，生成目标分辨率对应的目标图像特征数据；

15、基于所述目标图像特征数据、所述多个下采样结果和所述解码器网络，生成预测结果，所述预测结果用于表征预训练图像样本对应的预训练分辨率下的遮挡区域的色彩通道预测数据；

16、基于所述预测结果、所述初始图像样本和损失函数，预训练所第一人像分割模块，直至得到预训练好的第一人像分割模型。

17、在一些实施例中，所述下采样模块包括：一个卷积模块和至少一个短期密集连接模块，所述基于所述预训练图像样本和所述下采样阶段对应的下采样模块，进行下采样，生成多个下采样结果，包括：

18、确定所述卷积模块先于所述短期密集连接模块进行下采样的下采样顺序；

19、基于所述目标分辨率和所述编码阶段的数量，确定下采样幅度；

20、基于所述下采样幅度和所述下采样顺序，依次进行下采样，生成多个下采样结果。

21、在一些实施例中，所述解码器网络包括多个解码阶段，所述多个解码阶段包括第一上采样阶段和第二上采样阶段，所述基于所述目标图像特征、所述多个下采样结果和所述解码器网络，生成预测结果，包括：

22、基于所述第一上采样阶段对应的注意力模块，对所述目标图像特征数据和所述多个下采样结果中的其他下采样结果，进行上采样，生成第一上采样结果，所述第一上采样结果用于表征高分辨率的上下文图像特征；所述其他下采样结果为除最后一个下采样结果和第一个下采样结果以外的下采样结果，所述第一个下采样结果为所述预训练图像样本进行第一次下采样生成的采样结果；

23、基于所述注意力模块对所述第一上采样结果，进行权重分配，生成第二上采样结果；

24、基于所述第二上采样阶段对应的级联模块，对所述第二上采样结果进行上采样，生成第三上采样结果；

25、基于所述级联模块，对所述第三上采样结果和所述第一个下采样结果进行融合处理，生成预测结果，所述预测结果用于表征预训练图像样本对应的预训练分辨率下的遮挡区域的色彩通道预测数据。

26、在一些实施例中，所述调整所述第一人像分割模型的输出层和所述第一人像分割模型的损失函数，构建第二人像分割模型的网络结构，包括：

27、将所述第一人像分割模型输出层的任务从对预训练图像样本的遮挡区域进行预测调整至输出人像分割结果；

28、将阶段交叉熵损失函数设置于所述第一人像模型对应的解码器网络，用于对解码器网络对应的各个解码阶段进行损失函数的计算；

29、将所述第一人像分割模型的损失函数从均方误差损失函数替换为融合交叉熵损失函数和边缘损失函数，所述融合交叉损失函数基于各阶段交叉熵损失函数组成，所述边缘损失函数用于对提取待识别图像样本的边缘宽度的损失值。

30、在一些实施例中，已标注的图像样本包括：已标注人像样本数据，所述基于已标注的图像样本和第二人像分割模型的网络结构，调整所述第二人像分割模型，直至得到调整好的第二人像分割模型，包括：

31、对所述已标注人像样本数据和设定的背景信息进行融合，生成已标注的合成图像样本；

32、基于所述已标注的合成图像样本，微调所述第二人像分割模型；

33、基于所述已标注的图像样本，进一步调整微调后的第二像分割模型，直至得到调整好的第二人像分割模型。

34、第二方面，本申请实施例还提供了一种人像分割模型的应用方法，所述应用方法包括：

35、基于当前帧图像对应的灰度图和前一帧图像对应的灰度图，确定当前帧图像和前一帧图像的光流值；

36、若确定所述光流值大于或者等于设定阈值，则基于如上述第一方面所述的方法训练得到的第二人像分割模型对所述当前帧图像进行人像分割，生成人像分割结果，所述人像分割结果包括当前帧图像中的人像的掩膜图像；

37、基于所述人像的掩膜图像和设定的背景信息，生成虚拟背景信息。

38、在一些实施例中，所述基于所述人像的掩膜图像和设定的背景信息，生成虚拟本文档来自技高网...

【技术保护点】

1.一种人像分割模型的训练方法，其特征在于，所述训练方法包括：

2.根据权利要求1所述的训练方法，其特征在于，所述初始图像样本包括：初始图像和初始图像对应的第一像素点数据，所述对未标注的初始图像样本进行遮挡处理，生成未标注的预训练图像样本，包括：

3.根据权利要求1所述的训练方法，其特征在于，所述第一人像分割模型包括编码器网络和解码器网络，所述编码器网络对应多个编码阶段，所述多个编码阶段包括下采样阶段和池化阶段，基于所述初始图像样本和所述预训练图像样本，预训练第一人像分割模型，直至得到预训练好的第一人像分割模型，包括：

4.根据权利要求3所述的方法，其特征在于，所述下采样模块包括：一个卷积模块和至少一个短期密集连接模块，所述基于所述预训练图像样本和所述下采样阶段对应的下采样模块，进行下采样，生成多个下采样结果，包括：

5.根据权利要求4所述的训练方法，其特征在于，所述解码器网络包括多个解码阶段，所述多个解码阶段包括第一上采样阶段和第二上采样阶段，所述基于所述目标图像特征、所述多个下采样结果和所述解码器网络，生成预测结果，包括：>

6.根据权利要求1所述的训练方法，其特征在于，所述调整所述第一人像分割模型的输出层和所述第一人像分割模型的损失函数，构建第二人像分割模型的网络结构，包括：

7.根据权利要求1所述的训练方法，其特征在于，已标注的图像样本包括：已标注人像样本数据，所述基于已标注的图像样本和第二人像分割模型的网络结构，调整所述第二人像分割模型，直至得到调整好的第二人像分割模型，包括：

8.一种人像分割模型的应用方法，其特征在于，所述应用方法包括：

9.根据权利要求8所述的方法，其特征在于，所述基于所述人像的掩膜图像和设定的背景信息，生成虚拟背景信息，包括：

10.一种用于人像分割模型的训练装置，其特征在于，所述训练装置包括：

11.一种人像分割装置，其特征在于，所述人像分割装置包括：

12.一种电子设备，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，

13.一种计算机存储介质，所述计算机存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1至9任一项所述方法的步骤。

14.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序在被处理器执行时，实现权利要求1至9任一项所述方法的步骤。

...

【技术特征摘要】

1.一种人像分割模型的训练方法，其特征在于，所述训练方法包括：

5.根据权利要求4所述的训练方法，其特征在于，所述解码器网络包括多个解码阶段，所述多个解码阶段包括第一上采样阶段和第二上采样阶段，所述基于所述目标图像特征、所述多个下采样结果和所述解码器网络，生成预测结果，包括：

6.根据权利要求1所述的训练方法，其特征在于，所述调整所述第一人像分割模...

【专利技术属性】
技术研发人员：闫敏，王千，柳欣，叶晓倩，杜瞻，邓涵，高欢，邓超，冯俊兰，
申请(专利权)人：中国移动通信有限公司研究院，
类型：发明
国别省市：

全部详细技术资料下载我是这个专利的主人