抠图模型的训练方法、抠图方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种抠图模型的训练方法、抠图方法、装置、设备及存储介质，其中，该方法包括：获取带标签的第一样本图像和无标签的第二样本图像，第一样本图像和第二样本图像均包括目标对象，标签为第一样本图像的抠图结果；基于第一样本图像和第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型。通过上述方式，本申请能够同时提升抠图小模型的语义表征和信息提取能力、泛化能力。泛化能力。泛化能力。

【技术实现步骤摘要】
抠图模型的训练方法、抠图方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，特别是涉及一种抠图模型的训练方法、抠图方法、装置、设备及存储介质。

技术介绍

[0002]图像分割是计算机视觉研究中的一个经典难题，已经成为图像理解领域关注的一个热点，图像分割是图像分析的第一步，是计算机视觉的基础，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一。所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来，俗称抠图。
[0003]主体抠图算法是一种基于显著性抠图技术，从输入图像中分割出主体目标的算法。然而，主体抠图小模型受限于自身的参数量，往往难以达到大模型的语义表征和信息提取能力，且无法兼顾泛化能力。

技术实现思路

[0004]本申请第一方面提供了一种抠图模型的训练方法，包括：获取带标签的第一样本图像和无标签的第二样本图像，第一样本图像和第二样本图像均包括目标对象，标签为第一样本图像的抠图结果；基于第一样本图像和第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型。
[0005]本申请第二方面提供了一种抠图模型的训练装置，包括：获取模块，用于获取带标签的第一样本图像和无标签的第二样本图像，第一样本图像和第二样本图像均包括目标对象，标签为第一样本图像的抠图结果；训练模块，用于基于第一样本图像和第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型。
[0006]本申请第三方面提供了一种抠图方法，包括：获取待处理图像，待处理图像中包含目标对象；利用前述抠图模型的训练方法训练得到的抠图模型对待处理图像进行处理，得到抠图图像。
[0007]本申请第四方面提供了一种电子设备，一种抠图装置，包括：获取模块，用于获取待处理图像，待处理图像中包含目标对象；抠图模块，用于利用如前述的抠图模型的训练方法训练得到的抠图模型对待处理图像进行处理，得到抠图图像。
[0008]本申请第五方面提供了一种电子设备，该电子设备包括相互耦接的存储器和处理器，存储器用于存储程序数据，处理器用于执行程序数据以实现前述的方法。
[0009]本申请第六方面提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序数据，程序数据在被处理器执行时，用以实现前述的方法。
[0010]本申请的有益效果是：区别于现有技术的情况，本申请通过获取带标签的第一样本图像和无标签的第二样本图像，第一样本图像和第二样本图像均包括目标对象，标签为
第一样本图像的抠图结果；基于第一样本图像和第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型，不仅能够提升抠图小模型的语义表征和信息提取能力，还可以提升泛化能力。
附图说明
[0011]为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要的附图作简单的介绍，显而易见地，下面描述的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
[0012]图1是本申请抠图模型的训练方法一实施例的流程示意图；
[0013]图2是图1中步骤S12另一实施方式的流程示意图；
[0014]图3是图2中步骤S122另一实施方式的流程示意图；
[0015]图4是本申请抠图模型的训练方法的一实施例的另一流程示意图；
[0016]图5是本申请抠图方法一实施例的流程示意图；
[0017]图6是本申请抠图模型的训练装置一实施例的结构示意框图；
[0018]图7是本申请抠图装置一实施例的结构示意框图；
[0019]图8是本申请电子设备一实施例的结构示意框图；
[0020]图9是本申请计算机可读存储介质一实施例的结构示意框图。
具体实施方式
[0021]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0022]本申请中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0023]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0024]请参阅图1，图1是本申请抠图模型的训练方法一实施例的流程示意图。其中，本实施例的执行主体为电子设备，具体可以为具有计算能力的电子设备，例如计算机、手机、服务器等。
[0025]该方法可以包括以下步骤：
[0026]步骤S11：获取带标签的第一样本图像和无标签的第二样本图像，第一样本图像和
第二样本图像均包括目标对象，标签为第一样本图像的抠图结果。
[0027]目标对象可以包括但不限于：人像(包含人的任一部位)、动物(如猫、狗等宠物)、静物(如杯子、板凳等非生物)、植物(如花、草、树木)等。抠图的目的是将图像中的目标对象和背景分割开来，将目标对象单独提取出来。
[0028]在本实施例中，样本图像包括两部分，一部分是带标签的第一样本图像，另一部分是无标签的第二样本图像。
[0029]在一些实施方式中，样本图像可以通过人工采集得到，具体可以基于图像采集装置进行采集，例如通过相机对目标对象进行拍摄得到。在另一些实施方式中，样本图像可以通过爬虫工具从网上获得或者从公共样本数据库中获得。可以理解的，上述实施方式之间可以进行结合，即样本图像中部分图像人工采集得到，部分图像通过爬虫工具从网上获得或者从公共样本数据库中获得。其中，第一样本图像的标签可以是由人工标注或机器标注的，此处不做限定。
[0030]步骤S12：基于第一样本图像和第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抠图模型的训练方法，其特征在于，包括：获取带标签的第一样本图像和无标签的第二样本图像，所述第一样本图像和所述第二样本图像均包括目标对象，所述标签为所述第一样本图像的抠图结果；基于所述第一样本图像和所述第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型。2.根据权利要求1中所述的方法，其特征在于，所述基于所述第一样本图像和所述第二样本图像，以联合多教师模型的知识蒸馏和半监督学习的方式对学生模型进行训练，得到抠图模型，包括：利用至少两个预先训练好的所述教师模型分别对同一张所述第一样本图像进行处理，得到至少两个第一抠图结果，其中，不同所述教师模型是基于不同维度的样本图像进行训练得到；基于至少两个所述第一抠图结果，从至少两个所述教师模型中确定出最优教师模型；利用一个训练好的预设模型对所述第二样本图像进行处理，得到第二抠图结果；利用所述学生模型对所述第一样本图像进行处理，得到第三抠图结果，以及利用所述学生模型对所述第二样本图像进行处理，得到第四抠图结果；基于所述最优教师模型的第一抠图结果和第三抠图结果计算第一损失值，以及基于所述第三抠图结果和所述第一样本图像的标签计算的第二损失值；基于所述第二抠图结果和所述第四抠图结果计算第三损失值；基于所述第一损失值、所述第二损失值、所述第三损失值对所述学生模型的参数进行调整。3.根据权利要求2中所述的方法，其特征在于，所述基于至少两个所述第一抠图结果，从至少两个所述教师模型中确定出最优教师模型，包括：针对每个所述教师模型，基于所述第一抠图结果和所述标签计算的评价指标；基于每个所述教师模型对应的评价指标确定最优教师模型。4.根据权利要求2中所述的方法，其特征在于，至少两个所述教师模型采用如下方法训练得到：利用带标签的第三样本图像对一个基础模型进行预训练，得到预训练模型；分别利用不同维度的第四样本图像对所述预训练模型进行训练，得到预先训练好的至少两个所述教师模型。5.根据权利要求4中所述的方法，其特征在于，所...

【专利技术属性】
技术研发人员：王凡祎，张严浩，
申请(专利权)人：上海瑾盛通信科技有限公司，
类型：发明
国别省市：