一种抠图模型训练、图像抠图的方法及装置制造方法及图纸

本申请适用于图像处理的技术领域，提供一种抠图模型训练、图像抠图的方法及装置，所述校正方法包括：获取训练样本集合、初始教师模型以及初始学生模型；通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到抠图模型。由于抠图模型不仅拥有目标教师模型中的第一权重参数，且不断学习目标教师模型输出的第一透明度蒙版，故在保证处理精度的前提下，巧妙地缩减了模型的体量以及处理时长。妙地缩减了模型的体量以及处理时长。妙地缩减了模型的体量以及处理时长。

【技术实现步骤摘要】
一种抠图模型训练、图像抠图的方法及装置


[0001]本申请属于图像处理的
，尤其涉及一种抠图模型训练、图像抠图的方法及装置。

技术介绍

[0002]在图像处理领域中，前景抠图是一种常用的处理手段。其中，前景抠图是指提取图像中感兴趣区域(前景)，获取一张精细的透明度蒙版，利用透明度蒙版从图像或视频中提取抠图对象，从而将抠图对象应用于照片编辑、电影再创作中。
[0003]传统的抠图技术，往往采用抠图模型获取透明度蒙版，进而根据透明度蒙版从图像或视频中提取抠图对象。然而，为了进一步提升抠图模型的处理精度，传统的抠图模型往往体量较大，导致处理时长较长，无法应用于实时抠图的应用场景。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种抠图模型训练的方法、一种图像抠图的方法、一种抠图模型训练的装置、一种图像抠图的装置、第一终端设备、第二终端设备以及计算机可读存储介质，可以解决传统的抠图模型往往体量较大，导致处理时长较长，无法应用于实时抠图的应用场景的技术问题。
[0005]本申请实施例的第一方面提供了一种抠图模型训练的方法，所述方法包括：
[0006]获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；
[0007]通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；
[0008]分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；
[0009]根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到抠图模型。
[0010]本申请实施例的第二方面提供了一种图像抠图的方法，所述方法包括：
[0011]获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；
[0012]将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；
[0013]根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。
[0014]本申请实施例的第三方面提供了一种抠图模型训练的装置，所述装置包括：
[0015]第一获取单元，用于获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；
[0016]第一训练单元，用于通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；
[0017]迁移单元，用于分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；
[0018]第二训练单元，用于根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。
[0019]本申请实施例的第四方面提供了一种抠图模型训练的装置，所述装置包括：
[0020]第二获取单元，用于获取待抠图图像、背景图像以及所述待抠图图像对应的深度图像；其中，所述待抠图图像和所述背景图像为相同取景位置下采集的图像，所述待抠图图像中包括抠图对象，所述背景图像中不包括所述抠图对象；
[0021]处理单元，用于将所述待抠图图像、所述背景图像以及所述深度图像输入预先训练的抠图模型中，得到由所述抠图模型输出的目标透明度蒙版；所述抠图模型由过渡学生模型训练得到，所述过渡学生模型由目标教师模型的第一权重参数迁移至初始学生模型得到；所述抠图模型的网络结构复杂度低于所述目标教师模型的网络结构复杂度；
[0022]截取单元，用于根据所述目标透明度蒙版，截取所述待抠图图像中所述抠图对象对应的抠图图像。
[0023]本申请实施例的第五方面提供了一种第一终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述方法的步骤。
[0024]本申请实施例的第六方面提供了一种第二终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第二方面所述方法的步骤。
[0025]本申请实施例的第七方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面或第二方面所述方法的步骤。
[0026]本申请实施例与现有技术相比存在的有益效果是：本申请通过训练初始教师模型得到目标教师模型。由于目标教师模型的网络结构处理精度较高，故将目标教师模型中的第一权重参数迁移至初始学生模型中，得到过渡学生模型。并根据目标教师模型输出的第一透明度蒙版和训练样本集合，训练过渡学生模型，得到抠图模型。由于抠图模型不仅拥有目标教师模型中的第一权重参数，且不断学习目标教师模型输出的第一透明度蒙版，故抠图模型具有与目标教师模型相近的处理精度，且抠图模型的网络结构较为简单，故在保证处理精度的前提下，巧妙地缩减了模型的体量以及处理时长。
附图说明
[0027]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0028]图1示出了本申请提供的一种抠图模型训练的方法的示意性流程图；
[0029]图2示出了学生模型和教师模型的示意图；
[0030]图3示出了本申请提供的一种抠图模型训练的方法中步骤103具体示意性流程图；
[0031]图4示出了本申请提供的一种抠图模型训练的方法中步骤103具体示意性流程图；
[0032]图5示出了本申请提供的一种抠图模型训练的方法中步骤1043具体示意性流程图；
[0033]图6示出了本申请提供的一种抠图模型训练的方法中步骤A4具体示意性流程图；
[0034]图7示出了本申请提供的一种图像抠图的方法的示意性流程图；
[0035]图8示出了本申请提供的一种抠图模型训练的装置的示意图；
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种抠图模型训练的方法，其特征在于，所述方法包括：获取训练样本集合、初始教师模型以及初始学生模型；其中，所述初始学生模型的网络结构复杂度低于所述初始教师模型的网络结构复杂度；每个训练样本中包括输入样本和输出样本；所述输入样本包括待抠图图像、背景图像以及所述待抠图图像的深度图像，所述输出样本包括待抠图图像对应的标准透明度蒙版；通过所述训练样本集合，训练所述初始教师模型得到目标教师模型以及所述目标教师模型输出的第一透明度蒙版；分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型；根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型。2.如权利要求1所述方法，其特征在于，所述分别将所述目标教师模型中的第一权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型，包括：将浮点型的所述第一权重参数，量化为整型数据，得到第二权重参数；将所述第二权重参数迁移至所述初始学生模型中的各个子网络中，得到过渡学生模型。3.如权利要求2所述方法，其特征在于，所述将浮点型的所述第一权重参数，量化为整型数据，得到第二权重参数，包括：将每个第一权重参数依次代入第一公式组中，得到所述每个第一权重参数对应的第二权重参数；所述第一公式组如下：所述第一公式组如下：所述第一公式组如下：其中，A表示第一量化参数，J
max
表示在所有第一权重参数中的最大权重参数，J
min
表示在所有第一权重参数中的最小权重参数，α表示预设整型数据范围中的最大值，和表示四舍五入取整，B表示第一预设整型值，所述第一预设整型值是指浮点型第一权重参数为零时对应的第一整型值，N表示所述每个第一权重参数，C表示所述每个第一权重参数对应的第二权重参数。4.如权利要求1所述方法，其特征在于，所述根据所述第一透明度蒙版以及所述训练样本集合，训练所述过渡学生模型得到所述抠图模型，包括：将所述第一透明度蒙版中每个像素的浮点型透明度量化为整型数据，得到第二透明度蒙版；将训练样本输入所述过渡学生模型，得到由所述过渡学生模型输出的第三透明度蒙
版；根据所述第二透明度蒙版和所述第三透明度蒙版，调整所述过渡学生模型中的第三权重参数；将所述训练样本集合中的各个训练样本依次执行所述将训练样本输入所述过渡学生模型，得到由所述过渡学生模型输出的第三透明度蒙版的步骤以及后续步骤，得到所述抠图模型。5.如权利要求4所述方法，其特征在于，所述将所述第一透明度蒙版中每个像素的浮点型透明度量化为整型数据，得到第二透明度蒙版，包括：将所述第一透明度蒙版中每个像素的浮点型透明度代入第二公式组中，得到第二透明度蒙版；所述第二公式组如下：所述第二公式组如下：所述第二公式组如下：其中，D表示第二量化参数，K
max
表示第一透明度蒙版中最大透明度，K
min
表示第一透明度蒙版中最小透明度，α表示预设整型数据范围中的最大值，和表示四舍五入取整，E表示第二预设整型透明度，所述第二预设整型透明度是指浮点型透明度为零时对应的第二整型值，M表示所述每个像素的浮点型透明度，F表示所述每个像素的浮点型透明度对应的整型透明度。6.如权利要求4所述方法，其特征在于，所述根据所述第二透明度蒙版和所述第三透明度蒙版，调整所述过渡学生模型中的第三权重参数，包括：通过第一公式计算第一损失函数；所述第一公式如下：其中，H表示合成图像的预设长度，M表示合成图像的预设宽度，a
i,j
表示第二透明度蒙版中第i行第j列像素的第一透明度，表示第三透明度蒙版中第i行第j列像素的第二透明度；通过第二公式计算第二损失函数；所述第二公式如下：
...

【专利技术属性】
技术研发人员：王闯闯，钱贝贝，杨飞宇，胡正，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：