基于损失值的抠图模型训练方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种基于损失值的抠图模型训练方法、装置、设备及介质。本申请应用于视频抠图的技术领域，其包括：将从预设图库中获取的RGB三通道图输入抠图模型以得到第一特征图、第二特征图以及第三特征图；根据预设三分图采用第一复合损失函数计算第一特征图与标注掩膜图之间的损失以得到第一损失值；采用第二复合损失函数计算第二特征图与标注掩膜图之间的损失以得到第二损失值；根据预设三分图采用第三复合损失函数计算第三特征图与标注掩膜图之间的损失以得到第三损失值；根据第一损失值、第二损失值以及第三损失值对抠图模型中的抠图参数进行优化，并返回执行直至预设训练条件为止。本申请实施例可提高抠图效果。果。果。

【技术实现步骤摘要】
基于损失值的抠图模型训练方法、装置、设备及介质


[0001]本专利技术实施例涉及视频抠图
，尤其涉及一种基于损失值的抠图模型训练方法、装置、设备及介质。

技术介绍

[0002]现有技术中的抠图模型通常基于图像分割损失函数及视频抠图损失函数对视频进行抠图。具体地，基于图像分割损失函数是将视频看作一帧一帧的图像，对图像进行分割得到背景和前景，对背景和前景分别建模得到两张特征图，拟合的损失函数包括Cross Entropy(交叉熵)、Weighted Cross
‑
Entropy(带有权重的交叉熵)、Focal损失函数、SSIM损失函数等；基于视频抠图损失函数是将抠图看作回归，然后进行建模，输出一张特征图，拟合的损失函数包括L1损失函数、L2损失函数、MSE损失函数、SSIM损失函数和拉普拉斯金字塔损失函数等，但单一的损失函数使得抠图的效果较差。

技术实现思路

[0003]本专利技术实施例提供了一种基于损失值的抠图模型训练方法、装置、设备及介质，旨在解决现有抠图效果较差的问题。
[0004]第一方面，本专利技术实施例提供了一种基于损失值的抠图模型训练方法，其包括：
[0005]若接收到抠图模型训练指令，则根据所述抠图模型训练指令从预设图库中获取RGB三通道图，并将所述RGB三通道图输入抠图模型以得到第一特征图、第二特征图以及第三特征图，其中，所述第一特征图、所述第二特征图以及所述第三特征图为具有不同分辨率的特征图；
[0006]根据预设三分图通过第一损失值计算方法采用第一复合损失函数计算所述第一特征图与标注掩膜图之间的损失以得到第一损失值；
[0007]通过第二损失值计算方法采用第二复合损失函数计算所述第二特征图与所述标注掩膜图之间的损失以得到第二损失值；
[0008]根据所述预设三分图通过第三损失值计算方法采用第三复合损失函数计算所述第三特征图与所述标注掩膜图之间的损失以得到第三损失值；
[0009]根据所述第一损失值、所述第二损失值以及所述第三损失值对所述抠图模型中的抠图参数进行优化，并返回执行所述根据所述抠图模型训练指令从预设图库中获取RGB三通道图的步骤直至预设训练条件为止。
[0010]进一步地，通过边缘掩膜方法将与预设三分图相对应的标注边缘掩膜图设置为只有边缘标签的布尔数据；将所述预设三分图及所述第一特征图进行合并得到预测掩膜图，并基于所述标注边缘掩膜图对所述预测掩膜图进行抽取以得到预测边缘掩膜图；根据标注掩膜图通过第一复合损失函数计算所述预测边缘掩膜图及所述第一特征图的预设损失值；将预测边缘掩膜图、所述第一特征图以及所述标注掩膜图分别与所述RGB三通道图进行计算以得到预测边缘前景图、预测前景图以及真实前景图；通过所述第一复合损失函数计算
所述预测边缘前景图及所述预测前景图的预设损失值；计算所述预测边缘掩膜图、所述第一特征图、所述预测边缘前景图以及所述预测前景图的预设损失值的平均损失值，并将所述平均损失值作为第一损失值。
[0011]进一步地，将与预设三分图相对应的标注边缘掩膜图中像素值等于预设像素值的像素设置为布尔数据true；将所述像素值不等于所述预设像素值的像素设置为布尔数据false。
[0012]进一步地，分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述预测边缘掩膜图与所述标注掩膜图之间的损失值以得到所述预测边缘掩膜图的L1损失值、SSIM损失值以及Laplacian金字塔损失值；分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述第一特征图与所述标注掩膜图之间的损失值以得到所述预测掩膜图的L1损失值、SSIM损失值以及Laplacian金字塔损失值。
[0013]进一步地，分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述预测边缘前景图与所述真实前景图之间的损失值以得到所述预测边缘前景图的L1损失值、SSIM损失值以及Laplacian金字塔损失值；分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述预测前景图与所述真实前景图之间的损失值以得到所述预测前景图的L1损失值、SSIM损失值以及Laplacian金字塔损失值。
[0014]进一步地，将所述标注掩膜图下采样预设倍数以得到小分辨率的所述标注掩膜图；分别通过MSE损失函数及SSIM损失函数计算小分辨率的所述标注掩膜图与所述第二特征图之间的损失值以得到MSE损失值及SSIM损失值；根据所述MSE损失值及所述SSIM损失值计算第二损失值。
[0015]进一步地，将所述预设三分图及所述标注掩膜图下采样预设倍数以得到小分辨率的所述预设三分图及所述标注掩膜图；将所述第三特征图与小分辨率的所述预设三分图进行合并以得到预测掩膜图，并基于所述标注边缘掩膜图对所述预测掩膜图进行抽取以得到预测边缘掩膜图；将小分辨率的所述预设三分图与所述标注掩膜图进行合并以得到真实掩膜图，并基于所述标注边缘掩膜图对所述真实掩膜图进行抽取以得到真实边缘掩膜图；分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述预测边缘掩膜图与所述真实边缘掩膜图之间的损失值以得到L1损失值、SSIM损失值以及Laplacian金字塔损失值；根据所述L1损失值、所述SSIM损失值以及所述Laplacian金字塔损失值计算第三损失值。
[0016]第二方面，本专利技术实施例还提供了一种基于损失值的抠图模型训练装置，其包括：
[0017]获取单元，用于若接收到抠图模型训练指令，则根据所述抠图模型训练指令从预设图库中获取RGB三通道图，并将所述RGB三通道图输入抠图模型以得到第一特征图、第二特征图以及第三特征图，其中，所述第一特征图、所述第二特征图以及所述第三特征图为具有不同分辨率的特征图；
[0018]第一计算单元，用于根据预设三分图通过第一损失值计算方法采用第一复合损失函数计算所述第一特征图与标注掩膜图之间的损失以得到第一损失值；
[0019]第二计算单元，用于通过第二损失值计算方法采用第二复合损失函数计算所述第二特征图与所述标注掩膜图之间的损失以得到第二损失值；
[0020]第三计算单元，用于根据所述预设三分图通过第三损失值计算方法采用第三复合
损失函数计算所述第三特征图与所述标注掩膜图之间的损失以得到第三损失值；
[0021]优化单元，用于根据所述第一损失值、所述第二损失值以及所述第三损失值对所述抠图模型中的抠图参数进行优化，并返回执行所述根据所述抠图模型训练指令从预设图库中获取RGB三通道图的步骤直至预设训练条件为止。
[0022]第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
[0023]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时可实现上述方法。
[002本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于损失值的抠图模型训练方法，其特征在于，包括：若接收到抠图模型训练指令，则根据所述抠图模型训练指令从预设图库中获取RGB三通道图，并将所述RGB三通道图输入抠图模型以得到第一特征图、第二特征图以及第三特征图，其中，所述第一特征图、所述第二特征图以及所述第三特征图为具有不同分辨率的特征图；根据预设三分图通过第一损失值计算方法采用第一复合损失函数计算所述第一特征图与标注掩膜图之间的损失以得到第一损失值；通过第二损失值计算方法采用第二复合损失函数计算所述第二特征图与所述标注掩膜图之间的损失以得到第二损失值；根据所述预设三分图通过第三损失值计算方法采用第三复合损失函数计算所述第三特征图与所述标注掩膜图之间的损失以得到第三损失值；根据所述第一损失值、所述第二损失值以及所述第三损失值对所述抠图模型中的抠图参数进行优化，并返回执行所述根据所述抠图模型训练指令从预设图库中获取RGB三通道图的步骤直至预设训练条件为止。2.根据权利要求1所述的基于损失值的抠图模型训练方法，其特征在于，所述根据预设三分图通过第一损失值计算方法采用第一复合损失函数计算所述第一特征图与标注掩膜图之间的损失以得到第一损失值，包括：通过边缘掩膜方法将与预设三分图相对应的标注边缘掩膜图设置为只有边缘标签的布尔数据；将所述预设三分图及所述第一特征图进行合并得到预测掩膜图，并基于所述标注边缘掩膜图对所述预测掩膜图进行抽取以得到预测边缘掩膜图；根据标注掩膜图通过第一复合损失函数计算所述预测边缘掩膜图及所述第一特征图的预设损失值；将预测边缘掩膜图、所述第一特征图以及所述标注掩膜图分别与所述RGB三通道图进行计算以得到预测边缘前景图、预测前景图以及真实前景图；通过所述第一复合损失函数计算所述预测边缘前景图及所述预测前景图的预设损失值；计算所述预测边缘掩膜图、所述第一特征图、所述预测边缘前景图以及所述预测前景图的预设损失值的平均损失值，并将所述平均损失值作为第一损失值。3.根据权利要求2所述的基于损失值的抠图模型训练方法，其特征在于，所述通过边缘掩膜方法将与预设三分图相对应的标注边缘掩膜图设置为只有边缘标签的布尔数据，包括：将与预设三分图相对应的标注边缘掩膜图中像素值等于预设像素值的像素设置为布尔数据true；将所述像素值不等于所述预设像素值的像素设置为布尔数据false。4.根据权利要求2所述的基于损失值的抠图模型训练方法，其特征在于，所述根据标注掩膜图通过第一复合损失函数计算所述预测边缘掩膜图及所述第一特征图的预设损失值，包括：分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述预测边缘
掩膜图与所述标注掩膜图之间的损失值以得到所述预测边缘掩膜图的L1损失值、SSIM损失值以及Laplacian金字塔损失值；分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述第一特征图与所述标注掩膜图之间的损失值以得到所述预测掩膜图的L1损失值、SSIM损失值以及Laplacian金字塔损失值。5.根据权利要求2所述的基于损失值的抠图模型训练方法，其特征在于，所述通过所述第一复合损失函数计算所述预测边缘前景图及所述预测前景图的预设损失值，包括：分别通过L1损失函数、SSIM损失函数以及拉普拉斯金字塔损失函数计算所述预测边缘前景图与所述真实前景图之间的损失值以得到所述预测边缘前景图的L1损失值、SSIM损失值以...

【专利技术属性】
技术研发人员：焦小珍，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：