图像分割方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种图像分割方法、装置、计算机设备及存储介质。所述方法包括：将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层；将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层；根据所述融合特征图层获取掩膜回归系数及掩膜原型，并将所述掩膜回归系数与所述掩膜原型进行线性加权获取掩膜图像。通过实施本发明专利技术实施例的方法可使得人像实例分割算法网络运行效率更快，人像细节更加丰富，主观可视性更好的分割结果。分割结果。分割结果。

【技术实现步骤摘要】
图像分割方法、装置、计算机设备及存储介质


[0001]本专利技术涉及图像分割
，尤其涉及一种图像分割方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着现有技术的发展，短视频媒介发展为一种主要的信息传播方式，渗透在人们日常生活中的方方面面，各种琳琅满目的人像特效和编辑功能极大的丰富了人们的精神生活。在实际的应用场景中的人像特效模块，其可以实现单人像分割和特效赋予，人像分割的准确性直接影响着用户的使用体验和产品观感，研究发现，目前主流短视频软件仅实现了语义分割功能，缺少实例分割的应用，并且现有软件多基于语义级分割，无法处理人物遮挡场景下特效赋予和人像编辑，在技术层面，各种实例分割算法在人像应用中表现出一定的局限性，其中以多人遮挡场景最为显著，表现为人像分割精度低，漏分错分现象明显。

技术实现思路

[0003]本专利技术实施例提供了一种图像分割方法、装置、计算机设备及存储介质，旨在以实现提升运行速度的同时，将视频人像实例可更高精度分割效果。
[0004]第一方面，本专利技术实施例提供了一种图像分割方法，其包括：将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层；将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层；根据所述融合特征图层获取掩膜回归系数及掩膜原型，并将所述掩膜回归系数与所述掩膜原型进行线性加权获取掩膜图像。
[0005]第二方面，本专利技术实施例还提供了一种图像分割装置，其包括提取单元，用于将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层；融合单元，用于将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层；生成单元，用于根据所述融合特征图层获取掩膜回归系数及掩膜原型，并将所述掩膜回归系数与所述掩膜原型进行线性加权获取掩膜图像。
[0006]第三方面，本专利技术实施例还提供了一种计算机设备，其包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述方法。
[0007]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时可实现上述方法。
[0008]本专利技术实施例提供了一种图像分割方法、装置、计算机设备及存储介质。其中，所述方法包括：将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层；将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层；根据所述融合特征图层获取掩膜回归系数及掩膜原型，并将所述掩膜回归系数与所述掩膜原型进行线性加权获取掩膜图像。本专利技术实施例由于将待处理的视频帧进行特征提取后将其融合，生成掩膜图像，可实现在降低分割精度差的同时提高分割完整性，使人像分割更加美观清晰的效果。
附图说明
[0009]为了更清楚地说明本专利技术实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0010]图1为本专利技术实施例提供的图像分割方法的流程示意图；
[0011]图2为本专利技术实施例提供的图像分割方法的子流程示意图；
[0012]图3为本专利技术实施例提供的图像分割方法的子流程示意图；
[0013]图4为本专利技术实施例提供的图像分割方法的子流程示意图；
[0014]图5为本专利技术实施例提供的图像分割装置的示意性框图；
[0015]图6为本专利技术实施例提供的计算机设备的示意性框图。
具体实施方式
[0016]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0017]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
[0018]还应当理解，在此本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0019]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0020]请参阅图1，图1为本专利技术实施例提供的图像分割方法的示意性流程图。本实施例中的图像分割方法可以应用于很多计算机设备上，在短视频的使用中，人像分割的准确性直接影响着用户的使用体验和产品观感，传统的分割算法多基于语义级分割，处理人物遮挡场景下特效赋予及人像编辑时具有局限性，其中以多人遮挡场景最为显著，表现为人像分割精度低，漏分错分现象明显。因此本专利技术算法的目的就在于创新网络结构，在较少计算量的前提下提高实例分割精度，以高效高精度标准，推动实例分割技术在日常复杂生活中应用前景。
[0021]图1是本专利技术实施例提供的图像分割方法的流程示意图。如图所示，该方法包括以下步骤S110
‑
130。
[0022]S110、将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层；
[0023]在本实施例中，所述待处理视频帧为原始视频帧，是进行图像识别分割的主要内容，将所述待处理视频帧通过卷积与池化等多种操作，可获得多个不同尺寸的特征图层，每个特征图层包含不同的特征信息，例如，纹理、语义、空间，颜色等。在所述特征提取过程中，随着模型深度的增加，特征图尺寸减小，语义特征逐步增强，细节特征减少，具体地，大尺寸的特征图层包含更多的细节信息，小尺寸的特征图层包含更多的语义信息。通过将所述待
处理视频帧进行特征提取，可使输出结果为多维的特征图层，获取具有多种特征信息的特征图层，使用具有多种信息的尺寸不同的特征图层，提高了特征提取能力，可使得图像分割更具有准确性，更加精准。
[0024]在一实施例中，如图2所示，所述步骤S110可包括步骤S110。
[0025]S111、采用CBS/MP1/ELAN中的至少一个对所述待处理的视频帧进行卷积以生成多种尺寸的特征图层，其中，不同尺寸的特征图层表征不同的特征信息；
[0026]在本实施例中，CBS为经典卷积块(卷积+归一化+激活)，MP1为使用步长为2的卷积，ELAN为高效的网络结构，三者皆具有特征提取功能，CBS可将所述待处理视频帧的纹理、颜色与语义等特征进行提取，MP1是卷积与池化的结合，这样输出结果包含卷积全局信息和局部池化信息，ELAN实现在不破坏原有梯度的情况下不断的增强网络学习能力，三者交本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像分割方法，其特征在于，包括：将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层；将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层；根据所述融合特征图层获取掩膜回归系数及掩膜原型，并将所述掩膜回归系数与所述掩膜原型进行线性加权获取掩膜图像。2.根据权利要求1中所述的方法，其特征在于，将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层的步骤，包括：采用CBS/MP1/ELAN中的至少一个对所述待处理的视频帧进行卷积以生成多种尺寸的特征图层，其中，不同尺寸的特征图层表征不同的特征信息。3.根据权利要求2中所述的方法，其特征在于，将待处理的视频帧进行特征提取，获得多个不同尺寸的特征图层的步骤，包括：根据尺寸不同依次输出所述特征图层；将所述特征图层的尺寸值取整数。4.根据权利要求1中所述的方法，其特征在于，将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层的步骤，包括：采用SPP对所述特征图层进行池化，并将池化后的所述特征图层通过CSP进行特征分离；将特征分离后的所述特征图层通过上下插值采样以进行加权融合；将加权融合后的所述特征图层通过Rep进行卷积得到融合特征图层。5.根据权利要求4中所述的方法，其特征在于将不同尺寸的多个所述特征图层进行采样插值与加权融合，获取融合特征图层的步骤，还包括：将提取分离后的多个所述特征图层通过上采用或下采样多次调整尺度；将尺度统一后的多个所述特征图层...

【专利技术属性】
技术研发人员：王成，齐镗泉，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：