本申请涉及图像处理技术领域，尤其涉及一种抠图网络训练方法、抠图方法及装置。该抠图网络训练方法包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。本申请实施例不再需要人工标注三分图，降低了人工成本，提高了效率。提高了效率。提高了效率。
【技术实现步骤摘要】
一种抠图网络训练方法、抠图方法及装置
[0001]本申请涉及图像处理
，尤其涉及一种抠图网络训练方法、抠图方法及装置。
技术介绍
[0002]目前主流的抠图算法可分为三种，一种是基于三分图(trimap)的方法，通过该方法可获取较高精度的前景图像，但其需要对给定图像进行人工标注，而人工标注方式对用户十分不友好，使得该方法实用性较差；另外一种是无trimap的抠图方法，即采用纯RGB图像直接预测前景，但该方法对场景比较敏感，多元化场景泛化性能仍需提升。
[0003]为了平衡前两种方法的优缺点，主流抠图算法中的第三种方法为采用软分割作为背景分割的先验图像并通过RGB图像及背景图像获取前景图像，但该方法需要使用结构复杂的分割网络，以致计算量大且速度较慢，难以达到实时性；此外，该方法还需额外拍摄一张背景图像，容易造成用户体验不佳。
技术实现思路
[0004]有鉴于此，本申请实施例提供了一种抠图网络训练方法、抠图方法及装置，可以解决相关技术中的至少一个技术问题。
[0005]第一方面，本申请一实施例提供了一种抠图网络训练方法，包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。
[0006]本实施例对深度特性进行模拟获得三分图，不再需要人工标注三分图，降低了人工成本，提高了效率。
[0007]第二方面，本申请一实施例提供了一种抠图方法，包括：获取包含前景且对齐的彩色图像及深度图像；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图输入如第一方面所述的抠图网络训练方法得到的所述目标抠图网络，得到仅包含所述前景的蒙版。
[0008]第三方面，本申请一实施例提供了一种抠图网络训练装置，包括：获取单元，用于获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；预处理单元，用于获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；训练执行单元，用于将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初
始抠图网络进行迭代优化，得到目标抠图网络。
[0009]第四方面，本申请一实施例提供了一种抠图装置，包括：获取单元，用于获取包含前景且对齐的彩色图像及深度图像；预处理单元，用于基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行处理得到所述彩色图像对应的三分图；抠图执行单元将所述彩色图像及其对应的三分输入如第三方面实施例所述的抠图网络训练装置得到的所述目标抠图网络，得到仅包含所述前景的蒙版。
[0010]第五方面，本申请一实施例提供一种电子设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面实施例所述的抠图网络训练方法；或实现如第二方面实施例所述的抠图方法。
[0011]第六方面，本申请一实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面实施例所述的抠图网络训练方法；或实现如第二方面实施例所述的抠图方法。
[0012]第七方面，本申请一实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行如第一方面实施例所述的抠图网络训练方法；或执行如第二方面实施例所述的抠图方法。
[0013]应理解，第二方面至第七方面实施例的有益效果可以参见第一方面实施例的相关描述，此处不再赘述。
附图说明
[0014]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0015]图1是本申请一实施例提供的一种抠图网络训练方法的实现流程示意图；
[0016]图2是本申请一实施例提供的一种步骤S120的过程示意图；
[0017]图3是本申请一实施例提供的四张彩色合成图像及其各自对应的蒙版的示意图；
[0018]图4是本申请另一实施例提供的一种步骤S120的过程示意图；
[0019]图5是本申请一实施例提供的一种抠图网络的结构示意图；
[0020]图6是本申请一实施例提供的一种抠图方法的实现流程示意图；
[0021]图7是本申请一实施例提供的一种抠图网络训练装置的结构示意图；
[0022]图8是本申请一实施例提供的一种抠图装置的结构示意图；
[0023]图9是本申请一实施例提供的一种电子设备的结构示意图。
具体实施方式
[0024]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0025]在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0026]在本申请说明书中描述的“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
[0027]此外，在本申请的描述中，“多个”的含义是两个或两个以上。术语“第一”和“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
[0028]为了说明本申请所述的技术方案，下面通过具体实施例来进行说明。
[0029]图1是本申请一实施例提供的一种抠图网络训练方法的实现流程示意图，本实施例中的抠图网络训练方法可由电子设备执行。电子设备包括但不限于计算机、平板电脑、服务器、手机、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种抠图网络训练方法，其特征在于，包括：获取若干帧彩色合成图像及含前景且对齐的彩色图像和深度图像；获取所述彩色合成图像中的蒙版，并对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图；将所述彩色图像及其对应的三分图、所述彩色合成图像及其对应的三分图输入初始抠图网络进行迭代优化，得到目标抠图网络。2.如权利要求1所述的抠图网络训练方法，其特征在于，所述对所述蒙版进行深度特性模拟得到所述彩色合成图像对应的三分图，包括：对所述蒙版进行随机打洞获得第二图像，对所述第二图像进行腐蚀和膨胀操作并生成所述彩色合成图像对应的三分图；或，对所述蒙版进行腐蚀和膨胀操作并生成第二中间三分图，对所述第二中间三分图进行随机打洞获得所述彩色合成图像对应的所述三分图。3.如权利要求1所述的抠图网络训练方法，其特征在于，所述基于所述彩色图像与所述深度图像的对齐关系，利用所述深度图像获取软分割图像并对所述软分割图像进行深度特性模拟得到所述彩色图像对应的三分图，包括：利用所述深度图像获取软分割图像，对所述软分割图像进行随机打洞获得第一图像，对所述第一图像进行腐蚀和膨胀操作并生成所述彩色图像对应的三分图；或，对所述软分割图像进行腐蚀和膨胀操作并生成第一中间三分图，对所述第一中间三分图进行随机打洞获得所述深度图像对应的三分图；基于所述彩色图像与所述深度图像的对齐关系，将所述深度图像对应的三分图转换为所述彩色图像的三分图。4.如权利要求1至3任一项所述的抠图网络训练方法，其特征在于，训练所述初始抠图网络采用混合损失函数监督，所述混合损失函数包括均方误差损失和合成损失。5.如权利要求1至3任一项所述的抠图网络训练方法，其特征在于，所述初始抠图网络包括至少一个阶段网络或多个串联的阶段网络；所述阶段网络包括串联的环境组合模块、主干区块和预测模块，所述环境组合模块用于经过特征交换后输出低阶特征和高阶特征，所述主干区块用于基于注意力机制融合所述低阶特征和所述高阶特征得到融合特征，所述预测模块用于根据所述融合特征输...
【专利技术属性】
技术研发人员：李淼，杨飞宇，钱贝贝，
申请(专利权)人：奥比中光科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。