一种图像处理方法及装置制造方法及图纸

本申请提供了一种图像处理方法以及相关装置。本申请实施例可应用于人工智能、智慧交通、辅助驾驶等各种场景。其方法包括：首先，获取包括抠图目标待处理图像；接着，通过金字塔特征提取网络对待处理图像进行处理，得到M个特征图像；然后，通过第一目标分割网络对M个特征图像进行处理，得到第一图像；并且，通过第二目标分割网络对M个特征图像进行处理，得到第二图像；最后，根据第一图像及第二图像，生成包括抠图目标的目标抠图图像。本申请提供的方法通过两个不同的目标分割网络对待处理图像的M个特征图像进行目标分割，得到第一图像及第二图像，通过第一图像及第二图像生成目标抠图图像，提高了抠图结果的准确性及抠图结果的精细程度。程度。程度。

【技术实现步骤摘要】
一种图像处理方法及装置


[0001]本申请涉及人工智能
，尤其涉及一种图像处理方法及装置。

技术介绍

[0002]随着计算机视觉的发展，越来越多的场合需要对图像进行分析处理，以实现从图像中获取需要的信息。例如，在人物照片处理时，需要通过抠图的方式，将人物从拍摄得到的人物照片中提取出来，通过抠取出的人物合成新的照片或者更换拍摄照片中人物的背景。
[0003]目前，图像抠图（Image matting）分为两类，一类是基于三元图（trimap）的抠图方法，另一类是无三元图（trimap
‑
free）的抠图方法。基于三元图抠图方法所采用的算法需要人为标注来实现精细化抠图，无法实现全自动化的精细化抠图。无三元图的抠图方法包括两个阶段，第一阶段用分割网络产生一个粗糙分割图，第二阶段对分割图进行细化得到抠图结果；然而，在第一阶段产生的错误分割会影响第二阶段的图像细化，降低抠图结果的准确性及抠图结果的精细程度。

技术实现思路

[0004]本申请实施例提供了一种图像处理方法以及相关装置，通过两个不同的目标分割网络对待处理图像的M个特征图像进行目标分割，得到第一图像及第二图像，通过第一图像及第二图像生成目标抠图图像，提高了抠图结果的准确性及抠图结果的精细程度。
[0005]本申请的一方面提供一种图像处理方法，包括：获取待处理图像，其中，待处理图像包括抠图目标；通过金字塔特征提取网络对待处理图像进行处理，得到M个特征图像，其中，金字塔特征提取网络包括M个特征提取层，每个特征层的输入作为上一个特征层的输出，M为大于等于1的整数；通过第一目标分割网络对M个特征图像进行处理，得到第一图像，其中，第一图像包括第一前景区域、第一背景区域及待确认区域，第一前景区域对应于抠图目标所对应的区域，待确认区域为第一前景区域与第一背景区域的交叠区域；通过第二目标分割网络对M个特征图像进行处理，得到第二图像，其中，第二图像包括第二前景区域及第二背景区域，第二前景区域对应于抠图目标所对应的区域；根据第一图像及第二图像，生成目标抠图图像，其中，目标抠图图像包括抠图目标。
[0006]本申请的另一方面提供了一种图像处理装置，包括：图像获取模块，用于获取待处理图像，其中，待处理图像包括抠图目标；特征提取模块，用于通过金字塔特征提取网络对待处理图像进行处理，得到M个特征图像，其中，金字塔特征提取网络包括M个特征提取层，每个特征层的输入作为上一个特征层的输出，M为大于等于1的整数；
第一解码模块，用于通过第一目标分割网络对M个特征图像进行处理，得到第一图像，其中，第一图像包括第一前景区域、第一背景区域及待确认区域，第一前景区域对应于抠图目标所对应的区域，待确认区域为第一前景区域与第一背景区域的交叠区域；第二解码模块，用于通过第二目标分割网络对M个特征图像进行处理，得到第二图像，其中，第二图像包括第二前景区域及第二背景区域，第二前景区域对应于抠图目标所对应的区域；抠图图像生成模块，用于根据第一图像及第二图像，生成目标抠图图像，其中，目标抠图图像包括抠图目标。
[0007]在本申请实施例的另一种实现方式中，第一目标分割网络包括M个残差通道注意力层及特征融合层；第一解码模块，还用于：通过M个残差通道注意力层对M个特征图像进行处理，输出M个注意力矩阵；通过特征融合层对M个注意力矩阵中的K个注意力矩阵进行处理，得到第一矩阵，其中，K为小于M的整数；根据第一矩阵生成第一图像。
[0008]在本申请实施例的另一种实现方式中，每个特征图像对应于一个特征矩阵；第一解码模块，还用于：将第i个特征矩阵及第i
‑
1个特征矩阵作为第i个残差通道注意力层的输入，通过第i个残差通道注意力层输出第i个注意力矩阵，其中，第i个特征矩阵对应于第i个特征图像，第i
‑
1个特征矩阵对应于第i
‑
1个特征图像，i为大于1且小于M的整数；将第j个特征矩阵作为第j个残差通道注意力层的输入，通过第j个残差通道注意力层输出第j个注意力矩阵，其中，第j个特征矩阵对应于第j个特征图像，j为1或M。
[0009]在本申请实施例的另一种实现方式中，第一目标分割网络还包括计数器，计数器用于统计残差通道注意力层对特征图像的处理次数T，T为大于等于1的整数；M个特征图像对应M个特征矩阵；第一解码模块，还用于：获取计数器统计的处理次数T；当处理次数小于第一阈值时，将第一特征矩阵作为第一残差通道注意力层的输入，通过第一残差通道注意力层输出第一注意力矩阵，其中，第一特征矩阵对应于第一特征图像，第一特征图像根据金字塔特征提取网络中的第一特征提取层得到；将第二特征矩阵及第一注意力矩阵作为第二残差通道注意力层的输入，通过第二残差通道注意力层输出第二注意力矩阵，其中，第二特征矩阵对应于第二特征图像，第二特征图像根据金字塔特征提取网络中的第二特征提取层得到；将第三特征矩阵及第二注意力矩阵作为第三残差通道注意力层的输入，通过第三残差通道注意力层输出第三注意力矩阵，其中，第三特征矩阵对应于第三特征图像，第三特征图像根据金字塔特征提取网络中的第三特征提取层得到；将第四特征矩阵作为第四残差通道注意力层的输入，通过第四残差通道注意力层输出第四注意力矩阵，其中，第四特征矩阵对应于第四特征图像，第四特征图像根据金字塔特征提取网络中的第四特征提取层得到。
[0010]在本申请实施例的另一种实现方式中，第一解码模块，还用于：
当处理次数T大于等于第一阈值且小于第二阈值时，将第一特征矩阵及第三注意力矩阵，作为第一残差通道注意力层的输入，通过第一残差通道注意力层输出第五注意力矩阵；将第二特征矩阵及第五注意力矩阵，作为第二残差通道注意力层的输入，通过第二残差通道注意力层输出第六注意力矩阵；将第三特征矩阵、第三注意力矩阵及第六注意力矩阵，作为第三残差通道注意力层的输入，通过第三残差通道注意力层输出第七注意力矩阵。
[0011]在本申请实施例的另一种实现方式中，第一解码模块，还用于：当处理次数等于第二阈值时，通过特征融合层对第四注意力矩阵及第七注意力矩阵进行处理，得到第一矩阵。
[0012]在本申请实施例的另一种实现方式中，第一解码模块，还用于：对第四注意力矩阵进行特征提取，得到第一特征向量；对第一特征向量进行特征值提取，得到第一特征值；通过激活函数，对第一特征向量进行处理，得到第一激活向量；对第七注意力矩阵进行特征提取，得到第二特征向量；对第二特征向量进行特征值提取，得到第二特征值；通过激活函数，对第二特征向量进行处理，得到第二激活向量；根据第四注意力矩阵、第一激活向量、第一特征值、第七注意力矩阵、第二激活向量及第二特征值，生成第一矩阵。
[0013]在本申请实施例的另一种实现方式中，第二目标分割网络包括M+1个卷积层；M个特征图像对应M个特征矩阵；第二解码模块，还用于：将第一特征矩阵作为第一卷积层的输入，通过第一卷积层输出第一卷积矩阵，其中，第一特征矩阵对应于第一特征图像，第一特征图像根据金字塔特征提取网络中的第一特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取待处理图像，其中，所述待处理图像包括抠图目标；通过金字塔特征提取网络对所述待处理图像进行处理，得到M个特征图像，其中，所述金字塔特征提取网络包括M个特征提取层，每个特征层的输入作为上一个特征层的输出，M为大于等于1的整数；通过第一目标分割网络对所述M个特征图像进行处理，得到第一图像，其中，所述第一图像包括第一前景区域、第一背景区域及待确认区域，所述第一前景区域对应于所述抠图目标所对应的区域，所述待确认区域为所述第一前景区域与所述第一背景区域的交叠区域；通过第二目标分割网络对所述M个特征图像进行处理，得到第二图像，其中，所述第二图像包括第二前景区域及第二背景区域，所述第二前景区域对应于所述抠图目标所对应的区域；根据所述第一图像及所述第二图像，生成目标抠图图像，其中，所述目标抠图图像包括所述抠图目标。2.如权利要求1所述的图像处理方法，其特征在于，所述第一目标分割网络包括M个残差通道注意力层及特征融合层；所述通过第一目标分割网络对所述M个特征图像进行处理，得到第一图像，包括：通过所述M个残差通道注意力层对所述M个特征图像进行处理，输出M个注意力矩阵；通过所述特征融合层对所述M个注意力矩阵中的K个注意力矩阵进行处理，得到第一矩阵，其中，K为小于M的整数；根据所述第一矩阵生成所述第一图像。3.如权利要求2所述的图像处理方法，其特征在于，每个所述特征图像对应于一个特征矩阵；所述通过所述M个残差通道注意力层对所述M个特征图像进行处理，输出M个注意力矩阵，包括：将第i个特征矩阵及第i
‑
1个特征矩阵作为第i个所述残差通道注意力层的输入，通过所述第i个残差通道注意力层输出第i个注意力矩阵，其中，所述第i个特征矩阵对应于第i个特征图像，所述第i
‑
1个特征矩阵对应于第i
‑
1个特征图像，i为大于1且小于M的整数；将第j个特征矩阵作为第j个残差通道注意力层的输入，通过所述第j个残差通道注意力层输出第j个注意力矩阵，其中，所述第j个特征矩阵对应于第j个特征图像，j为1或M。4.如权利要求2所述的图像处理方法，其特征在于，所述第一目标分割网络还包括计数器，所述计数器用于统计所述残差通道注意力层对特征图像的处理次数T，T为大于等于1的整数；所述M个特征图像对应M个特征矩阵；所述通过所述M个残差通道注意力层对所述M个特征图像进行处理，输出M个注意力矩阵，包括：获取所述计数器统计的所述处理次数T；当所述处理次数小于第一阈值时，将第一特征矩阵作为第一残差通道注意力层的输入，通过所述第一残差通道注意力层输出第一注意力矩阵，其中，所述第一特征矩阵对应于第一特征图像，所述第一特征图像根
据所述金字塔特征提取网络中的第一特征提取层得到；将第二特征矩阵及所述第一注意力矩阵作为第二残差通道注意力层的输入，通过所述第二残差通道注意力层输出第二注意力矩阵，其中，所述第二特征矩阵对应于第二特征图像，所述第二特征图像根据所述金字塔特征提取网络中的第二特征提取层得到；将第三特征矩阵及所述第二注意力矩阵作为第三残差通道注意力层的输入，通过所述第三残差通道注意力层输出第三注意力矩阵，其中，所述第三特征矩阵对应于第三特征图像，所述第三特征图像根据所述金字塔特征提取网络中的第三特征提取层得到；将第四特征矩阵作为第四残差通道注意力层的输入，通过所述第四残差通道注意力层输出第四注意力矩阵，其中，所述第四特征矩阵对应于第四特征图像，所述第四特征图像根据所述金字塔特征提取网络中的第四特征提取层得到。5.如权利要求4所述的图像处理方法，其特征在于，所述获取所述计数器统计的所述处理次数T之后，还包括：当所述处理次数T大于等于第一阈值且小于第二阈值时，将所述第一特征矩阵及所述第三注意力矩阵，作为所述第一残差通道注意力层的输入，通过所述第一残差通道注意力层输出第五注意力矩阵；将所述第二特征矩阵及所述第五注意力矩阵，作为所述第二残差通道注意力层的输入，通过所述第二残差通道注意力层输出第六注意力矩阵；将所述第三特征矩阵、所述第三注意力矩阵及所述第六注意力矩阵，作为所述第三残差通道注意力层的输入，通过所述第三残差通道注意力层输出第七注意力矩阵。6.如权利要求5所述的图像处理方法，其特征在于，所述通过所述特征融合层对所述M个注意力矩阵中的K个注意力矩阵进行处理，得到第一矩阵，包括：当所述处理次数等于所述第二阈值时，通过所述特征融合层对所述第四注意力矩阵及所述第七注意力矩阵进行处理，得到第一矩阵。7.如权利要求6所述的图像...

【专利技术属性】
技术研发人员：胡晓彬，罗栋豪，邰颖，汪铖杰，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：