基于注意力机制的视频人像分割方法、装置、设备及介质制造方法及图纸

本申请涉及一种基于注意力机制的视频人像分割方法、装置、设备及介质，其中方法包括获取视频中的人体图像，作为待分割人体图像；通过预先训练的分割模型将待分割人体图像进行特征提取，得到浅层特征和第一深层特征；将浅层特征与第一深层特征进行特征处理，得到注意力图像，并生成第二深层特征；对第二深层特征进行上采样处理，得到第一采样特征，并将第一采样特征与浅层特征进行特征相加处理，得到第三深层特征；将第三深层特征进行特征分割处理，得到初始分割人体图像；对初始分割人体图像进行均值滤波处理，得到滤波图像，并基于滤波图像进行边缘柔化处理，得到目标分割人体图像。本发明专利技术实施例有利于提供视频人像的分割精度。度。度。

【技术实现步骤摘要】
基于注意力机制的视频人像分割方法、装置、设备及介质


[0001]本申请涉及语义分割
，尤其涉及一种基于注意力机制的视频人像分割方法、装置、设备及介质。

技术介绍

[0002]语义分割是计算机视觉中很重要的一个方向。不同于目标检测和识别，语义分割实现的是图像像素级的分类。即给每一个像素赋予一个类别，因此它能够将一张图片或者视频，按照类别的异同，将图像分为多个不同的区块，从而达到图像语义分割的目的。人像分割属于语义分割的一种，在图像或者视频帧中，将人体视作前景类别，将其他视作背景类别，对于整幅画面区分为两类。该技术目前有着广泛的应用，在诸如人像特效等娱乐化场景、视频会议或者直播的背景替换等等场景中都有着深度而广泛的应用。
[0003]现有的视频人像分割方法主要是使用深度学习神经网络来进行。经过人工假设的卷积神经网络，把人体图片映射到一个高维的向量。通常在提取特征的神经网络模型训练中，会驱使经过映射后的人体特征，在其特征空间中不同人的特征间距尽可能大，同一人的特征尽可能的小，从而输出人体分割图像。然而该方式不能有效地考虑全局的上下文信息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力机制的视频人像分割方法，其特征在于，包括：获取视频中的人体图像，作为待分割人体图像；通过预先训练的分割模型将所述待分割人体图像进行特征提取，得到浅层特征和第一深层特征；通过第一注意力模块将所述浅层特征与所述第一深层特征进行特征处理，得到注意力图像，并将所述注意力图像与所述深层特征进行矩阵相乘，得到第二深层特征；基于所述浅层特征，对所述第二深层特征进行上采样处理，得到第一采样特征，并将所述第一采样特征与所述浅层特征进行特征相加处理，得到第三深层特征；通过第二注意力模块将所述第三深层特征进行特征分割处理，得到初始分割人体图像；对所述初始分割人体图像进行均值滤波处理，得到滤波图像，并基于所述滤波图像进行边缘柔化处理，得到目标分割人体图像。2.根据权利要求1所述的基于注意力机制的视频人像分割方法，其特征在于，所述通过第一注意力模块将所述浅层特征与所述第一深层特征进行特征处理，得到注意力图像，并将所述注意力图像与所述深层特征进行矩阵相乘，得到第二深层特征，包括：在所述第一注意力模块中，基于所述浅层特征，将所述第一深层特征进行上采样处理，得到第二采样特征；将所述第二采样特征与所述浅层特征进行拼接，得到拼接特征；通过对所述拼接特征进行矩阵特征提取处理，得到目标矩阵，并基于所述目标矩阵，生成所述浅层特征对应的浅层矩阵特征以及生成所述第一深层特征对应的第一深层矩阵特征；将所述第一深层矩阵特征进行上采样处理，得到第三采样特征，并将所述第三采样特征与所述浅层矩阵特征进行相加处理，得到所述第二深层特征。3.根据权利要求2所述的基于注意力机制的视频人像分割方法，其特征在于，所述通过对所述拼接特征进行矩阵特征提取处理，得到目标矩阵，并基于所述目标矩阵，生成所述浅层特征对应的浅层矩阵特征以及生成所述第一深层特征对应的第一深层矩阵特征，包括：通过对所述拼接特征进行卷积处理和激活处理，得到卷积特征；根据全局池化的方式，对所述卷积特征进行池化处理，得到池化特征，并将所述池化特征进行卷积处理和激活处理，得到所述目标矩阵；将所述浅层特征与所述第一深层特征分别进行卷积处理，得到浅层卷积特征与所述第一深层卷积特征；基于所述目标矩阵，生成浅层目标矩阵，将所述浅层卷积特征与所述浅层目标矩阵进行相乘处理，得到所述浅层矩阵特征；将所述第一深层卷积特征与所述目标矩阵进行相乘处理，得到所述第一深层矩阵特征。4.根据权利要求1所述的基于注意力机制的视频人像分割方法，其特征在于，所述通过第二注意力模块将所述第三深层特征进行特征分割处理，得到初始分割人体图像，包括：在所述第二注意力模块中，将所述第三深层特征分别进行卷积处理，得到第一卷积特征、第二卷积特征以及第三卷积特征；
将所述第二卷积特征与所述第三卷积特征分别进行分割处理，得到第二分割特征与第三分割特征；基于所述第一卷积特征、所述第二分割特征以及所述第三分割特征，生成分割矩阵，并将所述分割矩阵与所述第三卷积特征进行矩阵相加处理，得到所述初始分割人体图像。5.根据权利要求1所述的基于注意力机制的视频人像分割方法，其特征在于，所述对所述初始分割人体图像进行均值滤波处理，得到滤波图像，并基于所述滤波图像进行边缘柔化处理，得到目标分割人体图像，包括：对所述初始分割人体图像进行均值滤波处理，得到所述滤波图像；将所述滤波图像进行放大处理，得到滤波放大图像，并对所述滤波放大图像进行中值化处理，得到中值化后人体图像；对所述中值化后人体图像进行腐蚀和边缘滤波处理，得到所述目标分割人体图像。6.根据权利要求1所述的基于注意力机制的视频人像分割方法，其特征在于，所述获取视频中的人体图像，作为待分割人体图像之前，所述方法还包括：获取样本人体图...

【专利技术属性】
技术研发人员：王博，
申请(专利权)人：深圳万兴软件有限公司，
类型：发明
国别省市：