一种实时视频人像分割的系统、方法、存储介质和设备技术方案

本发明专利技术公开了一种实时视频人像分割的系统、方法、存储介质和设备，属于图像处理技术领域。通过获取实时视频图像并将调整后的视频图像输入训练好的卷积神经网络模型进行特征提取，并进行视频图像推断，得到人像分割图；所述卷积神经网络模型采用编码‑解码结构，编码网络利用标准卷积、深度可分离卷积和空洞卷积层提取图像特征；解码网络通过融合模块进行特征融合重构，完成图像特征解码；采用双线性差值模块，将图像进行恢复，并利用交叉熵损失函数对进行视频图像推断，输出分割完毕的人像分割图。该方法所采用的卷积神经网络模型的参数少，运算速度快，从而能够快速地对视频图像进行实时人像分割，克服了现有方法分割速度慢的问题。

【技术实现步骤摘要】
一种实时视频人像分割的系统、方法、存储介质和设备
本专利技术属于图像处理
，具体涉及一种实时视频人像分割的系统、方法、存储介质和设备。
技术介绍
人像分割技术是指将图像中的人像和背景分离的技术，随着技术的发展，人像分割技术广泛应用于摄影摄像、影视制作、视频监控等诸多领域，因此，出现了很多人像分割方法以满足不同领域对的需求。在视频领域，对于人像分割技术的要求非常高，因为相对于静态的图像，视频是动态的，是由连续的若干帧视频图像构成的，要从连续播放的视频图像中将人像分割出来，对于技术的要求非常高，因此在视频领域进行人像背景分离是十分困难的。其中，一方面是受制于速度，因为在视频播放的过程中，要进行实时分割，至少需要达到跟视频播放同样的帧率，这样才不会有卡顿的现象；另一方面，对分割精度也有一定的要求，太粗糙的话，对后续的处理会产生很大的不良效果，如对背景虚化或者背景替换，就需要对精度有较高的要求。随着人工智能和图像处理技术的发展，提出了很多将人工智能的方法应用到人像分割技术中，以实现快速准确地将图像中的人像和背景分离，尤其是将神经网络方法，本文档来自技高网...

【技术保护点】
1.一种实时视频人像分割的系统，其特征在于，包括：/n图像采集模块，用于采集实时视频图像；/n图像处理模块，用于对视频图像进行实时视频人像分割，所述图像处理模块采用卷积神经网络模型对视频图像进行神经网络推理，进行特征提取，并进行视频图像推断，得到人像分割图；/n所述卷积神经网络模型包括编码网络和与编码网络连接的解码网络，所述编码网络包括依次连接的一个标准编码模块和若干个通用编码模块，所述通用编码模块利用标准卷积、深度可分离卷积和空洞卷积层提取图像特征；所述解码网络包括若干个依次连接的融合模块，通过融合模块将编码网络中的两个通用编码模块的输出进行融合重构，或将解码模块的输出与通用编码模块的输出进...

【技术特征摘要】
1.一种实时视频人像分割的系统，其特征在于，包括：
图像采集模块，用于采集实时视频图像；
图像处理模块，用于对视频图像进行实时视频人像分割，所述图像处理模块采用卷积神经网络模型对视频图像进行神经网络推理，进行特征提取，并进行视频图像推断，得到人像分割图；
所述卷积神经网络模型包括编码网络和与编码网络连接的解码网络，所述编码网络包括依次连接的一个标准编码模块和若干个通用编码模块，所述通用编码模块利用标准卷积、深度可分离卷积和空洞卷积层提取图像特征；所述解码网络包括若干个依次连接的融合模块，通过融合模块将编码网络中的两个通用编码模块的输出进行融合重构，或将解码模块的输出与通用编码模块的输出进行融合重构，完成图像特征解码；采用双线性差值模块，将图像恢复到与输入图像相同大小。


2.根据权利要求1所述的一种实时视频人像分割的系统，其特征在于，所述的卷积神经网络模型的网络结构：
编码网络包括依次连接的标准编码模块M1、第一通用编码模块GM1、第二通用编码模块GM2、第三通用编码模块GM3、第四通用编码模块GM4、第五通用编码模块GM5、第六通用编码模块GM6、第七通用编码模块GM7；
解码网络：包括依次连接的第一融合模块、第二融合模块和双线性差值模块UP2，所述第三通用编码模块GM3的输出与第七通用编码模块GM7的输出通过第一融合模块进行特征融合和重构；所述第一通用编码模块GM1的输出与第一融合模块的输出通过第二融合模块进行特征融合和重构；双线性差值模块UP2将第二融合模块输出的图像特征放大。


3.根据权利要求2所述的一种实时视频人像分割的系统，其特征在于，所述通用编码模块包括依次连接的标准卷积层C1、深度可分离卷积层DW1、空洞卷积层D1、标准卷积层C2。


4.根据权利要求3所述的一种实时视频人像分割的系统，其特征在于，所述融合模块包括两个网络分支：
第一网络分支：包括依次连接的双线性差值模块、空洞卷积层D2、批标准化层B1；
第二网络分支：包括依次连接的标准卷积层C3、批标准化层B2；
第一网络分支和第二网络分支通过add层进行融合连接，得到所述融合模块。


5.根据权利要求4所述的一种实时视频人像分割的方法，其特征在于，所述编码网络的各个解码模块的网络层的参数为：
标准编码模块M1：包括一个标准卷积层，卷积核大小为3×3，通道数为3；
第一通用编码模块GM1：标准卷积层C1卷积核大小为3×3；深度可分离卷积层DW1的卷积核大小为3×3，步长为2；空洞卷积层D1的卷积核大小为3×3，空洞率为2；的标准卷积层C2的卷积核大小为1×1，通道数为16；
第二通用编码模块GM2：标准卷积层C1卷积核大小为3×3；深度可分离卷积层DW1的卷积核大小为3×3，步长为1；空洞卷积层D1的卷积核大小为3×3，空洞率为2；的标准卷积层C2的卷积核大小为1×1，通道数为24；
第三通用编码模块GM3：标准卷积层C1卷积核大小为3×3；深度可分离卷积层DW1的卷积核大小...

【专利技术属性】
技术研发人员：何东超，
申请(专利权)人：厦门亿联网络技术股份有限公司，
类型：发明
国别省市：福建;35