利用深度学习将图片分离成前景和背景的设备和方法技术

本发明专利技术实施例涉及将图片，特别是监控视频的图片，分离成前景和背景的领域。提供了一种采用卷积神经网络(Convolut ional Neural Network，CNN)，即基于深度学习的设备和方法。所述CNN用于接收所述图片和背景模型图像作为输入。所述CNN用于基于所述输入生成不同分辨率的特征图，其中，所述特征图的分辨率递减。基于所述特征图，所述CNN用于生成不同分辨率的激活图，其中，所述激活图的分辨率递增。此外，所述CNN用于输出分辨率与所述图片相同的1通道概率图，其中，所述输出的1通道概率图的每个像素对应所述图片的一个像素并指示所述图片的所述对应像素与前景对象或背景对象相关联的概率。

【技术实现步骤摘要】
【国外来华专利技术】利用深度学习将图片分离成前景和背景的设备和方法
本专利技术实施例涉及将图片(例如，视频，特别是监控视频的图片)分离成前景和背景的任务。具体地，涉及将运动前景对象与静态背景场景分离。为此，本专利技术提出了一种设备和方法，采用卷积神经网络(ConvolutionalNeuralNetwork，CNN)，即基于深度学习进行分离。
技术介绍
在全球范围，摄像头网络规模不断扩大，从而产生海量监控视频数据。该视频数据需要高效的视频分析管道，以向有关当局提供及时准确的有用信息。分割是传统视频分析的关键组成部分，用于从静态背景场景中提取运动前景对象。在图片层次，分割可看作是将图片的像素分组到表示运动对象的区域。由于分割是许多处理管道中的第一步，因此实现高分割精度是必要的。目前的分割技术不能在保持实时处理的低计算复杂度的同时，为摄像机的一系列不同的记录条件提供满意的结果。由于监控摄像机大多数时间内都保持静止位置，因此它们记录的是具有相关运动前景对象的相同背景场景。传统方法通常利用这一假设，通过去除图片的静止区域从视频的每张图片中提取运动对象。...

【技术保护点】
1.一种用于将图片(101)分离成前景和背景的设备(100)，其特征在于，用于采用卷积神经网络(CNN)，以/n接收所述图片(101)和背景模型图像(102)作为输入(101、102)；/n基于所述输入(101、102)生成多个不同分辨率的特征图(103)，其中，所述特征图(103)的分辨率递减；/n基于所述多个不同分辨率的特征图(103)生成多个不同分辨率的激活图(104)，其中，所述激活图(104)的分辨率递增；/n输出分辨率与所述图片(101)相同的1通道概率图(105)；/n其中，所述输出的1通道概率图(105)的每个像素对应所述图片(101)的一个像素并指示所述图片(101)的所述对...

【技术特征摘要】
【国外来华专利技术】1.一种用于将图片(101)分离成前景和背景的设备(100)，其特征在于，用于采用卷积神经网络(CNN)，以
接收所述图片(101)和背景模型图像(102)作为输入(101、102)；
基于所述输入(101、102)生成多个不同分辨率的特征图(103)，其中，所述特征图(103)的分辨率递减；
基于所述多个不同分辨率的特征图(103)生成多个不同分辨率的激活图(104)，其中，所述激活图(104)的分辨率递增；
输出分辨率与所述图片(101)相同的1通道概率图(105)；
其中，所述输出的1通道概率图(105)的每个像素对应所述图片(101)的一个像素并指示所述图片(101)的所述对应像素与前景对象或背景对象相关联的概率。


2.根据权利要求1所述的设备(100)，其特征在于，用于
对所述输出的1通道概率图(105)进行阈值处理以获取二进制掩码，其中，所述二进制掩码的每个像素指示所述图片(101)的所述对应像素是与前景对象还是背景对象相关联。


3.根据权利要求1或2所述的设备，其特征在于
所述输入(101、102)包括3通道[特别是RGB]高分辨率背景模型图像(102)和3通道[特别是RGB]图片(101)。


4.根据权利要求1至3中任一项所述的设备(100)，其特征在于
所述CNN包括编码器-解码器架构；
所述编码器(200)用于生成所述多个不同分辨率的特征图(103)；
所述解码器(210)用于生成所述多个不同分辨率的激活图(104)。


5.根据权利要求1至4中任一项所述的设备(100)，其特征在于
所述CNN包括具有多个连续编码器层(201a、201b)的编码器(200)和具有多个连续解码器层(211a、211b)的解码器(210)；
所述编码器(200)用于每个编码器层(201a、201b)生成所述多个特征图(103)中的其中一个；
其中，所述第一编码器层(201a)用于从所述接收的输入(101、102)生成特征图(103)并对其进行下采样，每个其他编码器层(201b)用于基于所述前一编码器层(201a、201b)生成的所述特征图(103)，生成另一特征图(103)并对其进行下采样；
所述解码器(210)用于每个解码器层(211a、211b)生成所述多个激活图(104)中的其中一个，
其中，所述第一解码器层(211a)用于对所述最后一个编码器层(201b)生成的所述特征图(103)进行上采样，并基于所述上采样的特征图生成激活图(104)；每个其他解码器层(211b)用于对所述前一解码器层(211a、211b)生成的所述激活图(104)进行上采样，并基于所述上采样的激活图(104)生成另一激活图(104)。


6.根据权利要求5所述的设备(100)，其特征在于
每个编码器层(201a、201b)包括至少一个卷积滤波器，用于分别对所述输入(101、102)或所述前一编码器层(201a、201b)的所述特征图(103)进行操作，以生成特征图(103)；
每个解码器层(211a、211b)包括至少一个卷积滤波器，用于分别对所述最后一个编码器层(211b)的所述特征图(103)或所述前一解码器层(211a、211b)的所述激活图(104)进行操作，以生成激活图(104)。


7.根据权利要求5或6所述的设备(100)，其特征在于
每个编码器层(201b)用于通过执行跨步卷积或池化操作来降低所述特征图(103)的所述分辨率；
每个解码器层(211b)用于通过执行转置卷积或上池化操作来增加所述最后一个编码器层(201b)的所述特征图(103)或所述前一解码器层(211a、211b...

【专利技术属性】
技术研发人员：泰·维·黄，马库斯·布伦纳，王洪斌，唐健，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44