基于深度学习的面向监控视频的前景和背景并行压缩方法技术

本发明专利技术公开了一种基于深度学习的面向监控视频的前景和背景并行压缩方法。视频前景和背景分离步骤；自适应背景模板更新步骤：通过比较判断是否更新背景模板；图像帧分块压缩步骤：对整幅图像帧进行分块、分割、压缩；两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过复合网络和重构网络；构建对抗网络结构结合压缩和解码步骤进行训练：采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。本发明专利技术在保证视频压缩质量的前提下，大大提高了视频的压缩比，具有较好的实时性，具有更快的编码和解码时间，具有更广阔的应用场景。

Parallel compression of foreground and background for surveillance video based on deep learning

【技术实现步骤摘要】
基于深度学习的面向监控视频的前景和背景并行压缩方法
本专利技术涉及了一种监控视频压缩技术，具体涉及一种基于深度学习的面向监控视频的前景和背景并行压缩方法。
技术介绍
近些年来，随着社会的高度现代化，监控视频遍布于城市的各个角落，在日常生活中越来越随处可见。监控视频的文件容量越来越大，且越来越重要。随着大数据时代的来临和智能安防的兴起，对监控视频进行高效和实时压缩的需求越来越大。监控视频相较于普通视频具有非常鲜明的特点，它们通常具有很大的数据量，但却具有极低的信息密度，一般具有静态的背景。但是目前使用的监控视频压缩方法仍然是传统的架构，包含运动补偿、运动估计和熵编码等组件，无法适应现在监控视频越来越庞大的数据量，也没有利用监控视频低信息密度的特性。近年来，随着人工智能的飞速发展，虽然已经出现了一些基于深度学习的视频压缩方法，但这些方法还是沿用了传统架构，只是将传统架构中的某些组件替换为神经网络，仍不能满足监控视频压缩的需要。因此，如何设计一种面向监控视频的，能搞实现极高压缩比的视频压缩算法是目前监控和安防领域的一大难题。
技术实现思路
本专利技术的目的在于针对上述现有监控视频压缩技术存在的不足，提出了一种将背景和前景分离并分别压缩的监控视频压缩方法，通过混合高斯模型分离图像帧的前景和背景，通过自适应背景模板更新算法确定背景模板，通过图像帧分块压缩模块对前景块逐块压缩，最终通过复合网络实现前景和背景的复合，并利用重构网络实现复合帧质量的增强。如图1所示，本专利技术采用的技术方案是：1)视频前景和背景分离步骤；2)自适应背景模板更新步骤：初始以第一图像帧的背景作为背景模板，通过比较图像帧背景与背景模板的多尺度结构相似性值(MS-SSIM值)来判断是否更新背景模板，由当前图像帧的背景和当前的背景模板共同计算得到多尺度结构相似性值，再与预设的背景阈值进行比较；若多尺度结构相似性值小于等于背景阈值，则将当前的背景模板更新为当前图像帧的背景，并输出更新后的背景模板；若多尺度结构相似性值大于背景阈值，则不对当前的背景模板进行更新；本步骤使用自适应的背景模板更新算法代替传统的等间隔背景模板更新，通过多帧图像共用背景模板实现压缩比的提高。3)图像帧分块压缩步骤：对整幅图像帧进行分块，分成相同形状的若干矩形块，然后利用视频前景和背景分离步骤中获得的前景掩模对各个矩形块进行前景部分和背景部分的分割，判断前景部分所占整个矩形块的比例是否大于前景阈值：若矩形块的该比例大于等于前景阈值，则矩形块为前景块；若矩形块的该比例小于前景阈值，则矩形块为背景块；由此判断得到每个矩形块是背景块还是前景块；最后，将所有前景块逐块通过块压缩网络，以块为单位处理获得每个块的压缩结果，将每个块的压缩结果和块的位置信息结合保存为块代码；4)两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过实现视频前景和背景复合的复合网络和增强复合帧质量的重构网络；复合网络作为粗解码，重构网络进行精解码。5)构建对抗网络结构结合压缩和解码步骤进行训练：将解码图像和原始的图像帧分别输入到各自的鉴定器中，处理获得各自的鉴定结果，由重构网络和鉴定器组成了生成对抗网络结构，利用两个鉴定结果反向传播采用梯度下降法进行求解优化由块压缩网络、复合网络、重构网络、鉴定器构成整体网络结构中的参数；不断迭代以输入图像和解码图像之间的均方差最小化为目标进行训练，获得训练后的块压缩网络、复合网络、重构网络、鉴定器；6)采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。所述的视频前景和背景分离步骤，具体为：对监控视频中的每一原始图像帧基于混合高斯模型进行建模，通过阈值判断建模结果从而分离得到图像帧的背景和前景，取前景作为前景掩模。所述的建模具体是用高斯方程对图像帧中的每一个像素点进行统计和表征。所述的块压缩网络包括块编码器和量化器，块编码器是由若干卷积层和残差模块组成的神经网络，量化器是采用最近邻量化方式的操作，量化位数为2；所述的块编码器是主要由三个卷积残差单元依次连接构成，每个卷积残差单元是由一个卷积层和一个残差模块依次连接构成，三个卷积残差单元之后再依次连接上一个残差模块和一个卷积层；所述的复合网络包括块解码器，将每个前景块的块代码经过块解码器进行逐块解码，并按照每个前景块的对应位置将前景块的解码结果嵌入到步骤2)更新后的背景模板中，得到复合图像；所述的块解码器是主要由连续两个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层；所述的重构网络是主要由若干卷积层、残差模块和转置卷积层组成的重构网络，将复合图像经过重构网络能够去除复合图像的模糊、振铃和块边界等失真，实现复合图像质量的增强，得到重构后的解码图像；所述的重构网络是主要由连续三个卷积层、连续三个残差模块、连续三个转置卷积层、最后一个卷积层依次连接构成，转置卷积层为由下采样改为上采样操作的卷积层。本专利技术方法在重构网络之后连接上鉴定器，由所述的重构网络和鉴定器组成生成对抗网络结构，重构的解码图像虽共享同一背景模板，但并不完全相同，增强了真实性。所述的鉴定器是由一组全卷积层构成的神经网络，与重构网络进行交替训练。所述的鉴定器是由连续六个卷积层依次连接构成。本专利技术逐帧分离监控视频的前景和背景并分别压缩，以自适应的背景模板更新方法代替等间隔的更新，再对图像帧中的前景逐块进行压缩，使其能够适应视频中不同物体的尺寸变化，随后通过一个由复合网络和重构网络组成的两阶由粗到精的解码，实现了前景和背景的复合和帧质量的增强；最后通过生成对抗网络增强重构的帧图像的真实性。本专利技术的有益效果是：1)本专利技术所提出的方法充分利用了监控视频的低信息密度特性和背景的静态特性，在保证视频压缩质量的前提下，大大提高了视频的压缩比。2)本专利技术提出的方法具有较好的实时性，相较于其他基于深度学习的方法，具有更快的编码和解码时间，能够满足监控视频压缩的实时性要求。3)本专利技术提出的方法对前景进行分块压缩，能够适应监控视频中不同物体的尺寸变化，相较于其它基于深度学习的压缩方法，具有更广阔的应用场景。附图说明图1是本专利技术方法的总流程图。图2是块编码器的网络结构示意图。图3是块解码器的网络结构示意图。图4是重构网络的网络结构示意图。图5是鉴定器的网络结构示意图。图6是性能比较图。图7是压缩结果比较图。具体实施方式下面结合附图和实施例对本专利技术作进一步说明。如图1所示，本专利技术的实施例如下：1)视频前景和背景分离步骤；对监控视频中的每一原始图像帧基于混合高斯模型进行建模，建模具体是用多个高斯方程的和对图像帧中的每一个像素点进行统计和表征，通过阈值判断建模结果从而分离得到图像帧的背景和前景，取前景作为未处理的前景掩模。视频逐帧输入到混合高斯本文档来自技高网...

【技术保护点】
1.一种基于深度学习的面向监控视频的前景和背景并行压缩方法，包括：/n1)视频前景和背景分离步骤；/n2)自适应背景模板更新步骤：初始以第一图像帧的背景作为背景模板，通过比较图像帧背景与背景模板的多尺度结构相似性值来判断是否更新背景模板，由当前图像帧的背景和当前的背景模板共同计算得到多尺度结构相似性值，再与预设的背景阈值进行比较；若多尺度结构相似性值小于等于背景阈值，则将当前的背景模板更新为当前图像帧的背景，并输出更新后的背景模板；若多尺度结构相似性值大于背景阈值，则不对当前的背景模板进行更新；/n3)图像帧分块压缩步骤：对整幅图像帧进行分块，分成相同形状的若干矩形块，然后利用视频前景和背景分离步骤中获得的前景掩模对各个矩形块进行前景部分和背景部分的分割，判断前景部分所占整个矩形块的比例是否大于前景阈值：若矩形块的该比例大于等于前景阈值，则矩形块为前景块；若矩形块的该比例小于前景阈值，则矩形块为背景块；由此判断得到每个矩形块是背景块还是前景块；最后，将所有前景块逐块通过块压缩网络，以块为单位处理获得每个块的压缩结果，将每个块的压缩结果和块的位置信息结合保存为块代码；/n4)两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过复合网络和重构网络；/n5)构建对抗网络结构结合压缩和解码步骤进行训练：将解码图像和原始的图像帧分别输入到各自的鉴定器中，处理获得各自的鉴定结果，由重构网络和鉴定器组成了生成对抗网络结构，利用两个鉴定结果反向传播采用梯度下降法进行求解优化由块压缩网络、复合网络、重构网络、鉴定器构成整体网络结构中的参数；不断迭代以输入图像和解码图像之间的均方差最小化为目标进行训练；/n6)采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。/n...

【技术特征摘要】
1.一种基于深度学习的面向监控视频的前景和背景并行压缩方法，包括：
1)视频前景和背景分离步骤；
2)自适应背景模板更新步骤：初始以第一图像帧的背景作为背景模板，通过比较图像帧背景与背景模板的多尺度结构相似性值来判断是否更新背景模板，由当前图像帧的背景和当前的背景模板共同计算得到多尺度结构相似性值，再与预设的背景阈值进行比较；若多尺度结构相似性值小于等于背景阈值，则将当前的背景模板更新为当前图像帧的背景，并输出更新后的背景模板；若多尺度结构相似性值大于背景阈值，则不对当前的背景模板进行更新；
3)图像帧分块压缩步骤：对整幅图像帧进行分块，分成相同形状的若干矩形块，然后利用视频前景和背景分离步骤中获得的前景掩模对各个矩形块进行前景部分和背景部分的分割，判断前景部分所占整个矩形块的比例是否大于前景阈值：若矩形块的该比例大于等于前景阈值，则矩形块为前景块；若矩形块的该比例小于前景阈值，则矩形块为背景块；由此判断得到每个矩形块是背景块还是前景块；最后，将所有前景块逐块通过块压缩网络，以块为单位处理获得每个块的压缩结果，将每个块的压缩结果和块的位置信息结合保存为块代码；
4)两阶由粗到精的解码步骤：将图像帧分块压缩获得的各个块代码依次输入经过复合网络和重构网络；
5)构建对抗网络结构结合压缩和解码步骤进行训练：将解码图像和原始的图像帧分别输入到各自的鉴定器中，处理获得各自的鉴定结果，由重构网络和鉴定器组成了生成对抗网络结构，利用两个鉴定结果反向传播采用梯度下降法进行求解优化由块压缩网络、复合网络、重构网络、鉴定器构成整体网络结构中的参数；不断迭代以输入图像和解码图像之间的均方差最小化为目标进行训练；
6)采用训练后的图像帧分块压缩步骤对需压缩的监控视频的每帧图像帧进行并行压缩。


2.根据权利要求1所述的一种基于深度学习的面向监控视频的前景和背景并行压缩方法，其特征在于：所述的视频前景和背景分离步...

【专利技术属性】
技术研发人员：黄科杰，吴立荣，沈海斌，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33