一种协同机器语义任务的深度压缩方法技术

本发明专利技术属于信息压缩处理技术领域，涉及一种协同机器语义任务的深度压缩方法，包括：将图像x输入基网络，输出压缩特征f

【技术实现步骤摘要】
一种协同机器语义任务的深度压缩方法


[0001]本专利技术属于信息压缩处理
，涉及一种协同机器语义任务的深度压缩方法。

技术介绍

[0002]在当今的信息时代，大量的图片和视频内容随时都在产生，并被传输到互联网上。2018年思科网站的报告显示，机器对机器的应用将会在未来几年占据大量的互联网内容。并且，机器学习算法倾向于直接处理更多的内容信息，而不仅仅为适应人类的视觉感知，因此，建立既能被机器智能应用程序处理又能被人类视觉系统感知的处理方法至关重要。所以，如何在有限的带宽内建立能够支持混合人机智能应用的方案是亟待解决的问题。近年来，随着深度学习地快速发展，一些基于深度学习的压缩方法也逐步被提出来。然而，这些方法是由服务于人类视觉感知的率失真损失驱动的，与高级的机器视觉任务并不能很好地兼容。此外，在面对大数据和高层分析时，无论是传统的压缩方法，还是基于深度的压缩方法仍存在一些不足。因此，一种能将数据压缩和机器智能分析任务相结合的新一代视频编解码器VCM(Video Coding for Machine)正在被倡议。
>[0003]在现有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种协同机器语义任务的深度压缩方法，其特征在于：所述协同机器语义任务的深度压缩方法基于面向图像压缩和语义分割任务的端到端的增强网络框架；所述面向图像压缩和语义分割任务的端到端的增强网络框架包括：编码器、量化模块、算术编码模块、算术解码模块、解码器和后处理增强模块；所述编码器包括：基网络和多尺度融合模块；所述基网络对应压缩分支，所述多尺度融合模块对应语义分割分支；所述协同机器语义任务的深度压缩方法包括以下步骤：S1、将输入图像x输入所述基网络，基网络输出压缩特征S2、所述多尺度融合模块融合基网络的输出，输出多尺度语义特征S3、将压缩特征和多尺度语义特征通过通道级的级联获得组合特征z；S4、将组合特征z依次经过量化模块的量化、算术编码模块的编码和算术解码模块的算术解码，获得隐特征S5、隐特征传送到解码器，先被分成压缩特征和语义特征再对压缩特征和语义特征分别进行解码操作，分别得到解压缩图像和语义分割图像s；S6、将解压缩图像和语义分割图像s输入后处理增强模块，得到增强之后的解压缩图像2.如权利要求1所述的协同机器语义任务的深度压缩方法，其特征在于：所述基网络采用若干个级联卷积层描述相邻像素之间的相关性；在卷积层之间加入广义分裂归一化变换；所述基网络利用广义分裂归一化变换，将像素域特征转移到分裂归一化空间；第i个卷积层和第i次广义分裂归一化变换构成基网络的第i层，其中，i＝1，2，...，n
‑
1；n为基网络的卷积层的总数量；第i次广义分裂归一化变换称为基网络第i个广义分裂归一化变换层；所述图像x经过基网络的第i层处理后，输出基网络第i层学习到的特征在第n个卷积层后输出压缩特征3.如权利要求2所述的协同机器语义任务的深度压缩方法，其特征在于：所述多尺度融合模块包括：n
‑
1个分层特征融合块、3个下采样块和13个non
‑
bottleneck
‑
1D卷积层；每个分层特征融合块包括：逆向广义分裂归一化变换层和卷积层；所述步骤S2的具体步骤如下：S2.1、特征通过与基网络中广义分裂归一化变换层相对应的逆向广义分裂归一化变换层转换到像素域，获得特征S2.2、通过n
‑
1个分层特征融合块将来自基网络第i层学习到的特征加入到压缩特征中，具体的操作方式如式(1)所示，
其中，j＝1，2，...，n
‑
1，为在前一个分层特征融合块中被增强的特征，且当i＝n
‑
1时，j＝1；当i＝n
‑
2时，j＝2；依此类推，当i＝1时，j＝n
‑‑
1；表示：利用第j个分层特征融合块中的卷积层对进行卷积操作；S2.3、将特征依次经过2个下采样块处理，5个non
‑
bottleneck
‑
1D卷积层处理，1个下采样块处理和8个non
‑
bottleneck
‑
1D卷积层处理，最终得到多尺度语义特征4.如权利要求2所述的协同机器语义任务的深度压缩方法，其特征在于：步骤S5的具体步骤如下：S5.1、压缩特征被送入语义分支的解码器，输出语义分割图像s；所述语义分支的解码器包括：若干反卷积层，在所述反卷积层之间加入non
‑
bottleneck
‑
1D层；S5.1、语义特征被送入解压缩分支的解码器，输出语义分割图像s；所述解压缩分支的解码器包括：若干反卷积层，在所述反卷积层之间加入逆向广义分裂归一化层；在所述逆向广义分裂归一化层进行逆向广义分裂归一化变换；所述逆向广义分裂归一化变换为：所述基网络中广义分裂归一化变换的逆变换。5.如权利要求1所述的协同机器语义任务的深度压缩方法，其特征在于：所述步骤S4的具体步骤如下：S4.1、将组合特征z量化为特征S4.2、采用熵编码方法将特征转换为分段比特流；S4.3、通过熵解码器将分段比特流还原成隐特征6.如权利要求1所述的协同机器语义任务的深度压缩方法，其特征在于：将组合特征z作为超先验信息进行同样的量化、算术编码和算术解码操作，以辅助解码，具体步骤如下：S4.4、组合特征z通过卷积操作编码器获得特征h；S4.5、特征h经过量化操作得到特征S4.6、特征依次经过算术编码和算术解码操作，得到算术解码结果；S4.7、将算术解码结果通过卷积操作编码器进行卷积操作；S4.8、将步骤S4.7获...

【专利技术属性】
技术研发人员：赵耀，陈俊如，刘美琴，林春雨，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：