一种基于块掩膜的语义结构化图像编解码方法及系统技术方案

本发明专利技术公开了一种基于块掩膜的语义结构化图像编解码方法及系统，引入块掩膜的方式对图像进行划分，相较而言更加灵活多变，拥有更强的可操控性和可拓展性，相较于原有的语义结构化编码方法，本发明专利技术能够在利用语义结构化图像编码技术编码对象重叠甚至密集场景的图像时，保持编码效率和提高灵活性。保持编码效率和提高灵活性。保持编码效率和提高灵活性。

【技术实现步骤摘要】
一种基于块掩膜的语义结构化图像编解码方法及系统


[0001]本专利技术涉及图像压缩编码
，尤其涉及一种基于块掩膜的语义结构化图像编解码方法及系统。

技术介绍

[0002]现有图像压缩技术主要针对面向人眼视觉的图像压缩，而随着深度学习的快速发展，机器智能分析人物逐渐在人类社会生产生活的各个领域发挥重要作用。传统的面向人眼的压缩方法需要将图像所有的信息进行压缩传输，在智能任务分析端需要对整幅图像进行解码得到完整图像再送入后续的智能任务分析模型。为了更加高效地支持人机混合智能应用，已有方法提出了图像语义结构化码流的概念，例如，方案一：授权公告号为CN110225341B的中国专利技术专利《一种任务驱动的码流结构化图像编码方法》，其中引入目标检测的区域决策网络和对齐模块，基于压缩特征提取对象存在区域的边界框，依据边界框对特征进行空间层面的分割。被分割后的特征将按顺序分别进行熵编码形成结构化码流。
[0003]然而，在诸多实际应用场景例如自动驾驶、智慧城市中，往往存在待处理的图像中包含重叠甚至密集的对象。方案一在处理这一类图像时，往往采用直本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于块掩膜的语义结构化图像编解码方法，其特征在于，包括：编码部分：对输入图像进行目标检测，获得目标检测结果与实例分割结果，并结合预定义的块尺寸信息生成块掩膜，通过所述块掩膜来区分目标物体所属组别；使用深度图像编码器的变换操作得到输入图像的图像特征，将所述图像特征进行超先验变换与量化，获得量化超先验特征，将所述量化超先验特征进行超先验反变换获得整体的概率分布，以及将输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜分别进行熵编码，再拼接获得码流头信息；以及，将所述图像特征进行量化，获得量化图像特征，再结合块掩膜将量化图像特征在空间维度上进行分组，每一分组为一个组别的特征，称为组别特征，结合所述整体的概率分布对所有组别特征分别进行熵编码，根据任务设定选出所有指定组别，将所有指定组别对应的熵编码流组合形成码流的纹理部分；所述码流头信息与所述码流的纹理部分构成语义结构化码流；解码部分：对语义结构化码流中的码流头信息进行解码，获得输入图像的尺寸信息、量化超先验特征、目标检测结果、块尺寸信息以及块掩膜；对所述量化超先验特征进行超先验反变换，获得整体的概率分布；从纹理部分取出每一指定组别对应的码流，结合所述整体的概率分布，进行熵解码获得每一指定组别对应的组别特征，再结合块掩膜将所有指定组别对应的组别特征共同重组为重组量化图像特征；结合输入图像的尺寸信息与重组量化图像特征，通过深度图像解码器的反变换操作获得重建图像。2.根据权利要求1所述的一种变码率语义结构化图像编解码方法，其特征在于，所述对输入图像进行目标检测，获得目标检测结果与实例分割结果，并结合预定义的块尺寸信息生成块掩膜包括：将输入图像尺寸记为H
×
W
×
C，其中，H和W分别代表输入图像的高度和宽度，C为通道数目；预定义的块尺寸信息记为B，它表示图像块边长，图像块的尺寸为B
×
B；结合目标检测结果、实例分割结果与预定义的块尺寸信息生成块掩膜m，块掩膜m尺寸为的灰度图像，每一像素的值为0
‑
255的整数，块掩膜中每个像素的值代表其对应的图像块所隶属的组别。3.根据权利要求1或2所述的一种变码率语义结构化图像编解码方法，其特征在于，所述目标检测结果包括：目标物体的数目、每一个目标物体的位置以及类别；每一目标物体的位置包括：目标物体的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度与宽度。4.根据权利要求3所述的一种变码率语义结构化图像编解码方法，其特征在于，对目标检测结果分别进行熵编码是指对目标物体的数目，...

【专利技术属性】
技术研发人员：陈志波，冯若愚，金鑫，孙思萌，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：