【技术实现步骤摘要】
变码率语义结构化图像编解码方法与系统
[0001]本专利技术涉及图像压缩编码
，尤其涉及一种变码率语义结构化图像编解码方法与系统。
技术介绍
[0002]面向智能任务分析的编码技术需求越来越大且已有国际国内标准组织开始相关标准化工作。为了更加高效地支持人机混合智能应用，已有方法提出了图像语义结构化码流的概念，例如，方案一：授权公告号为CN110225341B的中国专利技术专利《一种任务驱动的码流结构化图像编码方法》，其中引入目标检测的区域决策网络和对齐模块，基于压缩特征提取对象存在区域的边界框，依据边界框对特征进行空间层面的分割。被分割后的特征将按顺序分别进行熵编码形成结构化码流。
[0003]然而，方案一中利用了基于学习的编解码器来实现对图像不同目标的纹理部分的压缩，该编码器无法支持不同码率的图像压缩，更无法支持针对不同目标采取不同码率分配的图像压缩，限制了应用于下游智能分析任务的编码效率。方案二(Song M,Choi J,Han B.Variable
‑
rate deep image c...
【技术保护点】
【技术特征摘要】
1.一种变码率语义结构化图像编解码方法，其特征在于，包括：编码部分：对输入图像进行目标检测，获得目标检测结果；结合输入图像与生成的与所述输入图像相同空间尺度的码率控制掩膜进行变换，获得去冗余的图像特征；将所述去冗余的图像特征输入至两个分支，第一分支中，将所述去冗余的图像特征进行超先验变换与量化，获得量化超先验特征，将所述量化超先验特征进行超先验反变换获得整体的概率分布，以及将输入图像的尺寸以及所述量化超先验特征与目标检测结果分别进行熵编码，再依次拼接获得码流头信息；第二分支中，将所述去冗余的图像特征进行量化，获得量化图像特征，结合目标检测结果进行分组，获得每一目标对应的量化特征，结合所述整体的概率分布对每一目标对应的量化特征分别进行熵编码，根据任务设定选出所有指定目标，将所有指定目标对应的熵编码码流组合形成码流的纹理部分；所述码流头信息与所述码流的纹理部分构成语义结构化码流；解码部分：对语义结构化码流中的码流头信息进行解码，获得输入图像的尺寸、量化超先验特征与目标检测结果，对所述量化超先验特征进行超先验反变换，获得整体的概率分布以及码率控制特征；从纹理部分取出每一指定目标对应的码流，结合整体的概率分布，分别进行熵解码获得每一指定组别对应的组别特征，根据目标检测结果提供的位置将所有指定目标对应的量化特征共同重组为重组量化图像特征；结合输入图像的尺寸信息、重组量化图像特征、码率控制特征，以及利用目标检测结果计算出的前景掩膜，通过反变换操作获得重建图像。2.根据权利要求1所述的一种变码率语义结构化图像编解码方法，其特征在于，所述码率控制掩膜利用码率控制因子r生成，所述码率控制掩膜的尺寸为H
×
W，H为输入图像的高度，W为输入图像的宽度；码率控制掩膜中每一个位置的值为0
‑
1的实数值，值的大小代表了编码过程中为输入图像中相应位置像素分配码率的相对大小。3.根据权利要求1或2所述的一种变码率语义结构化图像编解码方法，其特征在于，所述结合输入图像与生成的与所述输入图像相同空间尺度的码率控制掩膜进行变换的方式包括：设置变换次数为L，每次变换流程相同，第l次变换流程如下：输入数据和码率控制掩膜在通道维度进行级联后进行非线性变换并进行下采样，生成调制特征t
l
；将输入数据进行非线性变换，获得特征y
l
，再结合调制特征t
l
进行空间调制，获得第l次变换的特征；空间调制表示为：γ
l
⊙
y
l
+β
l
；其中，γ
l
与β
l
为调整因子，通过对所述调制特征t
l
进行非线性变换得到；l＝1，...，L；当l＝1时，所述输入数据为输入图像x，当l＝2，...，L时，所述输入数据为第l
‑
1次变换的特征。4.根据权利要求1所述的一种变码率语义结构化图像编解码方法，其特征在于，所述目标检测结果包括：目标的数目、每一个目标的位置以及类别；其中，第k个目标的位置及类别表示为：{a
k
，b
k
，h
k
，w
k
，cls
k
}，a
k
，b
k
，h
k
，w
k
，cls
k
分别代表第k个目标的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度、宽度以及类别。5.根据权利要求4所述的一种变码率语义结构化图像编解码方法，其特征在于，对目标检测结果分别进行熵编码是指对目标的数目，以及每一目标的位置以及类别均分别进行熵编码；对每一目标对应的量化特征分别进行熵编码后，根据不同的任务设定选出所需的所有
指定目标，按照...
【专利技术属性】
技术研发人员：陈志波，冯若愚，金鑫，孙思萌，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。