适配不同编解码器的语义结构化图像编解码方法及系统技术方案

本发明专利技术公开了一种适配不同编解码器的语义结构化图像编解码方法及系统，可以适配传统编解码器，令其拥有了更好的泛用性和拓展性，同时能够更好地适配于目前的市场需求。同时，实现了对图像各个目标以及背景采用同样的编解码器和分别使用不同编解码器的可选项，在保证编码效率的同时增加了方案的灵活性。证编码效率的同时增加了方案的灵活性。证编码效率的同时增加了方案的灵活性。

【技术实现步骤摘要】
适配不同编解码器的语义结构化图像编解码方法及系统


[0001]本专利技术涉及图像压缩编码，尤其涉及一种适配不同编解码器的语义结构化图像编解码方法及系统。

技术介绍

[0002]为了更加高效地支持人机混合智能应用，已有方法提出了图像语义结构化码流的概念，例如：授权公告号为CN110225341B的中国专利技术专利《一种任务驱动的码流结构化图像编码方法》，其中引入目标检测的区域决策网络和对齐模块，基于压缩特征提取对象存在区域的边界框，依据边界框对特征进行空间层面的分割。被分割后的特征将按顺序分别进行熵编码形成结构化码流。
[0003]然而，上述方法根据提取对象存在区域的边界框对基于学习的图像编解码器的中间特征进行分割以及结构化，该方案还没有考虑适配于传统混合编码器如H.264、H.265和H.266，而传统编码器是目前广泛应用于工业界的编码标准，在未来很长一段时间里仍会保持高市场占用率。同样的，该方案也难以支持不同的基于学习的编解码器，限制了其功能性和适用性。

技术实现思路

[0004]本专利技术的目的是提供一种适配不同编解码器的语义结构化图像编解码方法及系统，能够同时适配不同类型的编解码器，从而拥有更好的兼容性和可拓展性。
[0005]本专利技术的目的是通过以下技术方案实现的：
[0006]一种适配不同编解码器的语义结构化图像编解码方法，包括：
[0007]编码部分：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；
[0008]解码部分：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于
各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。
[0009]一种适配不同编解码器的语义结构化图像编解码系统，包括：
[0010]编码单元，用于执行编码部分，所述编码部分包括：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；
[0011]解码单元，用于执行解码部分，所述解码部分包括：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。
[0012]一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；
[0013]其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。
[0014]一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。
[0015]由上述本专利技术提供的技术方案可以看出，可以适配传统混合编解码器，令其拥有了更好的泛用性和拓展性，同时能够更好地适配于目前的市场需求。同时，实现了对图像各个目标以及背景采用同样的编解码器和分别使用不同编解码器的可选项，在保证编码效率的同时增加了方案的灵活性。
附图说明
[0016]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
[0017]图1为本专利技术实施例提供的一种适配不同编解码器的语义结构化图像编解码方法的流程图；
[0018]图2为本专利技术实施例提供的使用同一编解码器作用于各个目标的编解码流程图；
[0019]图3为本专利技术实施例提供的使用多个编解码器作用于各个目标的编解码流程图；
[0020]图4为本专利技术实施例提供的一种适配不同编解码器的语义结构化图像编解码系统的示意图；
[0021]图5为本专利技术实施例提供的一种处理设备的示意图。
具体实施方式
[0022]下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。
[0023]首先对本文中可能使用的术语进行如下说明：
[0024]术语“和/或”是表示两者任一或两者同时均可实现，例如，X和/或Y表示既包括“X”或“Y”的情况也包括“X和Y”的三种情况。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，包括：编码部分：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码，以及获取相应编解码器的索引，所述所有目标包含所有前景目标与背景目标；头信息编码时，对输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果分别进行编码，再进行拼接形成头信息；纹理编码时，利用相应编码器，并结合目标检测结果对各个目标对应的图像分别进行纹理编码，综合所有目标编码得到的纹理信息形成总的纹理信息；其中，若对所有目标采用同一编解码器进行编解码，则在头信息编码时对编解码器的索引进行编码并放入头信息中，若对所有目标并非采用同一编解码器进行编解码，则在纹理编码时，对相应编解码器的索引进行编码并放入相应目标对应的纹理信息中；所述头信息与总的纹理信息构成语义结构化码流；解码部分：对所述头信息进行解码，获得输入图像的尺寸信息、是否对所有目标采用同一编解码器的标识符，以及前景目标检测结果；根据解码出的是否对所有目标采用同一编解码器的标识符，确定对所有目标是否采用同一编解码器进行编解码；若对所有目标采用同一编解码器进行编解码，则头信息解码时还获得相应编解码器的索引，通过调用相应解码器对纹理信息进行解码；若对所有目标并非采用同一编解码器进行编解码，则对于各个目标对应的纹理信息，先解码出相应的编解码器索引，再调用相应解码器解码出各个目标对应的图像；按照解码出的输入图像的尺寸信息、以及前景目标检测结果中各个前景目标的位置将所有前景目标与背景目标对应的图像拼接，获得重建图像。2.根据权利要求1所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，所述对输入图像进行目标检测，确定前景目标检测结果包括：通过目标检测模型对所述输入图像进行前景目标检测，获得所有前景目标检测结果，每一前景目标的检测结果包括前景目标的位置以及类别，第k个前景目标的位置及类别表示为：{a
k
,b
k
,h
k
,w
k
,cls
k
}，a
k
,b
k
,h
k
,w
k
,cls
k
分别代表第k个前景目标的左上角坐标的横轴位置、左上角坐标的纵轴位置、高度、宽度以及类别。3.根据权利要求2所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，若对所有目标采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、编解码器的索引、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标纹理信息对应码流的长度；若对所有目标并非采用同一编解码器进行编解码，则头信息的结构包括：输入图像的尺寸信息、是否对所有目标采用同一编码器的标识符、前景目标数目、每一前景目标的位置与类别；目标对应纹理信息的结构包括：目标对应的编解码器的索引，以及目标纹理信息对应码流的长度。4.根据权利要求1所述的一种适配不同编解码器的语义结构化图像编解码方法，其特征在于，所述编解码器包括：基于学习的编解码器，以及传统混合编解码器。5.一种适配不同编解码器的语义结构化图像编解码系统，其特征在于，包括：编码单元，用于执行编码部分，所述编码部分包括：对输入图像进行目标检测，确定前景目标检测结果；根据给定的是否对所有目标采用同一编解码器的标识符，确定...

【专利技术属性】
技术研发人员：陈志波，冯若愚，金鑫，孙思萌，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：