基于渲染和传统编码相结合的图像或视频压缩方法及装置制造方法及图纸

本发明专利技术公开了一种基于渲染和传统编码相结合的图像或视频压缩方法、装置及存储介质，具体包括：利用反渲染技术提取图像或视频中包括形状、纹理和光照的信息；将图像或视频包括形状、光照的非图像信息进行熵编码用于去除统计冗余，将图像或视频中包括纹理的图像信息进行传统图像或视频编码用于去除多维度冗余，得到去除统计冗余和多维度冗余后的图像或视频编码信息；将图像或视频编码信息进行分类解码，得到还原的包括形状、纹理和光照的图像或视频信息；根据还原的图像或视频信息进行渲染，得到还原的图像或视频。本发明专利技术在传统编码技术去除了时域、空域、变换域、统计域冗余的基础上，进一步去除图像视频内容冗余，可以提升视频图像的压缩率。视频图像的压缩率。视频图像的压缩率。

【技术实现步骤摘要】
基于渲染和传统编码相结合的图像或视频压缩方法及装置


[0001]本专利技术涉及数字图像处理
，尤其涉及一种基于渲染和传统编码相结合的图像或视频压缩方法及装置。

技术介绍

[0002]针对图像、视频压缩技术的传统编码采用帧间预测、帧内预测、变换编码和量化以及熵编码等步骤联合完成。通过帧间预测去除时域冗余度，通过帧内预测去除空余冗余，通过变化编码和量化去除频域冗余，通过熵编码去除统计冗余。
[0003]对已生成的图像、视频内容进行传统编解码，有效的去除了各个维度(时域、空域、变换域、统计域)的冗余信息达到了较好的压缩效果。但是该类编码技术没有将图像或视频本身的内容纳入考虑，仍然存在内容冗余。从计算机图形学角度，图像内容可以由少量的形状、纹理和光照等信息通过渲染生成。在此，形状、纹理、光照等信息可以认为是去除了内容冗余的信息。因此，传统的方案无法充分的去除内容冗余，若加入去除内容冗余的方案则能进一步提高压缩率，节省传输带宽或者存储容量。

技术实现思路

[0004]本专利技术针对上述问题，提供了一种基于渲染和传统编码相结合的图像或视频压缩方法、装置及存储介质，旨在去除图像或视频图像帧内容冗余，提升图像或视频图像帧的压缩率。
[0005]本专利技术的第一方面，提供了一种基于渲染和传统编码相结合的图像或视频压缩方法，方法包括：
[0006]利用反渲染技术提取图像或视频中包括形状、纹理和光照的信息；
[0007]将图像或视频中包括形状、光照的非图像信息进行熵编码用于去除统计冗余，将图像或视频包括纹理的图像信息进行传统图像或视频编码用于去除多维度冗余，得到去除统计冗余和多维度冗余后的图像或视频编码信息；
[0008]将图像或视频编码信息进行分类解码，得到还原的包括形状、纹理和光照的图像或视频信息；
[0009]根据还原的图像或视频信息进行渲染，得到还原的图像或视频。
[0010]本专利技术的进一步技术方案是：所述多维度冗余包括时域冗余、空域冗余、变换域冗余和统计域冗余。
[0011]本专利技术的进一步技术方案是：所述分类解码包括熵解码和传统图像或视频解码。
[0012]本专利技术的第二方面，一种基于渲染和传统编码相结合的图像或视频压缩装置，包括：
[0013]反渲染模块，用于利用反渲染技术提取图像或视频中包括形状、纹理和光照的信息；
[0014]编码模块，用于将图像或视频中包括形状、光照的非图像信息进行熵编码用于去
除统计冗余，将图像或视频包括纹理的图像信息进行传统图像或视频编码用于去除多维度冗余，得到去除统计冗余和多维度冗余后的图像或视频编码信息；
[0015]解码模块，用于将图像或视频编码信息进行分类解码，得到还原的包括形状、纹理和光照的图像或视频信息；
[0016]渲染模块，用于根据还原的图像或视频信息进行渲染，得到还原的图像或视频。
[0017]本专利技术的进一步技术方案是：编码模块中所述多维度冗余包括时域冗余、空域冗余、变换域冗余和统计域冗余。
[0018]本专利技术的进一步技术方案是：解码模块中所述分类解码包括熵解码和传统图像或视频解码。
[0019]本专利技术的第三方面，提供了一种基于渲染和传统编码相结合的图像或视频压缩装置，包括：处理器；以及存储器，其中，所述存储器中存储有计算机可执行程序，当由所述处理器执行所述计算机可执行程序时，执行上述基于渲染和传统编码相结合的图像或视频压缩方法。
[0020]本专利技术的第四方面，一种存储介质，其上存储有计算机程序，所述程序被处理器执行时实现上述基于渲染和传统编码相结合的图像或视频压缩方法。
[0021]本专利技术提供的一种基于渲染和传统编码相结合的图像或视频压缩方法、装置及存储介质，其有益效果是：通过结合计算机视觉技术进行反渲染以及通过计算机图形学技术进行渲染，在传统编码技术去除了时域、空域、变换域、统计域冗余的基础上，进一步去除图像视频内容冗余，可以提升视频图像的压缩率。
附图说明
[0022]图1是本专利技术实施例中基于渲染和传统编码相结合的图像或视频压缩方法流程图；
[0023]图2是本专利技术实施例中基于渲染和传统编码相结合的图像或视频压缩方法流程示例图；
[0024]图3是本专利技术实施例中基于渲染和传统编码相结合的图像或视频压缩装置结构示意图；
[0025]图4是本专利技术实施例中计算机设备的架构图。
具体实施方式
[0026]为进一步对本专利技术的技术方案作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的步骤。
[0027]本公开所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。
[0028]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多
步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0029]附图仅为本公开的示意性图解，图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或硬件获取模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
[0030]本专利技术实施例针对一种基于渲染和传统编码相结合的图像或视频压缩方法、装置及存储介质，提供了如下实施例：
[0031]基于本专利技术的实施例1
[0032]本专利技术实施例提供了一种基于渲染和传统编码相结合的图像或视频压缩方法，参见图1所示，方法包括以下步骤：
[0033]步骤1、利用反渲染技术提取图像或视频中包括形状、纹理和光照的信息；
[0034]步骤2、将图像或视频中包括形状、光照的非图像信息进行熵编码用于去除统计冗余，将图像或视频包括纹理的图像信息进行传统图像或视频编码用于去除多维度冗余，得到去除统计冗余和多维度冗余后的图像或视频编码信息；
[0035]步骤3、将图像或视频编码信息进行分类解码，得到还原的包括形状、纹理和光照的图像或视频信息；
[0036]步骤4、根据还原的图像或视频信息进行渲染，得到还原的图像或视频。
[0037]优选地，所述多维度冗余包括时域冗余、空域冗余、变换域冗余和统计域冗余。
[0038]优选地，所述分类解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于渲染和传统编码相结合的图像或视频压缩方法，其特征在于，所述方法包括以下步骤：利用反渲染技术提取图像或视频中包括形状、纹理和光照的信息；将图像或视频中包括形状、光照的非图像信息进行熵编码用于去除统计冗余，将图像或视频中包括纹理的图像信息进行传统图像或视频编码用于去除多维度冗余，得到去除统计冗余和多维度冗余后的图像或视频编码信息；将图像或视频编码信息进行分类解码，得到还原的包括形状、纹理和光照的图像或视频信息；根据还原的图像或视频信息进行渲染，得到还原的图像或视频。2.根据权利要求1所述的一种基于渲染和传统编码相结合的图像或视频压缩方法，其特征在于，所述多维度冗余包括时域冗余、空域冗余、变换域冗余和统计域冗余。3.根据权利要求1所述的一种基于渲染和传统编码相结合的图像或视频压缩方法，其特征在于，所述分类解码包括熵解码和传统图像或视频解码。4.一种基于渲染和传统编码相结合的图像或视频压缩装置，其特征在于，所述装置包括：反渲染模块，用于利用反渲染技术提取图像或视频中包括形状、纹理和光照的信息；编码模块，用于将图像或视频中包括形状、光照的非图像信息进行熵编码用于去除统计冗余，将图像或视频包括纹理的图像信息进行...

【专利技术属性】
技术研发人员：荣耀程，竭祥，刘永刚，李刚，侯鸿杰，
申请(专利权)人：深圳中微电科技有限公司，
类型：发明
国别省市：