一种基于双向条件编码的端到端立体图像压缩方法及装置制造方法及图纸

本发明专利技术公开了一种基于双向条件编码的端到端立体图像压缩方法及装置，方法包括：通过神经网络对输入的左右视点图像提取视点间信息，作为先验信息同时送入左右视点编码器对左右视点图像进行联合编码，生成左右视点码流；通过神经网络对生成的左右视点码流提取视点间信息，作为先验信息同时送入左右视点解码器对左右视点码流进行联合解码，生成重建的左右视点图像。装置包括：构建一基于双向条件的编码结构，用于获取双向视点间信息，并基于双向视点间信息使用神经网络对立体图像进行压缩。本发明专利技术通过基于深度学习的双向条件编码对立体图像进行压缩，有效地去除了立体图像的视点间冗余。间冗余。间冗余。

【技术实现步骤摘要】
一种基于双向条件编码的端到端立体图像压缩方法及装置


[0001]本专利技术涉及图像压缩领域，尤其涉及一种基于双向条件编码的端到端立体图像压缩方法及装置。

技术介绍

[0002]图像压缩是数字图像处理领域的关键技术之一，其目标是在保留图像信号的关键视觉信息的前提下尽可能降低描述图像所需的比特数，以实现高效的传输和存储。近年来，立体图像被广泛应用于增强现实、自动驾驶和机器人控制等领域。有鉴于此，研究人员对立体图像编码进行了研究，通过去除立体图像的视点间冗余来提高编码效率。Boulgouris等人提出了一种基于视差补偿预测的立体图像编码方法，通过建立不同视点图像中相应区域的对应关系，利用已编码的视点预测另一视点。Kaaniche等人将提升小波结构与视差补偿预测结合，以高效地编码视点间预测残差。Kadaikar提出了一种基于块的立体图像编码方法，以提高视差补偿预测精度。
[0003]随着深度学习的快速发展，基于变分自编码器结构的端到端图像压缩在近年来得到了较为广泛的研究。端到端图像编码框架通常由编码器、解码器、熵模型和其他非学习组件组成。编码器通过非线性变换将输入图像映射到高维特征空间，生成紧凑的隐含表示；熵模型用于估计量化后隐含表示的概率分布以进行熵编码；解码器通过非线性变换将隐含表示映射到图像色彩空间，生成重建图像。Ball
é
等人提出了一种基于卷积神经网络的端到端图像编码方法，利用卷积神经网络将输入图像非线性地变换为紧凑的隐含表示。Chen等人在编解码器中加入了注意力机制，提升了隐含表示的紧凑性。Ma等人使用提升小波变换结构实现非线性映射，缓解了非线性变换中的信息损失问题。
[0004]近年来，研究人员对端到端立体图像编码进行了初步的探索。Liu等人提出了一个深度立体图像编码网络，其使用所提出的参数化跳过函数将左视点信息传递至右视点以去除视点间冗余。Deng等人提出了一种基于单应性矩阵的端到端立体图像编码网络，利用单应性矩阵建立左右视点图像的对应关系，并使用左视点重建图像预测右视点图像。
[0005]专利技术人在实现本专利技术的过程中，发现现有技术中至少存在以下缺点和不足：
[0006]现有的传统立体图像编码方法使用手工设计的视差补偿预测方法去除视点间冗余，在具有复杂视差关系的场景下难以获得准确的预测，进而导致编码性能的下降；现有的端到端立体图像编码方法均采用了单向条件编码框架，即独立编码左视点图像，随后利用左视点信息为右视点图像编码提供视点间上下文，以降低右视点图像的比特消耗。然而，单向条件编码框架固定地指定一个视点图像为另一个视点图像提供上下文，无法通过综合两视点图像信息有效提取视点间上下文，难以有效地去除视点间冗余。

技术实现思路

[0007]本专利技术提供了一种基于双向条件编码的端到端立体图像压缩方法及装置，本专利技术通过基于深度学习的双向条件编码对立体图像进行压缩，有效地去除了立体图像的视点间
冗余，详见下文描述：
[0008]第一方面，一种基于双向条件编码的端到端立体图像压缩方法，所述方法包括：
[0009]通过神经网络对输入的左右视点图像提取视点间信息，作为先验信息同时送入左右视点编码器对输入的左右视点图像进行联合编码，生成左右视点码流；通过神经网络对生成的左右视点码流提取视点间信息，作为先验信息同时送入左右视点解码器进行联合解码，生成重建的左右视点图像。
[0010]第二方面，一种基于双向条件编码的端到端立体图像压缩装置，所述装置包括：构建一基于双向条件的编码结构，
[0011]所述编码结构用于获取双向视点间信息，并基于双向视点间信息使用神经网络对立体图像进行压缩。
[0012]其中，所述装置包括：基于双向条件的编码结构构建端到端编码网络，网络包括：双向上下文变换模块和双向条件熵编码模型，
[0013]基于双向上下文变换模块构建双向上下文变换的编码器、双向上下文变换的解码器；基于双向条件熵编码模型构建具有双向条件熵模型的熵编码模块。
[0014]第三方面，一种基于双向条件编码的端到端立体图像压缩装置，所述装置包括：处理器和存储器，所述装置包括：处理器和存储器，所述存储器中存储有程序指令，所述处理器调用存储器中存储的程序指令以使装置执行第一方面中的方法步骤。
[0015]本专利技术提供的技术方案的有益效果是：
[0016]1、本方法通过双向条件编码实现了对立体图像进行有效压缩；
[0017]2、本方法能够学习立体图像的视点间关系并将其建模为视点间上下文，再以视点间上下文为条件对立体图像进行非线性变换，有效地去除了立体图像的视点间冗余；
[0018]3、本方法能够提取左右视点隐含表示的相关性作为视点间条件先验，再以视点间条件先验为条件联合建模左右视点隐含表示的概率分布，有效地提高了左右视点的概率估计精度。
附图说明
[0019]图1为一种基于双向条件编码的端到端立体图像压缩方法的流程图；
[0020]图2为一种基于双向条件编码的端到端立体图像压缩装置的结构示意图；
[0021]图3为基于双向条件编码的立体图像压缩网络结构示意图；
[0022]图4为双向上下文变换模块的结构示意图；
[0023]图5为双向条件熵模型的结构示意图；
[0024]图6为一种基于双向条件编码的端到端立体图像压缩装置的另一结构示意图。
具体实施方式
[0025]为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。
[0026]实施例1
[0027]本专利技术实施例提供了一种基于双向条件编码的端到端立体图像压缩方法，参见图1，该方法包括以下步骤：
[0028]101：使用神经网络对输入的左右视点图像进行联合编码，生成左右视点码流；
[0029]其中，上述步骤101中的联合编码为：提取左右视点图像间的视点间信息，作为先验信息同时送入左右视点编码器，以消除立体图像的视点间冗余信息。
[0030]102：使用神经网络对生成的左右视点码流进行联合解码，生成重建的左右视点图像，流程结束。
[0031]其中，上述步骤102中的联合解码为：提取左右视点码流间的视点间信息，作为另一先验信息同时送入左右视点解码器，以恢复立体图像的视点间冗余信息。
[0032]综上所述，本专利技术实施例通过上述步骤101
‑
102实现了对端到端立体图像的压缩，消除了立体图像的视点间冗余信息。
[0033]实施例2
[0034]本专利技术实施例提供了一种基于双向条件编码的端到端立体图像压缩装置，参见图2，该装置包括：构建一基于双向条件的编码结构，
[0035]编码结构用于获取双向视点间信息，并基于双向视点间信息使用神经网络对立体图像进行压缩。
[0036]基于双向条件编码结构构建端到端编码网络，网络包括：双向上下文变换模块和双向条件熵编码模型，
[0037]基于双向上下本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双向条件编码的端到端立体图像压缩方法，其特征在于，所述方法包括：通过神经网络对输入的左右视点图像提取视点间信息，作为先验信息同时送入左右视点编码器对输入的左右视点图像进行联合编码，生成左右视点码流；通过神经网络对生成的左右视点码流提取视点间信息，作为先验信息同时送入左右视点解码器对生成的左右视点码流进行联合解码，生成重建的左右视点图像。2.一种基于双向条件编码的端到端立体图像压缩装置，其特征在于，所述装置包括：构建一基于双向条件的编码结构，所述编码结构用于获取双向视点间信息，并基于双向视点间信息使用神经网络对立体图像进行压缩。3.根据权利要求2所述的一种基于双向条件编码的端到端立体图像压缩装置，其特征在于，所述装置包括：基于双向条件的编码结构构建端到端编码网络，网络包括：双向上下文变换模块和双向条件熵编码模型，基于双向上下文变换模块构建双向上下文变换的编码器、双向上下文变换的解码器；基于双向条件熵编码模型构建具有双向条件熵模型的熵编码模块。4.根据权利要求3所述的一种基于双向条件编码的端到端立体图像压缩装置，其特征在于，所述双向上下文变换模块为：将左右视点特征作为输入，建模左右视点特征间相关性为视点间上下文，以视点间上下文为条件，对左右视点特征进行非线性变换以消除视点间冗余，并输出变换后的紧凑特征。5.根据权利要求3所述的一种...

【专利技术属性】
技术研发人员：雷建军，刘祥瑞，彭勃，靳登朝，潘兆庆，顾竟潇，
申请(专利权)人：天津大学，
类型：发明
国别省市：