端到端双目图像联合压缩方法、装置、设备和介质制造方法及图纸

本公开实施例涉及一种端到端双目图像联合压缩方法、装置、设备和介质，其中，该方法包括：将双目图像中第一目图像输入第一编码器，得到第一图像特征；利用第一条件熵模型对第一图像特征进行压缩处理；将第一目图像和双目图像中的第二目图像输入深度网络回归模型，输出单应性透视变换矩阵；基于单应性透视变换矩阵对第一目图像进行透视变换，得到第一变换图像；利用第二编码器确定第二目图像和第一变换图像之间的差异图像数据，并基于差异图像数据得到第二图像特征；利用第二条件熵模型对第二图像特征进行压缩处理。本公开实施例降低了双目图像压缩的计算复杂度，充分挖掘了两幅图像之间的相关性，降低了编码比特率，并且方案适用范围更为广泛。用范围更为广泛。用范围更为广泛。

【技术实现步骤摘要】
端到端双目图像联合压缩方法、装置、设备和介质


[0001]本公开涉及图像处理
，尤其涉及一种端到端双目图像联合压缩方法、装置、设备和介质。

技术介绍

[0002]双目图像联合压缩(Stereo image compression，SIC)旨在共同压缩一对左右的双目影像，实现两个图像的高质量高效率压缩。在自动驾驶领域、虚拟现实、和视频监视领域，双目图像联合压缩技术已成为最关键的技术之一，也在最近引起了来自学术界和工业界越来越多的关注。通过充分利用两个图像中的互信息，SIC与独立压缩每个图像相比，可以获得更高的压缩率。
[0003]与单目图像压缩相比，SIC为更具挑战性，需要充分利用左右双目图像之间的内在联系。现有的SIC方法包括：(1)依靠匹配提取人为设计的特征点，采用传统的优化理论使速率失真损失最小化，但这种压缩方式限制了压缩效率；(2)基于深度学习的双目图像压缩方法(Deepstereo image compression，DSIC)，利用双目图像对之间的内容冗余来降低联合比特率，但该方法是密集参数连接的图像匹配方案，具有很高的计算复杂度，而且，该方法要求左右图像必须在同一水平线上，即双目图像拍摄过程中摄像机的水平位置需要保持一致，导致方案只能适用一些特定情况。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开实施例提供了一种端到端双目图像联合压缩方法、装置、设备和介质。
[0005]第一方面，本公开实施例提供了一种端到端双目图像联合压缩方法，基于端到端双目图像联合压缩模型实现，所述压缩模型包括深度网络回归模型、第一编码器、第一条件熵模型、第二编码器和第二条件熵模型，所述第一条件熵模型与所述第二条件熵模型属于相同类型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型；所述方法包括：
[0006]将双目图像中第一目图像输入所述第一编码器，得到用于表征所述第一目图像的第一图像特征；
[0007]利用所述第一条件熵模型对所述第一图像特征进行压缩处理，得到所述第一目图像的压缩码流数据；
[0008]将所述第一目图像和所述双目图像中的第二目图像输入所述深度网络回归模型，输出所述第一目图像和所述第二目图像之间的单应性透视变换矩阵；
[0009]基于所述单应性透视变换矩阵对所述第一目图像进行透视变换，得到第一变换图像；
[0010]利用所述第二编码器确定所述第二目图像和所述第一变换图像之间的差异图像数据，并基于所述差异图像数据，得到用于表征所述第二目图像的第二图像特征；
[0011]利用所述第二条件熵模型，基于所述第一图像特征，对所述第二图像特征进行压缩处理，得到所述第二目图像的压缩码流数据。
[0012]第二方面，本公开实施例还提供了一种端到端双目图像联合压缩装置，基于端到端双目图像联合压缩模型实现，所述压缩模型包括深度网络回归模型、第一编码器、第一条件熵模型、第二编码器和第二条件熵模型，所述第一条件熵模型与所述第二条件熵模型属于相同类型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型，所述装置包括：
[0013]第一图像特征确定模块，用于将双目图像中第一目图像输入所述第一编码器，得到用于表征所述第一目图像的第一图像特征；
[0014]第一压缩模块，用于利用所述第一条件熵模型对所述第一图像特征进行压缩处理，得到所述第一目图像的压缩码流数据；
[0015]变换矩阵输出模块，用于将所述第一目图像和所述双目图像中的第二目图像输入所述深度网络回归模型，输出所述第一目图像和所述第二目图像之间的单应性透视变换矩阵；
[0016]第一变换图像确定模块，用于基于所述单应性透视变换矩阵对所述第一目图像进行透视变换，得到第一变换图像；
[0017]第二图像特征确定模块，用于利用所述第二编码器确定所述第二目图像和所述第一变换图像之间的差异图像数据，并基于所述差异图像数据，得到用于表征所述第二目图像的第二图像特征；
[0018]第二压缩模块，用于利用所述第二条件熵模型，基于所述第一图像特征，对所述第二图像特征进行压缩处理，得到所述第二目图像的压缩码流数据。
[0019]第三方面，本公开实施例还提供了一种电子设备，包括存储器和处理器，其中：所述存储器中存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备实现本公开实施例提供任一所述的端到端双目图像联合压缩方法。
[0020]第四方面，本公开实施例还提供了一种计算机可读存储介质，所述存储介质中存储有计算机程序，当所述计算机程序被计算设备执行时，使得所述计算设备实现本公开实施例提供的任一所述的端到端双目图像联合压缩方法。
[0021]本公开实施例提供的技术方案与现有技术相比至少具有如下优点：在本公开实施例中，提出了一种用于双目图像联合压缩的端到端可训练的深度网络(Deep Homography for Efficient Stereo Image Compression，HESIC)，可以利用双分支自动编码器架构，分别对双目图像中的两幅图像进行压缩处理，相比于现有技术降低了计算复杂度，提高了压缩效率，并且本方案对双目图像的位置没有特殊性要求，方案适用范围更为广泛。在具体压缩处理过程中，利用深度回归模型估计双目图像之间的单应性透视变换矩阵(即H矩阵)，然后利用条件熵模型对双目图像之间的残余信息进行编码，充分挖掘了两幅图像之间的相关性，降低了编码比特率。
附图说明
[0022]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0023]为了更清楚地说明本公开实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0024]图1为本公开实施例提供的一种端到端双目图像联合压缩处理的架构示意图；
[0025]图2为本公开实施例提供的一种端到端双目图像联合压缩模型的结构示意图；
[0026]图3为本公开实施例提供的一种端到端双目图像联合压缩方法的流程图；
[0027]图4为本公开实施例提供的另一种端到端双目图像联合压缩模型的结构示意图；
[0028]图5为本公开实施例提供的一种基于混合高斯模型的双目熵模型的结构示意图；
[0029]图6为本公开实施例提供的另一种端到端双目图像联合压缩模型的结构示意图；
[0030]图7为本公开实施例提供的一种基于上下文的双目熵模型的结构示意图；
[0031]图8为本公开实施例提供的另一种端到端双目图像联合压缩方法的流程图；
[0032]图9为本公开实施例提供的另一种端到端双目图像联合压缩模型的结构示意图；
[0033]图10为本公开实施例提供的一种用于双目图像联合压缩的交叉质本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种端到端双目图像联合压缩方法，其特征在于，基于端到端双目图像联合压缩模型实现，所述压缩模型包括深度网络回归模型、第一编码器、第一条件熵模型、第二编码器和第二条件熵模型，所述第一条件熵模型与所述第二条件熵模型属于相同类型的熵模型，均包括基于混合高斯模型的熵模型或基于上下文的熵模型；所述方法包括：将双目图像中第一目图像输入所述第一编码器，得到用于表征所述第一目图像的第一图像特征；利用所述第一条件熵模型对所述第一图像特征进行压缩处理，得到所述第一目图像的压缩码流数据；将所述第一目图像和所述双目图像中的第二目图像输入所述深度网络回归模型，输出所述第一目图像和所述第二目图像之间的单应性透视变换矩阵；基于所述单应性透视变换矩阵对所述第一目图像进行透视变换，得到第一变换图像；利用所述第二编码器确定所述第二目图像和所述第一变换图像之间的差异图像数据，并基于所述差异图像数据，得到用于表征所述第二目图像的第二图像特征；利用所述第二条件熵模型，基于所述第一图像特征，对所述第二图像特征进行压缩处理，得到所述第二目图像的压缩码流数据。2.根据权利要求1所述的方法，其特征在于，如果所述第一条件熵模型与所述第二条件熵模型均为所述基于混合高斯模型的熵模型，则所述第一条件熵模型包括第一量化器、第一熵编码器、用于生成超先验参数的第一变换网络模块和第一混合高斯模型，所述第二条件熵模型包括第二量化器、第二熵编码器、用于生成超先验参数的第二变换网络模块和第二混合高斯模型；相应的，所述利用所述第一条件熵模型对所述第一图像特征进行压缩处理，得到所述第一目图像的压缩码流数据，包括：将所述第一图像特征输入所述第一量化器，得到第一量化结果；将所述第一图像特征输入所述第一变换网络模块，生成第一超先验参数；将所述第一超先验参数输入所述第一混合高斯模型，估计所述第一量化结果的概率分布；基于所述第一量化结果的概率分布和所述第一量化结果，利用所述第一熵编码器得到所述第一目图像的压缩码流数据；相应的，所述利用所述第二条件熵模型，基于所述第一图像特征，对所述第二图像特征进行压缩处理，得到所述第二目图像的压缩码流数据，包括：将所述第二图像特征输入所述第二量化器，得到第二量化结果；将所述第二图像特征输入所述第二变换网络模块，生成第二超先验参数；对所述第二超先验参数进行上采样，并将上采样之后的第二超先验参数和所述第一量化结果进行合并；将合并结果输入所述第二混合高斯模型，估计所述第二量化结果的概率分布；基于所述第二量化结果的概率分布和所述第二量化结果，利用第二熵编码器得到所述第二目图像的压缩码流数据。3.根据权利要求2所述的方法，其特征在于：
所述第一量化结果的概率分布表示如下：其中，N表示高斯函数的个数，分别为所述第一混合高斯模型的参数，表示所述第一超先验参数，表示所述第一量化结果；所述第二量化结果的概率分布表示如下：其中，N表示高斯函数的个数，分别为所述第二混合高斯模型的参数，表示所述第二超先验参数，表示所述第一量化结果，表示所述第二量化结果。4.根据权利要求1所述的方法，其特征在于，如果所述第一条件熵模型与所述第二条件熵模型均为所述基于上下文的熵模型，则所述第一条件熵模型包括第一量化器、第一熵编码器、用于生成超先验参数的第一变换网络模块、第一超先验解码器、第一上下文预测模块和第一高斯模型，所述第二条件熵模型包括第二量化器、第二熵编码器、用于生成超先验参数的第二变换网络模块、第二超先验解码器、第二上下文预测模块和第二高斯模型；所述第一超先验解码器或所述第二超先验解码器均包括反卷积层，所述第一上下文预测模块或所述第二上下文预测模块均包括掩模卷积神经网络层；相应的，所述利用所述第一条件熵模型对所述第一图像特征进行压缩处理，得到所述第一目图像的压缩码流数据，包括：将所述第一图像特征输入所述第一量化器，得到第一量化结果；将所述第一图像特征输入所述第一变换网络模块，生成第一超先验参数；将所述第一超先验参数输入所述第一超先验解码器，得到第一上采样结果；利用所述第一上下文预测模块，基于所述第一量化结果，分别输出所述第一目图像中任一像素与所述任一像素之前完成编码的在前像素之间的第一依赖结果；将所述第一依赖结果和所述第一上采样结果进行合并，并将合并结果输入所述第一高斯模型，估计所述第一量化结果的概率分布；基于所述第一量化结果的概率分布和所述第一量化结果，利用所述第一熵编码器得到所述第一目图像的压缩码流数据；相应的，所述利用所述第二条件熵模型，基于所述第一图像特征，对所述第二图像特征进行压缩处理，得到所述第二目图像的压缩码流数据，包括：将所述第二图像特征输入所述第二量化器，得到第二量化结果；将所述第二图像特征输入所述第二变换网络模块，生成第二超先验参数；将所述第二超先验参数输入所述第二超先验解码器，得到第二上采样结果；利用所述第二上下文预测模块，基于所述第二量化结果，分别输出所述第二目图像中任一像素与所述任一像素之前完成编码的在前像素之间的第二依赖结果；
将所述第二依赖结果、所述第一量化结果和所述第二上采样结果进行合并，并将合并结果输入所述第二高斯模型，估计所述第二量化结果的概率分布；基于所述第二量化结果的概率分布和所述第二量化结果，利用所述第二熵编码器得到所述第二目图像的压缩码流数据。5.根据权利要求4所述的方法，其特征在于：所述第一量化结果的概率分布表示如下：表示如下：其中...

【专利技术属性】
技术研发人员：邓欣，杨文哲，徐迈，关振宇，李大伟，段一平，
申请(专利权)人：清华大学，
类型：发明
国别省市：