包括基于CNN的环路滤波器的编码方法与装置及解码方法与装置制造方法及图纸

本发明专利技术涉及一种包括基于CNN的环路滤波器的编码装置及解码装置。根据一实施例的编码装置，包括：滤波部，通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部，基于所述原始图像与复原信息生成所述预测图像；基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出所述复原信息；以及编码部，基于所述滤波信息与所述预测图像信息执行编码。

【技术实现步骤摘要】
【国外来华专利技术】包括基于CNN的环路滤波器的编码方法与装置及解码方法与装置
下列的实施例涉及包括基于CNN的环路滤波器的编码方法与装置及解码方法与装置。
技术介绍
现有的环路滤波技术，是为缓解由于量化导致的因邻近的编码块间像素值的差异引起的区块边界在视觉上十分刺眼的问题，沿着区块边界，利用区块编码类型、区块边界像素强度、运动信息、量化后残差信号存在信息等，缓解邻近编码块的边界的像素间差异的方法。此时，尽管通过使用固定的滤波器系数而未传送系数，但仅在缓解编码块的边界的画质退化方面具有效果。近来，在高效率视频编码(HEVC，HighEfficiencyVideoCoding)标准中，不仅对编码块边界适用去区块滤波(de-blockingfiltering)，进一步地，还适用用于减少由于量化引起的在图像边缘引起垂直方向发生的环状伪影(ringingartefact)及亮度差伪影的取样自适应偏移(SampleAdaptiveOffset)滤波作为第二次环路滤波。此时，不仅不能很好地改善高频模糊伪影(blurringartefact)，此外，由于需要将样本偏移及边缘方向类型传送至解码器，由此，在提高编码效率方面具有局限。
技术实现思路
要解决的技术问题实施例能够提供技术，通过执行环路滤波改善由于量化引起的区块边界伪影、环状伪影、以及高频模糊伪影(blurringartefact)。并且，实施例能够提供技术，在编码装置及解码装置中使用得到训练的基于CNN的环路滤波器，不传送环路滤波器系数的同时改善画质。并且，实施例能够提供技术，编码装置及解码装置使用得到训练的基于CNN的环路滤波器，将画质得到改善的帧作为参考帧，很大地提高编码效率或解码效率。并且，实施例能够提供技术，按照切片类型适用环路滤波。并且，实施例能够提供技术，按照编码块适用环路滤波。并且，实施例能够提供技术，按照指定的图像区域适用环路滤波。解决问题的技术方法根据一实施例的基于CNN的环路滤波器学习方法，包括以下步骤：通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息(filteringinformation)；通过对所述滤波信息执行逆滤波而生成逆滤波信息(inversefilteringinformation)；通过将所述逆滤波信息输入至基于CNN的环路滤波器(CNNbasedin-loopfilter)而生成复原信息；计算所述复原信息与基于所述原始图像的原始信息的差异；以及基于所述差异调整所述基于CNN的环路滤波器的权重(weight)，并且，所述预测图像基于所述原始图像与所述复原信息生成。生成所述滤波信息的步骤，包括：通过对所述残差图像进行变换及量化，从而生成滤波信息的步骤，生成所述逆滤波信息的步骤，包括：通过对所述滤波信息进行反量化及反变换，从而生成逆滤波信息的步骤。生成所述滤波信息的步骤包括：基于根据量化参数(quantizationparameter)的量化区间，对所述残差图像执行滤波的步骤，所述调整步骤，包括：调整对于所述量化区间的权重的步骤。生成所述滤波信息的步骤，包括：基于根据畸变值的畸变值区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述畸变值区间的权重的步骤。生成所述滤波信息的步骤，包括：基于图像特性的纹理复杂度区间，对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述纹理复杂度区间的权重的步骤。生成所述滤波信息的步骤，包括：基于图像特性的运动复杂度区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述运动复杂度区间的权重的步骤。生成所述复原信息的步骤，包括：通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，所述复原信息的形式与所述原始图像的形式相同。通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，包括：对所述预测信息执行环路滤波的步骤。生成所述复原信息的步骤，包括：通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，所述复原信息的形式与所述残差图像的形式相同。通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，包括：对所述预测信息执行环路滤波的步骤。根据一实施例的编码装置，包括：滤波部，通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部(estimator)，基于所述原始图像与复原信息生成所述预测图像；基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出所述复原信息；以及编码部(encoder)，基于所述滤波信息与所述预测图像信息执行编码。所述滤波部，通过对所述残差图像进行变换及量化而生成滤波信息，所述逆滤波部，通过对所述滤波信息进行反量化及反变换而生成逆滤波信息。所述复原信息的形式与所述原始图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息。所述装置还包括对所述预测信息执行环路滤波的环路滤波器。所述环路滤波器，包括：去区块滤波器(deblockingfilter(DF))、取样自适应偏移滤波器(sampleadaptiveoffset(SAO)filter)，以及自适应环路滤波器(adaptiveloopfilter(ALF))中的至少一个。所述复原信息的形式与所述残差图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息。所述装置还包括对所述预测信息执行环路滤波的环路滤波器。所述装置还包括对所述复原信息执行环路滤波的环路滤波器。根据一实施例的解码装置，包括：熵解码部(entropydecoder)，对编码的比特流信息进行解码从而输出滤波信息与待预测信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部，基于所述待预测信息生成预测图像；以及基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，从而输出复原信息。所述复原信息的形式与所述原始图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息。所述装置还包括对所述逆滤波信息执行环路滤波的环路滤波器。所述环路滤波器，包括：去区块滤波器(DF)、取样自适应偏移滤波器(SAOfilter)，以及自适应环路滤波器(ALF)中的至少一个。所述复原信息的形式与所述残差图像的形式相同，所述基于CNN的环路滤波器，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息。所述装置还包括通过对所述复原信息与所述预测图像进行相加而生成最终复原信息的加法器。所述装置还包括对所述逆滤波信息执行环路滤波的环路滤波器。所述环路滤波器，包括：去区块滤波器(DF)、取样自适应偏移滤波器(SAOfilt本文档来自技高网...

【技术保护点】
1.一种基于CNN的环路滤波器学习方法，包括以下步骤：通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；通过对所述滤波信息执行逆滤波而生成逆滤波信息；通过将所述逆滤波信息输入至基于CNN的环路滤波器而生成复原信息；计算所述复原信息与基于所述原始图像的原始信息的差异；以及基于所述差异调整所述基于CNN的环路滤波器的权重，并且，所述预测图像基于所述原始图像与所述复原信息生成。

【技术特征摘要】
【国外来华专利技术】2016.06.24 KR 10-2016-0079240;2017.02.09 KR 10-2011.一种基于CNN的环路滤波器学习方法，包括以下步骤：通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；通过对所述滤波信息执行逆滤波而生成逆滤波信息；通过将所述逆滤波信息输入至基于CNN的环路滤波器而生成复原信息；计算所述复原信息与基于所述原始图像的原始信息的差异；以及基于所述差异调整所述基于CNN的环路滤波器的权重，并且，所述预测图像基于所述原始图像与所述复原信息生成。2.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述滤波信息的步骤，包括：通过对所述残差图像进行变换及量化，从而生成滤波信息的步骤，生成所述逆滤波信息的步骤，包括：通过对所述滤波信息进行反量化及反变换，从而生成逆滤波信息的步骤。3.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述滤波信息的步骤，包括：基于根据量化参数的量化区间，对所述残差图像执行滤波的步骤，所述调整步骤，包括：调整对于所述量化区间的权重的步骤。4.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述滤波信息的步骤，包括：基于根据畸变值的畸变值区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述畸变值区间的权重的步骤。5.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述滤波信息的步骤，包括：基于图像特性的纹理复杂度区间，对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述纹理复杂度区间的权重的步骤。6.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述滤波信息的步骤，包括：基于图像特性的运动复杂度区间对所述残差图像进行滤波的步骤，所述调整的步骤，包括：调整对于所述运动复杂度区间的权重的步骤。7.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述复原信息的步骤，包括：通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，所述复原信息的形式与所述原始图像的形式相同。8.根据权利要求7所述的基于CNN的环路滤波器学习方法，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，包括：对所述预测信息执行环路滤波的步骤。9.根据权利要求1所述的基于CNN的环路滤波器学习方法，生成所述复原信息的步骤，包括：通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，所述复原信息的形式与所述残差图像的形式相同。10.根据权利要求9所述的基于CNN的环路滤波器学习方法，通过将所述逆滤波信息及基于所述预测图像的预测信息输入至所述基于CNN的环路滤波器，从而生成复原信息的步骤，包括：对所述预测信息执行环路滤波的步骤。11.一种编码装置，包括：滤波部，通过对相当于原始图像与预测图像之间的差异的残差图像执行滤波，从而生成滤波信息；逆滤波部，通过对所述滤波信息执行逆滤波而生成逆滤波信息；预测部，基于所述原始图像与复原信息生成所述预测图像；基于CNN的环路滤波器，输入得到所述逆滤波信息与所述预测图像，...

【专利技术属性】
技术研发人员：金纹哲，
申请(专利权)人：韩国科学技术院，
类型：发明
国别省市：韩国,KR