利用基于深度学习的环内滤波器进行视频编码和解码制造技术

本申请提供一种视频编码方法和视频解码方法，以为当前帧生成改善的图片质量，并提高编码效率。该视频编码方法和视频解码方法进一步包括环内滤波器，该环内滤波器通过利用基于深度学习的检测模型从当前帧和参考帧检测参考区域，然后将检测到的参考区域与当前帧组合。合。合。

【技术实现步骤摘要】
【国外来华专利技术】利用基于深度学习的环内滤波器进行视频编码和解码


[0001]本公开涉及视频的编码和解码。更具体地，本公开涉及一种视频编码方法和视频解码方法。该视频编码方法和视频解码方法进一步包括环内滤波器，该环内滤波器利用基于深度学习的检测模型从当前帧和参考帧检测参考区域，然后将检测到的参考区域与当前帧组合。

技术介绍

[0002]下面的描述仅提供与本公开相关的背景信息，不构成现有技术。
[0003]由于视频数据与音频或静止图像数据相比具有大量的数据，因此需要包括存储器的大量硬件资源，以存储或发送视频数据而不进行压缩处理。
[0004]因此，通常，在存储或发送视频数据时使用编码器进行压缩。解码器接收压缩后的视频数据，对接收的压缩视频数据进行解压，并播放解压缩后的视频数据。视频压缩技术包括H.264/AVC、高效视频编码(HEVC)和多功能视频编码(VVC)，与HEVC相比，VVC的编码效率提高了约30％以上。
[0005]然而，由于图像尺寸、分辨率和帧速率逐渐增加，因此需要编码的数据量也增加。因此，需要一种提供比现有压缩技术更高的编码效率和改进的图像增强效果的新的压缩技术。
[0006]最近，一种基于深度学习的视频处理技术被应用于现有的编码元件技术中。基于深度学习的视频处理技术被应用于现有编码技术中的间预测(inter prediction)、内预测(intra prediction)、环内滤波或变换等压缩技术，以便提高编码效率。代表性的应用实例包括基于深度学习模型生成的虚拟参考帧的间预测，以及基于图像修复模型的环内滤波器(见非专利文献1)。因此，在视频编码或解码中，有必要考虑持续应用基于深度学习的视频处理技术，以提高编码效率。
[0007](非专利文献)
[0008]非专利文献1：Ren Yang,Mai Xu,Zulin Wang and Tianyi Li,Multi
‑
Frame Quality Enhancement for Compressed Video,Arxiv:1803.04680。
[0009]非专利文献2：Jongchan Park,Sanghyun Woo,Joon
‑
Young Lee,and In So Kweon,BAM:Bottleneck Attention Module,Arxiv:1807.06514。

技术实现思路

[0010](一)要解决的技术问题
[0011]本公开的目的是提供一种视频编码方法和视频解码方法。该视频编码方法和视频解码方法通过进一步包括环内滤波器来增强当前帧的图像质量并提高编码效率，该环内滤波器利用基于深度学习检测模型从当前帧和参考帧检测参考区域后将检测到的参考区域与当前帧组合。
[0012](二)技术方案
[0013]本公开的一方面提供一种由视频解码装置执行以增强当前帧的质量的方法。该方法包括获得当前帧和至少一个参考帧的步骤。该方法还包括利用基于深度学习的检测模型从参考帧和当前帧检测参考帧上的参考区域，并生成检测图的步骤。该方法还包括基于检测图将参考区域与当前帧组合以生成增强帧的步骤。
[0014]本公开的另一方面提供一种图像质量增强装置，其包括输入单元，该输入单元被配置为获得当前帧和至少一个参考帧。该图像质量增强装置还包括参考区域检测器，该参考区域检测器被配置为利用基于深度学习的检测模型从参考帧和当前帧检测参考帧上的参考区域，并被配置为生成检测图。该图像质量增强装置还包括参考区域组合器，该参考区域组合器被配置为基于检测图将参考区域与当前帧组合以增强当前帧的图像质量。
[0015](三)有益效果
[0016]如上所述，根据本实施例，可以提供一种视频编码方法和视频解码方法。该视频编码方法和该视频解码方法通过进一步包括环内滤波器来增强当前帧的图像质量并提高编码效率，该环内滤波器利用基于深度学习检测模型从当前帧和参考帧检测参考区域后将检测到的参考区域与当前帧组合。
附图说明
[0017]图1是可以实现本公开技术的视频编码装置的框图。
[0018]图2是示出利用四叉树加二叉树三叉树(QTBTTT)结构划分块的方法的图。
[0019]图3A和图3B是示出包括广角内预测模式的多个内预测模式的图。
[0020]图4是示出当前块的相邻块的示图。
[0021]图5是可以实现本公开技术的视频解码装置的框图。
[0022]图6是根据本公开的实施例的图像质量增强装置的示意性框图。
[0023]图7是示出根据本公开的实施例的随机访问结构的示图。
[0024]图8是示出根据本公开的实施例的参考区域的示图。
[0025]图9是示出根据本公开的实施例的检测模型的示图。
[0026]图10是根据本公开的实施例的利用基于CNN模型的环内滤波器的图像质量增强装置的示意性框图。
[0027]图11是根据本公开的另一实施例的利用基于CNN模型的环内滤波器的图像质量增强装置的示意性框图。
[0028]图12是示出根据本公开的实施例的图像质量增强装置和现有环内滤波器的组件之间的布置的示图。
[0029]图13是根据本公开的实施例的图像质量增强方法的流程图。
具体实施方式
[0030]在下文中，参照附图详细描述本公开的实施例。当附图标记指代各图中的组件时，应当注意的是，尽管在不同的图中示出了相同或等同的组件，但相同或等同的组件可以用相同的附图标记表示。此外，在描述实施例时，可以省略对已知相关配置和功能的详细描述，以避免不必要地混淆实施例的主旨。
[0031]图1是可以实现本公开技术的视频编码装置的框图。在下文中，参照图1的表示，描
述视频编码装置和该装置的子组件。
[0032]编码装置可以包括图片分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、反量化器160、反变换器165、加法器170、循环滤波器单元180和存储器190。
[0033]编码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。此外，每个组件的功能可以由软件实现，并且微处理器还可以实现为执行与每个组件对应的软件的功能。
[0034]一个视频由一个或多个包括多个图片的序列构成。每个图片被分割成多个区域，并为每个区域执行编码。例如，一个图片被分割成一个或多个片(tile)或/和条带(slice)。此处，一个或多个片可以被定义为片组。每个片或/和条带被分割成一个或多个编码树单元(Coding Tree Unit，CTU)。另外，每个CTU通过树结构被分割成一个或多个编码单元(Coding Unit，CU)。应用于每个CU的信息被编码为CU的语法，共同应用于一个包括在CTU中的CU的信息被编码为CTU的语法。此外，共同应用于一个条带中所有块的信息被编码为条带头的语法，应用于构成一个或多个图片的所有块的信息被编码本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由视频解码装置执行以增强当前帧的质量的方法，其特征在于，包括以下步骤：获得所述当前帧和至少一个参考帧；利用基于深度学习的检测模型从所述参考帧和所述当前帧检测所述参考帧上的参考区域，并生成检测图；以及基于所述检测图将所述参考区域与所述当前帧组合以生成增强帧。2.根据权利要求1所述的方法，其特征在于，获得所述参考帧的步骤包括：当内帧即I帧被包括在参考图片列表中时，选择所述内帧作为所述参考帧。3.根据权利要求2所述的方法，其特征在于，获得所述参考帧的步骤包括：在所述参考图片列表中包括的参考帧候选之中选择时间层最低的帧作为所述参考帧，或者选择图片顺序计数即POC最接近所述当前帧的帧作为所述参考帧，或者选择以最小的量化参数编码的帧作为所述参考帧。4.根据权利要求1所述的方法，其特征在于，生成所述检测图的步骤包括：生成二元图，在所述二元图中，所述参考区域被标记为标志1并且不包括在所述参考区域中的剩余区域被标记为标志0。5.根据权利要求4所述的方法，其特征在于，生成所述增强帧的步骤包括：当所述检测图的二元标志为1时用所述参考区域的像素替换所述当前帧的像素，并且当所述二元标志不为1时保持所述当前帧的像素值。6.根据权利要求4所述的方法，其特征在于，生成所述增强帧的步骤包括：当所述检测图的二元标志为1时用所述参考区域的像素替换所述当前帧的像素，并且当所述二元标志不为1时将预设函数应用于所述当前帧以生成像素值。7.根据权利要求1所述的方法，其特征在于，生成所述检测图的步骤包括：用预设范围内的像素值表示所述参考区域和不包括在所述参考区域中的剩余区域的像素，以生成像素单元的检测图。8.根据权利要求7所述的方法，其特征在于，生成所述增强帧的步骤包括：利用所述像素单元的检测图上的像素值对所述当前帧和所述参考帧以像素单元执行加权求和，以生成所述增强帧。9.根据权利要求7所述的方法，其特征在于，生成所述增强帧的步骤包括：利用所述...

【专利技术属性】
技术研发人员：姜制遠，金挪茔，李订炅，朴胜煜，林和平，
申请(专利权)人：起亚株式会社梨花女子大学校产学协力团，
类型：发明
国别省市：