利用基于块的深度学习模型的视频编解码器制造技术

本公开涉及利用基于块的深度学习模型的视频编解码器。本实施方案提供了一种视频编解码器，其在通过利用深度学习模型处理视频块期间，通过层叠或封装相应的YUV视频块来生成超级块，然后将生成的超级块输入到深度学习模型中，其中，在深度学习模型内部的卷积期间，根据构成超级块的YUV块的特征，对视频块进行不同的处理。的处理。的处理。

【技术实现步骤摘要】
【国外来华专利技术】利用基于块的深度学习模型的视频编解码器


[0001]本专利技术涉及利用基于块的深度学习模型的视频编解码器。

技术介绍

[0002]本部分中的陈述仅提供与本专利技术有关的
技术介绍
信息，并不一定构成现有技术。
[0003]由于视频数据与音频数据或静止影像数据相比具有较大的数据量，视频数据需要大量的硬件资源(包括存储器)来存储或发送未经压缩处理的视频数据。
[0004]相应地，编码器通常用于压缩并存储或发送视频数据。解码器接收压缩的视频数据，解压接收到的压缩的视频数据，并且播放解压的视频数据。视频压缩技术包括H.264/AVC、高效率视频编码(High Efficiency Video Coding，HEVC)和多功能视频编码(Versatile Video Coding，VVC)，所述多功能视频编码(VVC)比HEVC的编码效率提高了大约30％或更多。
[0005]然而，由于影像大小、分辨率和帧速率逐渐增加，要编码的数据量也在增多。相应地，需要一种与现有的压缩技术相比提供更高的编码效率和改善的影像增强效果的新的压缩技术。
[0006]近年来，基于深度学习的图像处理技术已经应用于现有的编码基本技术。通过将基于深度学习的图像处理技术应用于现有的编码技术(特别是，诸如帧间预测、帧内预测、环内滤波、变换等的压缩技术)，可以提高编码效率。代表性的应用示例包括基于由深度学习模型生成的虚拟参考帧的帧间预测，以及基于去噪模型的环内滤波。因此，需要进一步采用基于深度学习的图像处理技术来提高影像编码/解码的编码效率。

技术实现思路

[0007]技术课题
[0008]在一些实施方案中的本专利技术致力于提供一种视频编解码器，其在通过利用深度学习模型处理视频块时，通过堆叠或封装YUV视频块的相应视频块来生成超级块，并且将生成的超级块输入到深度学习模型。视频编解码器根据超级块的构成的YUV块的特征，在深度学习模型内执行卷积的过程中不同地处理输入。
[0009]解决方法
[0010]本专利技术的至少一个方面提供了由计算装置执行的用于基于深度学习技术来处理视频块的方法。该方法包括：获得视频输入块，所述视频输入块包括Y块、U块和V块，所述Y块、U块和V块分别具有采样率格式为4:2:0或4:4:4的Y信号、U信号和V信号。该方法还包括：通过堆叠或组合Y块、U块和V块来生成输入块。该方法还包括将输入块输入到至少一个深度学习模型。该方法还包括通过基于至少一个或更多个深度学习模型执行卷积运算来从输入块生成输出块。该方法还包括从输出块生成视频输出块。
[0011]本专利技术的另一个方面提供了用于基于深度学习技术来处理视频块的装置。用于处理视频块的装置包括输入单元，所述输入单元配置为获得视频输入块，并且通过堆叠或组
合Y块、U块和V块来生成输入块，所述Y块、U块和V块包括在视频输入块中并且分别具有采样率格式为4:2:0或4:4:4的Y信号、U信号和V信号。用于处理视频块的装置还包括转换单元，所述转换单元配置为通过基于至少一个或更多个深度学习模型执行卷积运算来从输入块生成输出块。用于处理视频块的装置还包括输出单元，所述输出单元配置为从输出块生成视频输出块。
[0012]专利技术效果
[0013]如上所述，本实施方案提供了一种视频编解码器，其在通过堆叠或封装YUV视频块的相应视频块来生成超级块，并且将生成的超级块输入到深度学习模型。视频编解码器根据超级块的构成的YUV块的特征，在深度学习模型内执行卷积的过程中不同地处理输入，以提高编码效率并降低复杂度和存储要求。
附图说明
[0014]图1是可以实现本专利技术技术的视频编码装置的框图。
[0015]图2示出利用四叉树加二叉树三叉树(QTBTTT)结构来对块进行分区的方法。
[0016]图3a和图3b示出包括宽角度帧内预测模式的多个帧内预测模式。
[0017]图4示出当前块的相邻块。
[0018]图5是可以实现本专利技术技术的视频解码装置的框图。
[0019]图6是示出根据本专利技术的至少一个实施方案的卷积层的操作的示意图。
[0020]图7是示出根据本专利技术的至少一个实施方案的反卷积层的操作的示意图。
[0021]图8是示出根据本专利技术的至少一个实施方案的池化层的操作的示意图。
[0022]图9是概念性地示出根据本专利技术的至少一个实施方案的视频块处理装置的框图。
[0023]图10是示出根据本专利技术的至少一个实施方案的构造深度学习模型的输入块的方法的示意图。
[0024]图11是示出根据本专利技术的至少一个实施方案的当构造输入块时扩大U块的方法的示意图。
[0025]图12是示出根据本专利技术的另一个实施方案的构造深度学习模型的输入块的方法的示意图。
[0026]图13是示出根据本专利技术的另一个实施方案的四等分Y块的方法的示意图。
[0027]图14是示出根据本专利技术的另一个实施方案的构造深度学习模型的输入块的方法的示意图。
[0028]图15是示出根据本专利技术的另一个实施方案的当构造输入块时构造超级块的方法的示意图。
[0029]图16是示出根据本专利技术的另一个实施方案的通过利用Y、U和V块来构造超级块的方法的示意图。
[0030]图17是示出根据本专利技术的又一个实施方案的通过利用Y、U和V块来构造超级块的方法的示意图。
[0031]图18是示出根据本专利技术的另一个实施方案的利用块分区结构作为深度学习模型的输入的方法的示意图。
[0032]图19是示出根据本专利技术的另一个实施方案的利用块分区结构作为深度学习模型
的分支输入的方法的示意图。
[0033]图20是示出根据本专利技术的另一个实施方案的利用编码的图作为深度学习模型的分支输入的方法的示意图。
[0034]图21是根据本专利技术的至少一个实施方案的处理视频块的方法的流程图。
具体实施方式
[0035]在下文中，将参考所附说明性附图对本专利技术的一些实施方案进行详细描述。在下面的描述中，相同的附图标记表示相同的元件，尽管元件在不同的附图中示出。此外，在一些实施方案的以下描述中，当认为相关的已知组件和功能的详细描述模糊了本专利技术的主题时，为了清楚和简洁起见，可以省略对相关的已知组件和功能的详细描述。
[0036]图1是可以实现本专利技术技术的视频编码装置的框图。在下文中，参考图1的图示，对视频编码装置以及该装置的子组件进行描述。
[0037]编码装置可以包括：图像分割器110、预测器120、减法器130、变换器140、量化器145、重排单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波单元180和存储器190。
[0038]编码装置的每个组件可以实现为硬件或软件，或者实现为硬件和软件的组合。另外，每个组件的功能可以实现为软件，并且微处理器也可以实现为执行对应于每个组件的软件的功能。
[0039]一个视频由包括多个图像的一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种由计算装置执行的用于基于深度学习技术处理视频块的方法，所述方法包括：获得视频输入块，所述视频输入块包括Y块、U块和V块，所述Y块、U块和V块分别具有采样率格式为4:2:0或4:4:4的Y信号、U信号和V信号；通过堆叠或组合Y块、U块和V块来生成输入块；将输入块输入到至少一个深度学习模型；通过基于至少一个或更多个深度学习模型执行卷积运算来从输入块生成输出块；以及从输出块生成视频输出块。2.根据权利要求1所述的方法，其中，生成输入块包括：当Y信号、U信号和V信号为4:2:0格式时，扩大U块和V块以在大小上匹配Y块；以及堆叠Y块、扩大的U块和扩大的V块。3.根据权利要求2所述的方法，其中，扩大包括：通过上下或从左到右镜像U块并且组合由镜像产生的四个U块来重复U块4次，从而扩大U块以在大小上匹配Y块。4.根据权利要求2所述的方法，其中，扩大包括：将U块居中，然后通过填充U块的外周来扩大U块以在大小上匹配Y块，同时用与U块同位的Y块的值填补U块的外周。5.根据权利要求2所述的方法，其中，扩大包括：将U块定位在扩大的U块的一个象限中，然后利用与U块同位的Y块的值来填补扩大的U块的剩余象限。6.根据权利要求1所述的方法，其中，生成输入块包括：当Y信号、U信号和V信号为4:2:0格式时，将Y块四等分以在大小上匹配U块；以及堆叠四等分的Y块、U块和V块。7.根据权利要求6所述的方法，其中，四等分包括：在水平和竖直方向上抽取构成Y块的样本，以生成四等分的Y块。8.根据权利要求1所述的方法，其中，生成输入块包括：当Y信号、U信号和V信号为4:2:0格式时，通过利用U块和V块生成大小与Y块相等的超级块；以及堆叠超级块和Y块。9.根据权利要求8所述的方法，其中，生成超级块包括：上下组合U块和V块，然后在水平方向上对U块和V块进行上采样，或者从一侧到另一侧组合U块和V块，然后在竖直方向上对U块和V块进行上采样。10.根据权利要求1所述的方法，其中，生成输入块包括：当Y信号、U信号和V信号为4:2:0格式时，通过组合Y块、U块和V块来生成超级块。11.根据权利要求1所述的方法，其中，生成输入块包括：当Y信号、U信号和V信号为4:4:4格式时，通过堆叠Y块、U块和V块来生成输入块。12.根据权利要求1所述的方法，其中，将输入块输入包括：...

【专利技术属性】
技术研发人员：姜制远，朴胜煜，
申请(专利权)人：起亚株式会社梨花女子大学校产学协力团，
类型：发明
国别省市：