本公开的各方面提供了用于诸如视频处理中的神经网络处理的方法和装置。在一些示例中，用于神经网络处理的装置包括处理电路。处理电路确定卷积运算的输入包括分段恒定的第一输入通道。然后，处理电路基于卷积运算的输入的其它通道，计算第一中间输出通道；并且然后基于第一中间输出通道和第一输入通道的组合(例如，线性组合)，生成卷积运算的输出。生成卷积运算的输出。生成卷积运算的输出。
【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的方法和装置
交叉引用
[0001]本申请要求于2021年9月13日提交的美国专利申请号17/447,525“用于视频编解码的方法和装置(METHOD AND APPARATUS FOR VIDEO CODING)”的优先权，该申请要求于2020年12月16日提交的美国临时申请号63/126,194“在视频编解码器中应用部分深度可分离卷积以增强视频质量(APPLICATION OF PARTIAL DEPTHWISE SEPARABLE CONVOLUTION TO ENHANCE VIDEO QUALITY IN A VIDEO CODEC)”的优先权。在先申请的全部公开内容在此结合在本文中作为参考。
[0002]本公开描述了总体上涉及神经网络处理的实施例。更具体地，本公开提供了用于提高视频编解码器中的图片质量的神经网络处理技术。
技术介绍
[0003]本文所提供的背景描述旨在整体呈现本申请的背景。在
技术介绍
部分以及本说明书的各个方面中所描述的目前已署名的专利技术人的工作所进行的程度，并不表明其在本申请提交时作为现有技术，且从未明示或暗示其被承认为本申请的现有技术。
[0004]通过具有运动补偿的帧间图片预测技术，可以进行视频编码和解码。未压缩的数字视频可包括一系列图片，每个图片具有例如1920
×
1080亮度样本及相关色度样本的空间维度。所述系列图片具有固定的或可变的图片速率(也非正式地称为帧率)，例如每秒60个图片或60Hz。未压缩的视频具有特定的比特率要求。例如，每个样本8比特的1080p60 4:2:0的视频(1920x1080亮度样本分辨率，60Hz帧率)要求接近1.5Gbit/s带宽。一小时这样的视频就需要超过600GB的存储空间。
[0005]视频编码和解码的一个目的，是通过压缩减少输入视频信号的冗余信息。视频压缩可以帮助降低对上述带宽和/或存储空间的要求，在某些情况下可降低两个或更多数量级。无损和有损压缩，以及两者的组合均可采用。无损压缩是指从压缩的原始信号中重建原始信号精确副本的技术。当使用有损压缩时，重建信号可能与原始信号不完全相同，但是原始信号和重建信号之间的失真足够小，使得重建信号可用于预期应用。有损压缩广泛应用于视频。容许的失真量取决于应用。例如，相比于电视应用的用户，某些消费流媒体应用的用户可以容忍更高的失真。可实现的压缩比反映出：较高的允许/容许失真可产生较高的压缩比。
[0006]视频编码器和解码器可利用来自若干广泛类别的技术，包括例如运动补偿、变换、量化及熵编解码。
[0007]视频编解码器技术可包括称为帧内编解码的技术。在帧内编解码中，在不参考来自先前重建的参考图片的样本或其它数据的情况下表示样本值。在一些视频编解码器中，图片在空间上被细分为样本块。当所有样本块都以帧内模式编码时，该图片可以是帧内图片。帧内图片及其派生(诸如独立解码器刷新图片)可用于重置解码器状态，并且因此可用
作已编码视频码流和视频会话中的第一图片，或者用作静止图像。可将帧内块的样本暴露于变换，并且可在熵编解码之前量化变换系数。帧内预测可以是使预变换域中的样本值最小化的技术。在一些情况下，变换后的DC值越小，并且AC系数越小，则在给定量化步长下表示熵编解码后的块所需的比特越少。
[0008]诸如从例如MPEG
‑
2代编解码技术中已知的传统帧内编解码不使用帧内预测。然而，一些较新的视频压缩技术包括从例如周围样本数据和/或元数据尝试的技术，该周围样本数据和/或元数据是在空间相邻的数据块的编码/解码期间获得的并且在解码顺序上先于数据块。这种技术此后称为“帧内预测”技术。注意，在至少一些情况下，帧内预测仅使用来自重建中的当前图片的参考数据，而不使用来自参考图片的参考数据。
[0009]可以有许多不同形式的帧内预测。当在给定的视频编解码技术中可以使用多于一种这样的技术时，可以以帧内预测模式对所使用的技术进行编码。在某些情况下，模式可以具有子模式和/或参数，并且这些子模式和/或参数可以被单独编码或者被包括在模式码字中。对于给定模式/子模式/参数组合要使用的码字可能对通过帧内预测的编码效率增益有影响，并且将码字转换成码流的熵编解码技术也是如此。
[0010]帧内预测的某种模式与H.264一起被引入，在H.265中被改进，并且在诸如联合探索模式(JEM，joint exploration model)、通用视频编码(VVC，versatile video coding)和基准集(BMS，benchmark set)这些较新的编解码技术中被进一步改进。可以使用属于已经可用的样本的相邻样本值来形成预测器块。根据方向将相邻样本的样本值复制到预测器块中。对使用中方向的参考可以在码流中编码，或者可以预测其本身。
[0011]参照图1A，右下方描绘了来自H.265的33个可能的预测方向(对应于35种帧内模式的33个角度模式)中已知的九个预测方向的子集合。箭头会聚的点(101)表示正在被预测的样本。箭头表示样本正在被预测的方向。例如，箭头(102)表示根据右上方与水平方向成45度角的一个或多个样本，预测样本(101)。类似地，箭头(103)表示根据左下方与水平方向成22.5度角的一个或多个样本，预测样本(101)。
[0012]仍然参考图1A，在左上方示出了一个包括4
×
4个样本的正方形块(104)(由粗虚线表示)。正方形块(104)包括16个样本，每个样本用“S”、以及其在Y维度上的位置(例如，行索引)和在X纬度上的位置(例如，列索引)来标记。例如，样本S21是Y维度上的第二个样本(从顶部开始)和X维度上的第一个(从左侧开始)样本。类似地，样本S44在X维度和Y维度上都是块(104)中的第四个样本。由于该块为4
×
4大小的样本，因此S44位于右下角。还示出了遵循类似编号方案的参考样本。参考样本用"R"、以及其相对于块(104)的Y位置(例如，行索引)和X位置(例如，列索引)来标记。在H.264与H.265中，预测样本与正在重建的块相邻，因此不需要使用负值。
[0013]通过从信号通知的预测方向所占用的相邻样本来复制参考样本值，可以进行帧内图片预测。例如，假设编码视频比特流包括信令，对于该块，该信令指示与箭头(102)一致的预测方向，即，根据右上方与水平方向成45度角的一个或多个预测样本来预测样本。在这种情况下，根据同一参考样本R05，预测样本S41、S32、S23和S14。根据参考样本R08，预测样本S44。
[0014]在某些情况下，例如通过内插，可以合并多个参考样本的值，以便计算参考样本，尤其是当方向不能被45度整除时。
[0015]随着视频编码技术的发展，可能的方向的数量已经增加了。在H.264(2003年)中，可以表示九种不同的方向。在H.265(2013年)和JEM/VVC/BMS中增加到了33个，而在此申请时，可以支持多达65个方向。已经进行了实验来识别最本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种神经网络处理的方法，其特征在于，包括：处理电路将分段恒定的第一输入通道与卷积运算的输入的其它输入通道进行分离；所述处理电路基于所述卷积运算的所述输入的所述其它输入通道，计算第一中间输出通道；以及所述处理电路基于所述第一中间输出通道和所述第一输入通道的组合，生成所述卷积运算的输出。2.根据权利要求1所述的方法，其特征在于，进一步包括：通过一个核，对所述输入的所述其它输入信道应用缩减信道卷积运算，以生成所述第一中间输出通道。3.根据权利要求1所述的方法，其特征在于，进一步包括：将所述第一输入通道与权重值相乘，以生成第二中间输出通道；以及将所述第一中间输出通道与所述第二中间输出通道相加，以生成所述卷积运算的所述输出。4.根据权利要求1所述的方法，其特征在于，进一步包括：将所述输入分离到所述第一输入通道，所述第一输入通道包括用于图片的量化参数QP映射，所述图片是从所述输入的所述其它输入通道接收的，所述图片是基于所述QP映射中的QP值重建的。5.根据权利要求4所述的方法，其特征在于，进一步包括：利用核对从所述其它输入通道接收的所述图片的颜色分量应用缩减通道卷积运算，以生成所述第一中间输出通道；以及基于所述第一中间输出通道和所述QP映像的线性组合，生成所述卷积运算的所述输出。6.根据权利要求4所述的方法，其特征在于，进一步包括：接收从去块滤波器输出的所述图片。7.根据权利要求4所述的方法，其特征在于，进一步包括：将基于密集残差卷积神经网络的环内滤波器应用于所述卷积运算的所述输出。8.一种用于神经网络处理的装置，其特征在于，包括处理电路，所述处理电路被配置为：将分段恒定的第一输入通道与卷积运算的输入的其它输入通道进行分离；基于所述卷积运算的所述输入的所述其它输入通道，计算第一中间输出通道；以及基于所述第一中间输出通道和所述第一输入通道的组合，生成所述卷积运算的输出。9.根据权利要求8所述的装置，其特征在于，所述处理电路进一步被配置为：通过一个核，对所述输入的所述其它输入信道应用缩减信道卷积运算，以生成所述第一中间输出通道。10.根据权利要求8所述的装置，其特征在于，所述处理电路进一步被配置为：将所述第一输入通道与权重值相乘，以生成第二中间输出通道；以及将所述第一中间输出通道与所述第二中间输出通道相加，以生成所述卷积运算的所述输出。11.根据权利要求8所述的装置，其特征在于，所述处理电路进一步被配置为：
将所述输入分离到所述第一输入通道，所述第一输入通道...
【专利技术属性】
技术研发人员：欧阳祥，李翔，刘杉，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。