【技术实现步骤摘要】
本专利文档涉及视频处理技术、设备和系统。
技术介绍
1、尽管视频压缩技术有所进步，但数字视频仍然在互联网和其它数字通信网络上占据最大的带宽使用。随着能够接收和显示视频的联网用户设备数量的增加，预计对数字视频使用的带宽需求将继续增长。
技术实现思路
1、描述了与数字视频处理相关，并且具体地，与用于视频处理的环路整形(in-loopreshaping，ilr)相关的设备、系统和方法。所描述的方法可以被应用于现有的视频处理标准(例如，高效视频编解码(high efficiency video coding，hevc))和未来的视频处理标准两者或者包括视频编解码器的视频处理器。
2、在一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于第一域或第二域中的样点来执行运动信息细化过程；以及基于运动信息细化过程的结果来执行该转换，其中，在该转换期间，样点是针对当前视频块而使用未细化的运动信息从第一域中的第一预测块获得的，至少第二预测块使用用于确定重构块的细化的运动信息在第二域中被生成，并且当前视频块的重构样点基于至少第二预测块而生成。
3、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，其中，编解码工具使用至少基于视频的
4、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：基于先前视频区域的编解码模式的一个或多个参数，为视频的当前视频区域的当前视频块确定当前视频块的编解码模式的参数；以及基于该确定，对当前视频块执行编解码以生成视频的编解码表示，并且其中，编解码模式的参数被包括在视频的编解码表示中的参数集中，并且其中，执行编解码包括将第一域中的当前视频块的表示变换为第二域中的当前视频块的表示，并且其中，在使用编解码模式执行编解码期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
5、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：接收包括参数集的视频的编解码表示，其中该参数集包括编解码模式的参数信息；以及通过使用参数信息来执行对编解码表示的解码，以从编解码表示生成视频的当前视频区域的当前视频块，并且其中，编解码模式的参数信息基于先前视频区域的编解码模式的一个或多个参数，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
6、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，并且其中，该转换包括将滤波操作应用于第一域中的或不同于第一域的第二域中的预测块。
7、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，为当前视频块确定了最终重构块，并且其中，临时重构块使用预测方法而生成并被表示在第二域中。
8、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的参数集包括编解码模式的参数信息。
9、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行作为色度块的视频的当前视频块和视频的编解码表示之间的转换，其中，在该转换期间，当前视频块基于第一域和第二域而构建，并且其中，该转换还包括将正向整形过程和/或逆向整形过程应用于当前视频块的一个或多个色度分量。
10、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频色度块和视频的编解码表示之间的转换，其中，执行该转换包括：基于规则来确定依赖于亮度的色度残差缩放(lcrs)被启用还是被禁用，以及基于该确定来重构当前视频色度块。
11、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的一个或多个系数值来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
12、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的超过视频的虚拟管道数据单元(vpdu)的当前视频块之间的转换，将当前视频块分为区域；以及通过将编解码模式分开应用于每个区域来执行该转换，其中，在通过应用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
13、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：对于视频的当前视频块和视频的编解码表示之间的转换，基于当前视频块的尺寸或颜色格式来确定是否禁用对编解码模式的使用；以及基于该确定来执行该转换，其中，在使用编解码模式的该转换期间，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
14、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，编解码表示中的至少一个语法元素提供对编解码模式的使用的指示和整形器模型的指示。
15、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：确定对视频的当前视频块和视频的编解码表示之间的转换禁用了编解码模式；以及基于该确定来有条件地跳过正向整形和/或逆向整形，其中，在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放。
16、在另一个代表性方面，所公开的技术可以用于提供一种用于视频处理的方法。该方法包括：执行视频的视频区域的当前视频块和视频的编解码表示之间的转换，其中，该转换使用编解码模式，其中在该编解码模式下，当前视频块基于第一域和第二域而构建，和/或色度残差以依赖于亮度的方式被缩放，并且其中，多个正向整形和/或多个逆向整形在本文档来自技高网...
【技术保护点】
1.一种处理视频数据的方法，包括：
2.根据权利要求1所述的方法，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
3.根据权利要求1所述的方法，其中，在所述运动信息细化过程中，所述运动偏移信息基于不同方向上的梯度计算来生成，其中所述梯度计算基于所述第一域中的样点。
4.根据权利要求2所述的方法，其中，所述代价计算包括绝对差之和(SAD)或绝对差的均值移除和(MR-SAD)。
5.根据权利要求1所述的方法，其中，所述当前视频块的重构样点基于逆向映射过程而转换到所述第一域。
6.根据权利要求5所述的方法，其中，滤波过程被应用于所述第一域中的经转换的重构样点。
7.根据权利要求1所述的方法，其中，对应于所述当前视频块的色度块的残差样点通过基于所述当前视频块所属的图片的亮度分量的所述第二域中的重构样点应用缩放过程来推导。
8.根据权利要求1所述的方法，其中，分段线性模型用于在所述正向映射过程期间将所述第二预测块的样点
9.根据权利要求8所述的方法，其中，所述分段线性模型的缩放系数基于第一变量和第二变量来确定，其中所述第一变量是基于被包括在自适应参数集中的语法元素来确定的，所述第二变量是基于比特深度来确定的。
10.根据权利要求1所述的方法，其中，所述运动信息细化过程包括解码器侧运动矢量细化过程、帧速率上转换或双向光流过程中的至少一个。
11.根据权利要求1所述的方法，其中，将所述运动信息细化过程应用于所述未细化的运动信息以获得所述运动偏移信息包括：
12.根据权利要求1所述的方法，其中，所述转换包括将所述当前视频块编码为所述比特流。
13.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述当前视频块。
14.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：
15.根据权利要求14所述的装置，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
16.根据权利要求14所述的装置，其中，在所述运动信息细化过程中，所述运动偏移信息基于不同方向上的梯度计算来生成，其中所述梯度计算基于所述第一域中的样点。
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
19.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：
20.根据权利要求19所述的非暂时性计算机可读记录介质，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
21.一种存储视频的比特流的方法，包括：
22.一种处理视频数据的方法，包括：
23.根据权利要求22所述的方法，其中，要用于所述当前视频块的所述自适应参数集的第二标识符被有条件地包括在所述视频区域的标头中。
24.根据权利要求23所述的方法，其中，所述第二标识符是否存在于所述视频区域的标头中取决于是否对所述视频区域启用所述编解码工具。
25.根据权利要求22所述的方法，其中，所述自适应参数集的第一标识符的范围为0至M之间，其中M为2K-1。
26.根据权利要求22所述的方法，其中，所述自适应参数集跨所述视频的图片共享。
27.根据权利要求22所述的方法，其中，所述自适应参数集的第一标识符具有被固定长度编解码的值。
28.根据权利要求22所述的方法，其中，所述编解码工具的自适应参数集和自适应环路滤波器信息的另一自适应参数集共享相同的网络抽象层单元类型。
29.根据权利要求22所述的方法，其中，所述参数信息包括在所述正向映射过程中用于将所述亮度分量的样点映射到特定值的整形模型信息的指示或者在所述缩放过程中用于推导所述色度分量的缩放残差样点的色度残差缩放因子中的至少一个。
30.根据权利要求29所述的方法，其中，所述整形模型是分段线性模型。
31.根据权利要求...
【技术特征摘要】
1.一种处理视频数据的方法，包括：
2.根据权利要求1所述的方法，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
3.根据权利要求1所述的方法，其中，在所述运动信息细化过程中，所述运动偏移信息基于不同方向上的梯度计算来生成，其中所述梯度计算基于所述第一域中的样点。
4.根据权利要求2所述的方法，其中，所述代价计算包括绝对差之和(sad)或绝对差的均值移除和(mr-sad)。
5.根据权利要求1所述的方法，其中，所述当前视频块的重构样点基于逆向映射过程而转换到所述第一域。
6.根据权利要求5所述的方法，其中，滤波过程被应用于所述第一域中的经转换的重构样点。
7.根据权利要求1所述的方法，其中，对应于所述当前视频块的色度块的残差样点通过基于所述当前视频块所属的图片的亮度分量的所述第二域中的重构样点应用缩放过程来推导。
8.根据权利要求1所述的方法，其中，分段线性模型用于在所述正向映射过程期间将所述第二预测块的样点映射到所述特定值。
9.根据权利要求8所述的方法，其中，所述分段线性模型的缩放系数基于第一变量和第二变量来确定，其中所述第一变量是基于被包括在自适应参数集中的语法元素来确定的，所述第二变量是基于比特深度来确定的。
10.根据权利要求1所述的方法，其中，所述运动信息细化过程包括解码器侧运动矢量细化过程、帧速率上转换或双向光流过程中的至少一个。
11.根据权利要求1所述的方法，其中，将所述运动信息细化过程应用于所述未细化的运动信息以获得所述运动偏移信息包括：
12.根据权利要求1所述的方法，其中，所述转换包括将所述当前视频块编码为所述比特流。
13.根据权利要求1所述的方法，其中，所述转换包括从所述比特流解码所述当前视频块。
14.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：
15.根据权利要求14所述的装置，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
16.根据权利要求14所述的装置，其中，在所述运动信息细化过程中，所述运动偏移信息基于不同方向上的梯度计算来生成，其中所述梯度计算基于所述第一域中的样点。
17.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
18.根据权利要求17所述的非暂时性计算机可读存储介质，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
19.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：
20.根据权利要求19所述的非暂时性计算机可读记录介质，其中，在所述运动信息细化过程中，所述运动偏移信息基于双线性插值过程和代价计算来生成，并且所述运动偏移信息还用于后续块的时域运动矢量预测。
21.一种存储视频的比特流的方法，包括：
22.一种处理视频数据的方法，包括：
23.根据权利要求22所述的方法，其中，要用于所述当前视频块的所述自适应参数集的第二标识符被有条件地包括在所述视频区域的标头中。
24.根据权利要求23所述的方法，其中，所述第二标识符是否存在于所述视频区域的标头中取决于是否对所述视频区域启用所述编解码工具。
25.根据权利要求22所述的方法，其中，所述自适应参数集的第一标识符的范围为0至m之间，其中m为2k-1。
26.根据权利要求22所述的方法，其中，所述自适应参数集跨所述视频的图片共享。
27.根据权利要求22所述的方法，其中，所述自适应参数集的第一标识符具有被固定长度编解码的值。
28.根据权利要求22所述的方法，其中，所述编解码工具的自适应参数集和自适应环路滤波器信息的另一自适应参数集共享相同的网络抽象层单元类型。
29.根据权利要求22所述的方法，其中，所述参数信息包括在所述正向映射过程中用于将所述亮度分量的样点映射到特定值的整形模型信息的指示或者在所述缩放过程中用于推导所述色度分量的缩放残差样点的色度残差缩放因子中的至少一个。
30.根据权利要求29所述的方法，其中，所述整形模型是分段线性模型。
31.根据权利要求30所述的方法，其中，所述分段线性模型的缩放系数基于第一变量和第二变量来确定，其中所述第一变量是基于所述自适应参数集中包括的所述参数信息来确定的，所述第二变量是基于比特深度来确定的。
32.根据权利要求31所述的方法，其中，所述缩放过程的缩放参数基于所述当前视频块所属的图片的整形域中的重构亮度样点和所述色度残差缩放因子来推导。
33.根据权利要求22所述的方法，其中，所述参数信息被包括在所述自适应参数集中，并且所述编解码工具的使用标志被包括在视频区域级别中。
34.根据权利要求22所述的方法，其中，所述视频区域的参数信息通过一个或多个先前编解码的视频区域的参数信息来预测。
35.根据权利要求34所述的方法，其中，所述先前编解码的视频区域包括所述视频的一个或多个图片。
36.根据权利要求22所述的方法，其中，所述视频区域是图片或片组。
37.根据权利要求22所述的方法，其中，所述转换包括将所述当前视频块编码为所述比特流。
38.根据权利要求22所述的方法，其中，所述转换包括从所述比特流解码所述当前视频块。
39.一种用于处理视频数据的装置，包括处理器和其上具有指令的非暂时性存储器，其中所述指令在由所述处理器执行时使得所述处理器：
40.一种存储指令的非暂时性计算机可读存储介质，所述指令使得处理器：
41.一种存储通过由视频处理装置执行的方法生成的视频的比特流的非暂时性计算机可读记录介质，其中所述方法包括：
42.一种存储视频...
【专利技术属性】
技术研发人员：张莉，张凯，刘鸿彬，许继征，王悦，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。