用于视频处理的方法和设备技术

本申请实施例提供一种用于视频处理的方法和设备，可以降低滤波过程的复杂度。该方法包括：在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；基于该至少一个第一相似块，构建结构数组；对该结构数组进行分解；根据分解的结构数组，获得重建结构数组。

Methods and devices for video processing

【技术实现步骤摘要】
【国外来华专利技术】用于视频处理的方法和设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及视频处理领域，并且更具体地，涉及一种用于视频处理的方法和设备。
技术介绍
在视频编码过程中，滤波是关键部分。它主要用于减少编码过程中产生的压缩失真。当前视频编码标准的环路滤波器都是利用图像局部相似特性进行滤波，这种滤波方式限制了滤波器的性能。为了进一步提升压缩性能，基于非局部相似性的环路滤波器(具体可以为基于非局部结构的视频编码滤波器(Non-localStructure-basedFilter,NLSF))被应用到编码框架中，它利用图像的非局部自相似性，对搜索得到的相似结构组进行协同滤波。在利用NLSF进行滤波时，需要对当前块进行相似块的搜索，并基于搜索到的相似块构建结构数组，以执行基于结构数组的滤波。其中，在搜索相似块时，需要对搜索窗中的所有像素进行逐点扫描，导致复杂度过高，难以实用。因此，如何降低滤波过程的复杂度是一项亟待解决的问题。
技术实现思路
本申请实施例提供一种用于视频处理的方法和设备，可以降低滤波过程的复杂度。第一方面，提供了一种用于视频处理的方法，包括：在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；基于该至少一个第一相似块，构建结构数组；对该结构数组进行分解；根据分解的结构数组，获得重建结构数组。第二方面，提供了一种用于视频处理的方法，包括：从重建像素中，获取当前块的至少一个相似块，该当前块包括至少一个重建像素，其中，用于表征该当前块与该相似块的相似度的参量的值超出第一阈值；基于该至少一个相似块，构建结构数组；对该结构数组进行分解；根据分解的结构数组，获得重建结构数组。第三方面，提供了一种用于视频处理的设备，包括：相似块获取单元，用于在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素；构建单元，用于基于该至少一个第一相似块，构建结构数组；分解单元，用于对该结构数组进行分解；重建单元，用于根据分解的结构数组，获得重建结构数组。第四方面，提供了一种用于视频处理的设备，包括：相似块获取单元，用于从重建像素中，获取当前块的至少一个相似块，该当前块包括至少一个重建像素，其中，用于表征该当前块与该相似块的相似度的参量的值超出第一阈值；构建单元，用于基于该至少一个相似块，构建结构数组；分解单元，用于对该结构数组进行分解；重建单元，用于根据分解的结构数组，获得重建结构数组。第五方面，提供了一种计算机系统，包括：存储器，用于存储计算机可执行指令；处理器，用于访问该存储器，并执行该计算机可执行指令，以进行上述第一方面或第二方面的方法中的操作。第六方面，提供了一种计算机存储介质，该计算机存储介质中存储有程序代码，该程序代码可以用于指示执行上述第一方面或第二方面的方法。第七方面，提供了一种计算机程序产品，该程序产品包括程序代码，该程序代码可以用于指示执行上述第一方面或第二方面的方法。因此，本申请实施例中的用于视频处理的方法，在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，该像素集合包括稀疏的重建像素，该当前块包括至少一个重建像素，基于该至少一个第一相似块，构建结构数组，对该结构数组进行分解，根据分解的结构数组，获得重建结构数组，可以在保证最小的编码性能损失的情况下，降低滤波复杂度，从而降低编解码的复杂度，以及节省编解码的时间。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本申请实施例的编码系统的示意性图。图2是根据本申请实施例的编码框架的示意图。图3是SVD分解的过程的示意性图。图4是硬阈值的过程的示意性图。图5是根据本申请实施例的用于视频处理的方法的示意性流程图。图6是根据本申请实施例的当前块选取的示意性图。图7是根据本申请实施例中的模板中的像素分布的示意性图。图8是根据本申请实施例的模板或像素集合的示意图。图9是根据本申请实施例的在重建像素中获取相似块的示意性图。图10是根据本申请实施例的在重建像素中获取相似块的示意性图。图11是根据本申请实施例的视频处理的示意性图。图12是根据本申请实施例的用于视频处理的设备的示意性框图。图13是根据本申请实施例的用于视频处理的设备的示意性框图。图14是根据本申请实施例的计算机系统的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。除非另有说明，本申请实施例所使用的所有技术和科学术语与本申请的
的技术人员通常理解的含义相同。本申请中所使用的术语只是为了描述具体的实施例的目的，不是旨在限制本申请的范围。图1是应用本申请实施例的技术方案的架构图。如图1所示，系统100可以接收待处理数据102，对待处理数据102进行处理，产生处理后的数据108。例如，系统100可以接收待编码数据，对待编码数据进行编码以产生编码后的数据，或者，系统100可以接收待解码数据，对待解码数据进行解码以产生解码后的数据。在一些实施例中，系统100中的部件可以由一个或多个处理器实现，该处理器可以是计算设备中的处理器，也可以是移动设备(例如无人机)中的处理器。该处理器可以为任意种类的处理器，本申请实施例对此不做限定。在一些可能的设计中，该处理器可以包括图像信号处理器(ImageSignalProcessor，ISP)、编码或解码器等。系统100中还可以包括一个或多个存储器。该存储器可用于存储指令和数据，例如，实现本申请实施例的技术方案的计算机可执行指令，待处理数据102、处理后的数据108等。该存储器可以为任意种类的存储器，本申请实施例对此也不做限定。待处理数据102可以包括文本，图像，图形对象，动画序列，音频，视频，或者任何需要编码或解码的其他数据。任何合适的编码或解码技术都可以用于编码或解码待处理数据102。编码或解码类型依赖于待处理数据和具体的编码或解码需求。在一些实施例中，编码或解码器可以实现一种或多种不同的编解码器。每种编解码器可以包括实现不同编码或解码算法的代码，指令或计算机程序。基于各种因素，包括待处理数据102的类型和/或来源，待处理数据数据的接收实体，可用的计算资源，网络环境，商业环境，规则和标准等，可以选择一种合适的编码或解码算法编码或解码给定的待处理数据102。例如，编码或解码器可以被配置为编码或解码一系列视频帧。编码或解码每个帧中的数据可以采用一系列步骤。图2是根据本申请实施例的一种编码器的框架图。以下将结合图2分别介绍帧间编码和帧内编码的流程。如图2所示，帧间编码的流程可以如下所示：在20本文档来自技高网...

【技术保护点】
1.一种用于视频处理的方法，其特征在于，包括：在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，所述像素集合包括稀疏的重建像素，所述当前块包括至少一个重建像素；基于所述至少一个第一相似块，构建结构数组；对所述结构数组进行分解；根据分解的结构数组，获得重建结构数组。

【技术特征摘要】
【国外来华专利技术】1.一种用于视频处理的方法，其特征在于，包括：在至少一个像素集合中，获取当前块的至少一个第一相似块，其中，所述像素集合包括稀疏的重建像素，所述当前块包括至少一个重建像素；基于所述至少一个第一相似块，构建结构数组；对所述结构数组进行分解；根据分解的结构数组，获得重建结构数组。2.根据权利要求1所述的方法，其特征在于，所述至少一个像素集合包括第一像素集合；所述在至少一个像素集合中，获取所述至少一个第一相似块，包括：基于所述当前块包括的重建像素的位置，确定所述第一像素集合；从所述第一像素集合中，获取所述第一相似块。3.根据权利要求2所述的方法，其特征在于，从所述第一像素集合中，获取所述第一相似块，包括：按照从靠近所述当前块到远离所述当前块的搜索方式，从所述第一像素集合中，获取所述第一相似块。4.根据权利要求2或3所述的方法，其特征在于，从所述第一像素集合中，获取所述第一相似块，包括：在所述第一像素集合中搜索到的期望块的数量达到第二阈值时，将所述期望块作为所述第一相似块，并停止在所述第一像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。5.根据权利要求2或3所述的方法，其特征在于，从所述第一像素集合中，获取所述第一相似块，包括：在所述第一像素集合的所有像素中，搜索到的期望块的数量大于第二阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第二阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。6.根据权利要求2至5中任一项所述的方法，其特征在于，所述至少一个像素集合包括第二像素集合；所述在至少一个像素集合中，获取第一相似块，包括：根据前次得到的第一相似块包括的重建像素的位置，确定第二像素集合；从所述第二像素集合中，再次获取所述第一相似块。7.根据权利要求6所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：基于从靠近所述前次得到的所述第一相似块到远离所述前次得到的所述第一相似块的搜索方式，从所述第二像素集合中，再次获取所述第一相似块。8.根据权利要求6或7所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：在所述第二像素集合中搜索到的期望块的数量达到第三阈值时，将所述期望块确定为所述第一相似块，并停止在所述第二像素集合中进行所述第一相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。9.根据权利要求6或7所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：在所述第二像素集合的所有像素中，搜索到的期望块的数量大于第三阈值时，按照相似度从高到低的方式，从搜索到的所述期望块中，确定数量等于所述第三阈值的所述第一相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。10.根据权利要求6至9中任一项所述的方法，其特征在于，从所述第二像素集合中，再次获取所述第一相似块，包括：所述第二像素集合中之前已经进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，所述第二像素集合中不包括已经进行了相似块匹配操作的块。11.根据权利要求1至10中任一项所述的方法，其特征在于，所述方法还包括：基于模板，确定所述像素集合。12.根据权利要求11所述的方法，其特征在于，所述模板中的重建像素聚集为多个分散的图像块，每个图像块的大小大于或等于所述当前块的大小。13.根据权利要求11或12所述的方法，其特征在于，所述模板包括用于选择所述第一相似块的多个候选相似块，所述候选相似块的大小等于所述当前块的大小。14.根据权利要求13所述的方法，其特征在于，所述模板包括从中心到边缘的多组候选相似块，每组候选相似块块围成环形，所述环形相对所述模板的中心对称，组内的候选相似块均匀排布。15.根据权利要求14所述的方法，其特征在于，所述模板包括四组候选相似块，所述四组候选相似块的远离所述模板的中心的边缘像素，相对于所述模板的中心，分别间隔1个像素，2个像素，4个像素和8个像素。16.根据权利要求14或15所述的方法，其特征在于，所述四组候选相似块分别具有4个候选相似块，8个候选相似块，8个候选相似块和8个候选相似块，其中，具有4个候选相似块的一组候选相似块距离所述模板的中心最近。17.根据权利要求11至16中任一项所述的方法，其特征在于，所述至少一个像素集合中，不同的像素集合是基于不同的模板确定的。18.根据权利要求2至17中任一项所述的方法，其特征在于，所述方法还包括：基于每个所述第一相似块的位置，分别确定像素窗口；在所述像素窗口内，获取所述第二相似块；所述基于所述至少一个第一相似块，构建结构数组，包括：基于所述第一相似块和所述第二相似块，构建所述结构数组。19.根据权利要求18所述的方法，其特征在于，在所述像素窗口内，确定第二相似块，包括：按照逐点扫描的方式，确定所述第二相似块。20.根据权利要求18或19所述的方法，其特征在于，在所述像素窗口内，获取所述第二相似块，包括：所述像素窗口中已进行了相似块匹配操作的块，不再进行相似块的匹配操作；或者，所述搜索窗口中不包括已经进行了相似块匹配操作的块。21.根据权利要求18至20中任一项所述的方法，其特征在于，所述在所述像素窗口内，获取所述第二相似块，包括：在所述像素窗口中搜索到的期望块的数量达到第四阈值时，将搜索到的所述期望块确定为所述第二相似块，并停止在所述像素窗口中进行所述第二相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。22.根据权利要求18至20中任一项所述的方法，其特征在于，所述在所述像素窗口内，获取所述第二相似块，包括：在所述像素窗口中的所有像素中，搜索到的期望块的数量大于第四阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第四阈值的所述第二相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。23.根据权利要求1至22中任一项所述的方法，其特征在于，用于表征所述当前块与所述当前块的相似块的相似度的参量的值超出第一阈值。24.根据权利要求23所述的方法，其特征在于，所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度，所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。25.根据权利要求24所述的方法，其特征在于，在表征所述相似度的参量是哈希值的差值时，所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。26.根据权利要求24所述的方法，其特征在于，在表征所述相似度的参量是误差平方和SSD或绝对误差和SAD时，所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度。27.根据权利要求24所述的方法，其特征在于，在表征所述相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，所述第一阈值是基于视频的比特深度确定的。28.根据权利要求23至27中任一项所述的方法，其特征在于，所述方法由编码端实现；所述方法还包括：所述编码端确定所述第一阈值，以及将所述第一阈值进行编码。29.根据权利要求23至28中任一项所述的方法，其特征在于，所述方法由解码端实现；所述方法还包括：所述解码端获取码流中的所述第一阈值。30.根据权利要求1至29中任一项所述的方法，其特征在于，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。31.根据权利要求30所述的方法，其特征在于，用于获取所述相似块的重建像素包括：所述当前块所属的编码单元的上侧的重建像素、所述编码单元的左侧的重建像素和所述编码单元的重建像素；或，所述编码单元的上侧的重建像素、所述编码单元的左侧的重建像素、所述编码单元的右侧的重建像素、所述编码单元的下侧的重建像素和所述编码单元的重建像素；或，所述编码单元的重建像素。32.根据权利要求31所述的方法，其特征在于，所述编码单元的上侧的重建像素的垂直方向的像素个数少于或等于所述编码单元的左侧的重建像素的水平方向的像素个数。33.一种用于视频处理的方法，其特征在于，包括：从重建像素中，获取当前块的至少一个相似块，所述当前块包括至少一个重建像素，其中，用于表征所述当前块与所述相似块的相似度的参量的值超出第一阈值；基于所述至少一个相似块，构建结构数组；对所述结构数组进行分解；根据分解的结构数组，获得重建结构数组。34.根据权利要求33所述的方法，其特征在于，所述相似块的数量小于或等于第二阈值。35.根据权利要求34所述的方法，其特征在于，所述从重建像素中，获取当前块的至少一个相似块，包括：在搜索到的期望块的数量达到所述第二阈值时，将所述期望块作为所述相似块，并停止所述相似块的搜索，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。36.根据权利要求34所述的方法，其特征在于，所述从重建像素中，获取当前块的至少一个相似块，包括：在所述重建像素的所有像素中，搜索到的期望块的数量大于所述第二阈值时，按照相似度从高到低的方式，从所述期望块中，确定数量等于所述第二阈值的所述相似块，其中，用于表征所述当前块与所述期望块的相似度的参量的值超出第一阈值。37.根据权利要求33至36中任一项所述的方法，其特征在于，所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度，所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。38.根据权利要求37所述的方法，其特征在于，在表征所述相似度的参量是哈希值的差值时，所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的像素和，所述当前块的像素的水平梯度，所述当前块的像素的垂直梯度。39.根据权利要求37所述的方法，其特征在于，在表征所述相似度的参量是误差平方和SSD或绝对误差和SAD时，所述第一阈值是基于以下参数中的至少一种确定的：所述当前块的大小，视频的比特深度。40.根据权利要求37所述的方法，其特征在于，在表征所述相似度的参量是平均绝对差MAD，平均误差平方和MSD或结构相似性指标SSIM时，所述第一阈值是基于视频的比特深度确定的。41.根据权利要求33至40中任一项所述的方法，其特征在于，表征相似度的参量为：哈希值的差值、SSD、SAD、MAD、MSD或SSIM。42.根据权利要求33至41中任一项所述的方法，其特征在于，所述方法由编码端实现；所述方法还包括：所述编码端确定所述第一阈值，以及将所述第一阈值进行编码。43.根据权利要求33至41中任一项所述的方法，其特征在于，所述方法由解码端...

【专利技术属性】
技术研发人员：马思伟，孟学苇，王苫社，贾川民，郑萧桢，
申请(专利权)人：北京大学，深圳市大疆创新科技有限公司，
类型：发明
国别省市：北京,11