处理深度图像的方法和装置制造方法及图纸

本公开是关于处理深度图像的方法和装置。该方法包括：从原始深度图像中像截取大小相同的多个矩形子图像；将所述多个矩形子图像划分至至少一个聚类，每个所述聚类包括至少一个所述矩形子图像；对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量；基于矩形子图像对应的低秩分量合成处理后的深度图像。根据本公开，可对原始深度图像进行去噪和补缺。基于该处理后的深度图像进行3D图像识别，有利于显著增强识别的可靠性。

【技术实现步骤摘要】
处理深度图像的方法和装置
本公开涉及3D图像处理领域，尤其涉及处理深度图像的方法和装置。
技术介绍
3D图像是非常热门的研究领域，例如3D面部识别等，已成为终端设备等进行身份识别的重要演进方向。由于器件灵敏度缺陷等问题，基于结构光的3D摄像头采集到的人脸图像等，在某些像素位置可能会出现高噪声，甚至出现深度值缺失。如图1所示。有鉴于此，急需对原始深度图像进行预处理的图像处理方案。
技术实现思路
为克服相关技术中存在的问题，本公开提供一种处理深度图像的方法，本公开还提出了相应的装置和计算机可读存储程序。根据本公开实施例的第一方面，提供一种处理深度图像的方法，包括从原始深度图像中像截取大小相同的多个矩形子图像；将所述多个矩形子图像划分至至少一个聚类，每个所述聚类包括至少一个所述矩形子图像；对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量；基于矩形子图像对应的低秩分量合成处理后的深度图像。根据本公开实施例的第二方面，提供一种处理深度图像的装置，包括：截取模块，被配置为从原始深度图像中像截取大小相同的多个矩形子图像；聚类模块，被配置为将所述多个矩形子图像划分至至少一个聚类，每个所述聚类包括至少一个所述矩形子图像；矩阵分解模块，被配置为对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量；合成模块，被配置为基于矩形子图像对应的低秩分量合成处理后的深度图像。根据本公开实施例的第三方面，提供一种处理深度图像的装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行如上所述的方法。根据本公开实施例的第四方面，提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由处理器执行时，使得处理器能够执行如上所述的方法。本公开的实施例提供的技术方案可以包括以下有益效果：通过从原始深度图像中截取大小相同的多个矩形子图像，并对所截取的矩形子图像进行聚类，从而得到具有低秩性质的数据，然后针对具有低秩性质的数据进行低秩稀疏矩阵分解，进而基于分解得到的低秩分量合成处理后的深度图像，以对原始深度图像进行去噪和补缺。基于该处理后的深度图像进行3D图像识别，有利于显著增强识别的可靠性。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。图1是3D结构光采集到的原始深度图像的示意图。图2是据一示例性实施例示出的一种处理深度图像的方法的流程图。图3是据一示例性实施例示出的一种处理深度图像的方法的示例性流程图。图4是据一示例性实施例示出的一种处理深度图像的方法的示例性流程图。图5是根据一示例性实施例示出的一种处理深度图像的装置的框图。图6是根据一示例性实施例示出的一种处理深度图像的装置的示例性框图。图7是根据一示例性实施例示出的一种处理深度图像的装置的框图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。低秩系数矩阵分解，也称为鲁棒主成分分析(RobustPrincipleComponentAnalsis-RobustPCA)，是能够从受噪声较大但稀疏的观测数据中恢复出本质上低秩的信息的方法。原始的深度数据虽然不具有低秩的性质，但本公开的专利技术人经过深入研究发现，可以对原始的深度数据局部采样得到大量的矩形小图像，对这些矩形小图像经过特定处理后使其具有低秩的性质，从而基于低秩系数矩阵分解得到去噪和补缺后的深度图像。图2是根据一示例性实施例示出的一种处理深度图像的方法的流程图，如图1所示，所述方法可以用于需要进行深度图像处理的各种设备中，例如，采用3D面部识别的终端设备。所述方法包括以下步骤。在步骤102中，从原始深度图像中截取大小相同的多个矩形子图像。所述原始深度图像可以看做是一个大的矩阵，矩阵中的元素可表示对应位置的像素点的深度值。在一种可能的实现方式中，可以随机或伪随机地从所述原始度图像中截取大小相同的多个矩形子图像。某些特定的截取方式，可能带来特定的信息偏差。在一些应用场景中，需要识别多个原始图像，如果针对各个原始图像采用相同的截取方式，则可能在这些原始图像的处理中都存在某特定的信息偏差，从而在最终结果中引入较大偏差甚至错误。本实现方式中，可以随机或伪随机地进行截取，以使得不同原始图像的截取方式基本不相关，从而尽量避免因为特定截取方式而最终导致的误差。在一个示例中，设原始深度图像的大小为100*100，每个矩形子图像的大小为10*10，可以针对该原始深度图像随机取上万个矩形子图像，以确保遍历原始深度图像的各个矩形小区域。在步骤104中，将所述多个矩形子图像划分至至少一个聚类，每个所述聚类包括至少一个所述矩形子图像。在一种可能的实现方式中，可采用k-means聚类算法对这些矩形子图像进行聚类，例如，直接以矩形子图像的元素作为聚类算法的输入特征，将每两个矩形子图像对应像素之间的距离之和定义为这两个矩形子图像之间的距离，并将相似度高(即距离小)的矩形区域划分到同一个聚类中。本领域技术人员也可采用其他认为适用的方式对所述多个矩形子图像进行分析，并将经分析认为相似的矩形子图像归入同一聚类，本公开对此不作限定。步骤106，对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量。在一种可能的实现方式中，步骤106可以包括：设聚类中包括n个矩形子图像，依次表示为Ii，i＝1,2,…n；将所述n个矩形子图像向量化，依次得到向量vec(Ii)，i＝1,2,…n；得到矩阵D＝[vec(I0)，vec(I1)，…,vec(In)]；基于下式将矩阵D分解为低秩矩阵L和稀疏矩阵S：其中，rank(L)表示矩阵L的秩，card(S)表示矩阵S中不为0的元素的个数，λ为调整系数；设矩阵L＝[l1，l2，…,ln]，则确定矩形子图像Ii对应的低秩分量为对向量li矩阵化后得到的矩阵，i＝1,2,…n。设某个聚类包括n个矩形子图像，每个矩形子图像有w行n列，即Ii为w*h的矩阵，i＝1,2,…n。可以按照先行后列或先列后行的顺序对Ii进行向量化，得到vec(Ii)，vec(Ii)也可视为大小为w*h行1列的矩阵。可将这n个向量组成的矩阵D按照式1进行分解，将其分解为一个低秩矩阵L和一个稀疏矩阵S，D、L和S均为w*h行n列的矩阵。可根据经验和仿真结果等确定调整系数λ。可对稀疏矩阵L的每一列进行矩阵化，该矩阵化是上述向量化的拟过程，每一列被矩阵化为一个w*h的矩阵，其中，矩形子图像Ii对应的低秩分量为对向量li矩阵化后得到的矩阵，i＝1,2,…n。步骤108，基于矩形子图像对应的低秩分量合成处理后的深度图像。所述合成可以是步骤102中的截取操作的拟过程。在合成过程中，在某位置截取的矩形子图像对应的低秩分量仍位于该矩形子图像原来所在的位置本文档来自技高网...

【技术保护点】
一种处理深度图像的方法，其特征在于，所述方法包括：从原始深度图像中像截取大小相同的多个矩形子图像；将所述多个矩形子图像划分至至少一个聚类，每个所述聚类包括至少一个所述矩形子图像；对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量；基于矩形子图像对应的低秩分量合成处理后的深度图像。

【技术特征摘要】
1.一种处理深度图像的方法，其特征在于，所述方法包括：从原始深度图像中像截取大小相同的多个矩形子图像；将所述多个矩形子图像划分至至少一个聚类，每个所述聚类包括至少一个所述矩形子图像；对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量；基于矩形子图像对应的低秩分量合成处理后的深度图像。2.根据权利要求1所述的方法，其特征在于，所述从原始深度图像中截取大小相同的多个矩形子图像，包括：随机或伪随机地从所述原始深度图像中截取大小相同的多个矩形子图像。3.根据权利要求1所述的方法，其特征在于，将所述多个矩形子图像划分至至少一个聚类之前，所述方法还包括：对矩形子图像中的各个元素进行归一化。4.根据权利要求3所述的方法，其特征在于，所述对矩形子图像中的各个元素进行归一化，包括：将矩形子图像中的各个元素减去同一直流值，所述直流值是相应矩形子图像中各个元素的最小值、最大值或平均值。5.根据权利要求1所述的方法，其特征在于，所述对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量，包括：设聚类中包括n个矩形子图像，依次表示为Ii，i＝1,2,…n；将所述n个矩形子图像向量化，依次得到向量vec(Ii)，i＝1,2,…n；得到矩阵D＝[vec(I0)，vec(I1)，…,vec(In)]；基于下式将矩阵D分解为低秩矩阵L和稀疏矩阵S：D＝L+S，其中，rank(L)表示矩阵L的秩，card(S)表示矩阵S中不为0的元素的个数，λ为调整系数；设矩阵L＝[l1，l2，…,ln]，则确定矩形子图像Ii对应的低秩分量为对向量li矩阵化后得到的矩阵，i＝1,2,…n。6.根据权利要求1所述的方法，其特征在于，所述对聚类中所包括的各个矩形子图像构成的矩阵进行矩形稀疏矩阵分解，得到矩形子图像对应的低秩分量，包括：在聚类中所包括的矩形子图像的数量大于阈值的情况下，对该聚类中所包括的各个矩形子图像构成的矩阵进行低秩稀疏矩阵分解，得到矩形子图像对应的低秩分量；在聚类中所包括的矩形子图像的数量小于阈值的情况下，不针对该聚类执行低秩系数矩阵分解。7.根据权利要求1所述的方法，其特征在于，所述基于矩形子图像对应的低秩分量合成处理后的深度图像，包括：将所述多个矩形子图像中具有对应的低秩分量的矩形子图像替换为对应的低秩分量；合成替换后的所述多个矩形子图像，以得到所述处理后的深度图像。8.一种处理深度图像的装置，其特征在于，所述装置包括：截取模块，被配置为从原始深度图像中像截取大小相同的多个矩形子图像；聚类模块，被配置为将所...

【专利技术属性】
技术研发人员：万韶华，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：北京,11