对图像的块进行编码的方法和设备以及对应的重建方法和设备技术

本发明专利技术涉及对图像块进行编码和解码。更具体地，本发明专利技术涉及使用图像的参考块进行块预测。提出了一种方法，该方法包含使用处理部件进行：使用至少该块来确定图像的已经编码的部分中的一个参考块并重建图像的一部分，使用至少该块来确定所重建的部分中的一个参考块以及参考该一个参考块的矢量，使用该一个参考块来确定所重建的部分中的至少一个另外的参考块，并且对所确定的矢量以及该块相对于该一个和至少一个另外的参考块的残差进行编码。使用该块进行关于一个参考块的确定考虑到对其进行选择，从而使其与该块相似并且保持与该块之间的相关性。

【技术实现步骤摘要】
【国外来华专利技术】对图像的块进行编码的方法和设备以及对应的重建方法和 设备
本专利技术涉及图像块编码和重建。更具体地，本专利技术涉及使用图像的参考块的块预 测。
技术介绍
近邻嵌入（neighbour embedding)是一种用于确定图像块的残差编码的预测以及 用于对经残差编码的图像块进行重建的技术。 在近邻嵌入中，确定结合起来用于块的预测或近似的参考块，确定参考块基于所 述参考块的空间邻域与该块的空间邻域的相似性。两个块之间的相似性是指它们的语义内 容是类似的。 这种近似或预测能够以相同的方式发生在编码器侧和解码器侧，并且只将该预测 的残差从编码器传送或传输给解码器。
技术实现思路
对于仅基于邻域的相似性而确定出的参考块，专利技术人认识到与该块之间可能缺少 相关性。 因此，为了对图像的块进行编码，提出了一种根据权利要求1所述的方法以及一 种根据权利要求7所述的设备。所述方法包含：使用处理部件对图像的一部分进行编码和 重建；至少使用所述块来确定所重建的部分中的一个参考块以及参考所述一个参考块的矢 量；使用所述一个参考块来确定所重建的部分中的至少一个另外的参考块；以及，对所确 定的矢量以及所述块相对于所述一个参考块与所述至少一个另外的参考块的组合的残差 进行编码。 使用所述块以确定一个参考块允许对其进行选择，从而使其与所述块相似并且保 持与所述块之间的相关性。 在一个实施例中，邻近所述块的重建的邻域还被用于确定所述一个参考块。 在这个或另一个实施例中，邻近所述一个参考块的重建的邻域还被用于确定所述 至少一个另外的参考块。 在另外的实施例中，所述一个参考块与所述至少一个另外的参考块的组合可以是 加权线性组合。例如，可以通过解决约束最小平方问题或非局部均值问题来确定用于所述 加权线性组合的权重。 根据邻近所述块的邻域以及邻近至少一个另外的块的一个邻域和至少一个另外 的邻域来确定所述加权线性组合的权重。 或者，使用所述块、所述一个参考块以及所述至少一个另外的参考块来确定用于 所述加权线性组合的权重，并且对所确定的权重进行编码。 在约束最小平方问题的情况下，可以使用局部线性嵌入或非负矩阵因数分解来确 定解。 在另外的实施例中，至少使用所述块来确定所重建的部分中的至少一个其他参考 块以及参考所述至少一个其他参考块的至少一个其他矢量。使用邻近所述至少一个其他参 考块的至少一个其他邻域来确定所重建的部分中的至少一个另外的其他参考块，并且确定 所述块相对于所述一个其他参考块与所述至少一个另外的其他参考块的另外的加权线性 组合的另外的残差的成本高于所述残差的成本，其中，所述残差和所述另外的残差的成本 是预测成本或者率失真成本。 为了重建图像的块，提出了一种根据权利要求10所述的方法以及一种根据权利 要求15所述的设备。该用于重建图像的块的方法包含使用处理部件进行：重建所述图像的 一部分；对所述块的经编码的残差进行解码，并且对参考所重建的部分中的参考块的经编 码的矢量进行解码；使用所述参考块来确定所重建的部分中的至少一个另外的参考块；以 及，通过结合所述残差与所述参考块和所述至少一个另外的参考块的组合来重建所述块。 在从属权利要求中指定另外的有利实施例的特征。 【附图说明】 在下面的附图中示例本专利技术的示例性的实施例，并且在下面的说明中进行更详细 的解释。解释这些示例性的实施例仅是用于阐明本专利技术，而不是用于限制在权利要求书中 定义的本专利技术的公开或范围。 附图中： 图1图示了现有技术的近邻嵌入； 图2图示了映射辅助近邻嵌入（map-aided neighbour embedding)的示例性的实 施例；并且 图3图示了优化的映射辅助近邻嵌入的示例性的实施例。 【具体实施方式】 本专利技术可以在任何包含经对应适配的处理设备的电子设备上实现。例如，本专利技术 可以在电视机、移动电话、个人计算机、数字静态摄像机、数字视频摄像机、导航系统或者视 频首频系统中实现。 根据现有技术，确定参考块RBI、RB2、RB3,使得邻近参考块RBI、RB2、RB3的模板 MT1、MT2、MT3与邻近要编码或要重建的块BLK的模板TPL极为相似。在图1中对此进行了 示例性的图示，其中，图像MG的灰色区域已经被重建，在编码器侧在编码之后在预测中使 用而在解码器侧在重建中使用，图像IMG的白色区域尚未被编码或重建。 在近邻嵌入方法的提出的改进的示例性的实施例中，使用矢量VEC来考虑要预测 的当前块BLK的纹理信息。 S卩，在编码器侧通过参考矢量VEC的块匹配和编码而在解码器侧通过对经编码的 参考矢量VEC进行解码来确定一个参考块RB1，使其与当前块BLK相似。例如，可以使用欧 氏距离来测量块的相似性或类似性，并且可以将搜索区域中的最小距离认为是最接近的匹 配。该搜索区域可以是整个重建的图像或其一部分。 然后，在编码器侧以与解码器侧相同的方式确定至少一个另外的参考块RB2、RB3。 艮P，确定至少第二参考块RB2、RB3,使其与所述一个参考块RB1相似。 可以确定一对权重，以使用所确定的权重使得要预测的块相对于所述一个参考块 与所述至少一个另外的参考块的加权线性组合的残差的编码的率失真成本最小化。然后， 必须对所确定的权重进行编码以使得具有可判定性。 在图2中示例性地图示的另一个示例性的实施例中，确定所述一个参考块RB1，使 得包含邻近所述一个参考块RB1的一个参考邻域的一个参考补片（patch)FMP与包含当前 块的对应邻域和当前块BLK的补片PTC相似。在图2中所示的邻域的形状和位置仅用于示 例性的目的，可能有其他的形状和位置。 在又一个示例性的实施例中，确定第二参考块RB2,使得包含第二参考邻域和第二 参考块RB2的第二参考补片MP2与所述一个参考补片FMP相似。 可以将这些构思向选择k个补片扩展，其中，使用k个补片中的k个块的加权线性 组合来预测该块。确定k个补片之一，使得至少包含在该一个补片中的至少一个参考块与 要预测的块相似。或者，确定k个补片之一，使其与包含要预测的块的对应的补片相似。 然后，确定剩余的（k-ι)个补片，使得还包含在剩余补片中的参考邻域与包含在 所述k个补片之一中的邻域相似。或者，如在图2中示例性地图示的那样，然后，确定剩余 的（k-Ι)个补片，使它们与所述k个补片之一相似。 堆叠在矩阵中（每个补片均被矢量化），这样，补片还可以用于计算加权系数。选 取补片以近似要预测的块的邻域中的模板像素。这使得能够得到更好地适配于估计要预测 的块的未知像素的一组补片以及对应的加权矢量。当仅基于模板像素时，可以在编码器和 在解码器侧以相同的方式确定权重。 扩展到k个补片的构思的示例性的实施例是所谓的映射辅助近邻嵌入方法 (MANE)，该方法按照对要预测的输入块的k个补片进行两个步骤的搜索来进行： 第一步骤在于使用块匹配（BM)实施例来搜索包含要预测的块加上其对应的邻域 的当前补片的最相似的参考补片，其中，邻域也被称为模板。因为使用包含要预测的块的当 前补片来确定最相似的参考补片，所以参考最接近的参考补片本文档来自技高网...

【技术保护点】
一种用于对图像的块进行编码的方法，该方法包含使用处理部件进行：对所述图像的一部分进行编码和重建；使用至少所述块来确定所重建的部分中的一个参考块，使得所述参考块与所述至少一个块相似，并且确定参考所述一个参考块的矢量；使用所述一个参考块来确定所重建的部分中的至少一个另外的参考块，使得所述参考块与所述至少一个另外的参考块相似；以及对所确定的矢量以及所述块相对于所述一个参考块和所述至少一个另外的参考块的组合的残差进行编码。

【技术特征摘要】
【国外来华专利技术】2012.01.13 EP 12305050.21. 一种用于对图像的块进行编码的方法，该方法包含使用处理部件进行： 对所述图像的一部分进行编码和重建； 使用至少所述块来确定所重建的部分中的一个参考块，使得所述参考块与所述至少一 个块相似，并且确定参考所述一个参考块的矢量； 使用所述一个参考块来确定所重建的部分中的至少一个另外的参考块，使得所述参考 块与所述至少一个另外的参考块相似；以及 对所确定的矢量以及所述块相对于所述一个参考块和所述至少一个另外的参考块的 组合的残差进行编码。2. 如权利要求1所述的方法，其中，邻近所述块的重建的邻域还被用于确定所述一个 参考块。3. 如权利要求1或2所述的方法，其中，邻近所述一个参考块的重建的邻域还被用于确 定所述至少一个另外的参考块。4. 如权利要求1至3的一项所述的方法，其中，所述一个参考块与所述至少一个另外的 参考块的组合是加权线性组合，其中，通过解决约束最小平方问题或非局部均值问题来确 定用于所述加权线性组合的权重。5. 如权利要求4所述的方法，其中，根据邻近所述块的邻域以及邻近所述至少一个另 外的块的一个邻域和至少一个另外的邻域来确定用于所述加权线性组合的权重。6. 如权利要求4所述的方法，其中，使用所述块、所述一个参考块以及所述至少一个另 外的参考块来确定用于所述加权线性组合的权重，并且其中对权重进行编码。7. 如权利要求4所述的方法，其中，使用局部线性嵌入或非负矩阵因数分解来解决所 述约束最小平方问题。8. 如权利要求4至7的一项所述的方法，还包含使用所述处理部件进行： 至少使用所述块来确定所重建的部分中的至少一个其他参考块，所述至少一个其他的 矢量参考所述至少一个其他的参考块； 使用所述至少一个其他的参考块来确定所述图像的所重建的部分中的至少一个另外 的其他参考块，使得所述至少一个另外的其他参考块中的每一个均与所述至少一个其他参 考块相似；以及 确定所述块相对于所述一个其他的参考块和所述至少一个另外的其他参考块的另外 的加权线性组合的另外的残差的预测误差或者率失真成...

【专利技术属性】
技术研发人员：S谢里吉，C吉尔莫特，D索罗，P吉洛特尔，
申请(专利权)人：汤姆逊许可公司，
类型：发明
国别省市：法国;FR