提供了使用经过训练的深度神经网络(DNN)滤波器模型的环内滤波技术。根据实施例的图像解码方法包括以下步骤：接收编码图像的比特流，通过重构编码图像来生成重构数据，从比特流获得与编码图像的内容类型有关的信息，基于与内容类型有关的信息确定被训练为通过使用至少一个计算机来执行环内滤波的DNN滤波器模型，以及通过将重构数据应用于所确定的DNN滤波器模型来执行环内滤波。
【技术实现步骤摘要】
【国外来华专利技术】用于编码或解码图像的方法和装置
本公开涉及一种通过利用使用机器学习算法的人工智能(AI)来处理图像的方法。更具体地，本公开涉及编码和解码图像过程中的使用深度神经网络(DNN)的环内滤波技术。
技术介绍
人工智能(AI)系统是一种计算机系统，其可以展现人类水平的智能并且通过自我学习和做出决策变得更加智能，而且AI系统使用得越多，其识别率提高得就越多。AI技术包括使用自我分类/学习输入数据特征的算法的机器学习(例如，深度学习)，以及使用机器学习算法来模拟人脑功能(诸如识别和决策)的要素技术。要素技术包括(例如)用于识别人类语言/字符的语言理解、用于以人类视觉系统的方式识别对象的视觉理解、用于判断信息并逻辑推断和预测信息的推理/预测、用于将人类经验信息并入到知识数据中的知识表示以及用于控制自动驾驶车辆的自我驾驶和机器人运动的运动控制中的至少一者。具体地，视觉理解是用于以人类视觉系统的方式识别和处理对象的技术，并且包括对象识别、对象跟踪、图像搜索、人员识别、场景理解、空间理解和图像增强。
技术实现思路
技术问题根据各种实施例，提供了一种用于编码/解码图像的方法和设备。本公开要解决的技术问题不限于上述技术问题，并且本领域的普通技术人员将从以下描述中理解其他技术问题。问题的解决方案为了解决所述技术问题，根据实施例的图像解码方法包括：接收编码图像的比特流；通过重构编码图像来生成重构数据；从比特流获得与编码图像的内容类型有关的信息；基于与内容类型有关的信息来确定被训练为通过使用至少一个计算机来执行环内滤波的深度神经网络(DNN)滤波器模型；以及通过将重构数据应用于所确定的DNN滤波器模型来执行环内滤波。此外，在根据实施例的图像解码方法中，环内滤波可以包括解块滤波、样本自适应偏移和自适应环路滤波中的至少一种操作。此外，在根据实施例的图像解码方法中，与内容类型有关的信息可以包括指示编码图像的像素复杂度和运动程度的信息。此外，在根据实施例的图像解码方法中，DNN滤波器模型可以是被训练为根据基于构成DNN滤波器模型的多个网络节点中的每一者的权重和多个网络节点之间的连接关系的操作来补偿重构数据的量化误差的网络模型。此外，在根据实施例的图像解码方法中，DNN滤波器模型的确定可以包括基于与内容类型有关的信息从多个DNN滤波器模型候选者中确定与编码图像的内容类型对应的DNN滤波器模型。此外，在根据实施例的图像解码方法中，多个DNN滤波器模型候选者中的每一者可以被训练为对预设的内容类型执行环内滤波。此外，在根据实施例的图像解码方法中，DNN滤波器模型的确定还可以包括从多个DNN滤波器模型候选者中确定与编码图像的压缩强度对应的DNN滤波器模型。此外，在根据实施例的图像解码方法中，环内滤波的执行可以包括通过将重构数据和存储在重构图片缓冲器中的一个或多个参考图像应用于所确定的DNN滤波器模型来执行环内滤波。此外，在根据实施例的图像解码方法中，可以基于卷积神经网络(CNN)学习模型来执行环内滤波。根据实施例的图像解码设备包括：接收器，其被配置为接收编码图像的比特流；以及解码器，其被配置为通过重构编码图像来生成重构数据，从比特流获得与编码图像的内容类型有关的信息，基于与内容类型有关的信息来确定被训练为通过使用至少一个计算机来执行环内滤波的深度神经网络(DNN)滤波器模型，并且通过将重构数据应用于所确定的DNN滤波器模型来执行环内滤波。根据实施例的图像编码方法包括：确定输入图像的内容类型；基于内容类型来确定被训练为通过使用至少一个计算机来执行环内滤波的深度神经网络(DNN)滤波器模型；通过向所确定的DNN滤波器模型应用输入图像的从编码的残留数据重构的重构数据来生成环内滤波数据；通过基于环内滤波数据预测输入图像来生成预测数据并且通过使用输入图像和预测数据来生成残留数据；通过编码与内容类型有关的信息和残留数据来生成比特流；以及传输比特流。此外，在根据实施例的图像编码方法中，环内滤波可以包括解块滤波、样本自适应偏移和自适应环路滤波中的至少一种操作。此外，在根据实施例的图像编码方法中，与内容类型有关的信息可以包括指示输入图像的像素复杂度和运动程度的信息。此外，在根据实施例的图像编码方法中，DNN滤波器模型可以是被训练为根据基于构成DNN滤波器模型的多个网络节点中的每一者的权重和多个网络节点之间的连接关系的操作来补偿重构数据的量化误差的网络模型。此外，在根据实施例的图像编码方法中，DNN滤波器模型的确定可以包括基于与内容类型有关的信息从多个DNN滤波器模型候选者中确定与编码图像的内容类型对应的DNN滤波器模型。本公开的有利效果因为执行基于经过训练的深度神经网络(DNN)的环内滤波，所以编码和解码性能可以得到改善。附图说明图1是根据实施例的图像编码设备100的详细框图。图2是根据实施例的图像解码设备200的详细框图。图3是根据实施例的环内滤波单元的框图。图4是根据实施例的环内滤波单元的框图。图5是示出深度神经网络(DNN)的结构的图。图6a至图6f是示出各种CNN的结构的图。图7是示出根据实施例的DNN滤波器模型候选者的图。图8是示出根据实施例的通过使用至少一个参考图像来执行基于DNN滤波器模型的环内滤波的方法的图。图9是根据实施例的图像编码设备900的框图。图10是根据实施例的图像解码设备1000的框图。图11是示出根据实施例的包括基于DNN滤波器模型的环内滤波过程的图像编码方法的流程图。图12是示出根据实施例的包括基于DNN滤波器模型的环内滤波过程的图像解码方法的流程图。图13示出了根据实施例的通过分割当前编码单元来确定至少一个编码单元的过程。图14示出了根据实施例的通过分割非正方形编码单元来确定至少一个编码单元的过程。图15示出了根据实施例的基于块形状信息和分割形状信息中的至少一者来分割编码单元的过程。图16示出了根据实施例的从奇数个编码单元中确定预定编码单元的方法。图17示出了根据实施例的当通过分割当前编码单元来确定多个编码单元时处理多个编码单元的次序。图18示出了根据实施例的当编码单元不能以预定次序处理时确定当前编码单元将被分割成奇数个编码单元的过程。图19示出了根据实施例的通过分割第一编码单元来确定至少一个编码单元的过程。图20示出了根据实施例，当通过分割第一编码单元来确定的具有非正方形形状的第二编码单元满足预定条件时，第二编码单元可分割成的形状受到限制。图21示出了根据实施例的当分割形状信息指示正方形编码单元将不被分割成四个正方形形状时分割正方形编码单元的过程。图22示出了根据实施例，多个编码单元之间的处理次序可以根据分割编码单元的过程而改变。图23示出了根据实施例的当编码单元被递归分割以使得确定多个编本文档来自技高网...
【技术保护点】
1.一种图像解码方法，包括：/n接收编码图像的比特流；/n通过重构所述编码图像来生成重构数据；/n从所述比特流获得与所述编码图像的内容类型有关的信息；/n基于与所述内容类型有关的所述信息，确定被训练为通过使用至少一个计算机来执行环内滤波的深度神经网络(DNN)滤波器模型；以及/n通过将所述重构数据应用于所确定的DNN滤波器模型来执行所述环内滤波。/n
【技术特征摘要】
【国外来华专利技术】20170706 KR PCT/KR2017/0072631.一种图像解码方法，包括：
接收编码图像的比特流；
通过重构所述编码图像来生成重构数据；
从所述比特流获得与所述编码图像的内容类型有关的信息；
基于与所述内容类型有关的所述信息，确定被训练为通过使用至少一个计算机来执行环内滤波的深度神经网络(DNN)滤波器模型；以及
通过将所述重构数据应用于所确定的DNN滤波器模型来执行所述环内滤波。
2.根据权利要求1所述的图像解码方法，其中，所述环内滤波包括解块滤波、样本自适应偏移和自适应环路滤波中的至少一种操作。
3.根据权利要求1所述的图像解码方法，其中，与所述内容类型有关的所述信息包括指示所述编码图像的像素复杂度和运动程度的信息。
4.根据权利要求1所述的图像解码方法，其中，所述DNN滤波器模型是被训练为根据基于构成所述DNN滤波器模型的多个网络节点中的每一者的权重和所述多个网络节点之间的连接关系的操作来补偿所述重构数据的量化误差的网络模型。
5.根据权利要求1所述的图像解码方法，其中，确定所述DNN滤波器模型包括：基于与所述内容类型有关的所述信息从多个DNN滤波器模型候选者中确定与所述编码图像的内容类型对应的DNN滤波器模型。
6.根据权利要求5所述的图像解码方法，其中，所述多个DNN滤波器模型候选者中的每一者被训练为对预设的内容类型执行所述环内滤波。
7.根据权利要求5所述的图像解码方法，其中，确定所述DNN滤波器模型还包括：从所述多个DNN滤波器模型候选者中确定与所述编码图像的压缩强度对应的DNN滤波器模型。
8.根据权利要求1所述的图像解码方法，其中，执行所述环内滤波包括：通过将所述重构数据和存储在重构图片缓冲器中的一个或多个参考图像应用于所确定的DNN滤波器模型来执行所述环内滤波。
【专利技术属性】
技术研发人员：朴永五，金载丸，李钟硕，全善暎，朴正辉，崔光杓，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。