一种人工智能(AI)编码装置，包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在存储器中的一个或多个指令，以识别原始图像中的感兴趣的对象区域，从原始图像获得分别包括感兴趣的对象区域和非感兴趣的区域的多个原始部分图像，通过利用从多条深度神经网络(DNN)设置信息当中选择的DNN设置信息操作的缩放DNN对多个原始部分图像执行AI缩放来获得多个第一图像，通过对多个第一图像进行编码来生成图像数据，并且发送图像数据和包括与AI缩放相关的信息的AI数据。AI缩放相关的信息的AI数据。AI缩放相关的信息的AI数据。
【技术实现步骤摘要】
【国外来华专利技术】用于图像中感兴趣的对象区域的AI编码装置和方法以及AI解码装置和方法
[0001]本公开涉及图像处理领域。更具体地，本公开涉及一种基于人工智能(AI)对图像进行编码和解码的方法和装置。
技术介绍
[0002]图像通过使用根据某种数据压缩标准(例如，运动图片专家组(MPEG)标准)的编解码器进行编码，然后编码的图像被存储在记录介质中或者作为比特流经由通信信道被发送。
[0003]随着用于再现和存储高分辨率/高质量图像的硬件的发展和分布，对用于高效编码和解码高分辨率/高质量图像的编解码器的需求正在增大。
技术实现思路
[0004]技术问题
[0005]根据实施例的人工智能(AI)编码装置和方法以及AI解码装置和方法的技术目标是基于AI对图像进行编码和解码以实现低比特率。
[0006]技术解决方案
[0007]根据实施例的人工智能(AI)编码装置包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在存储器中的一个或多个指令，以识别原始图像中的感兴趣的对象区域，从原始图像获得分别包括感兴趣的对象区域和非感兴趣的区域的多个原始部分图像，通过利用从多条深度神经网络(DNN)设置信息当中选择的DNN设置信息操作的缩放DNN对多个原始部分图像执行AI缩放来获得多个第一图像，通过对多个第一图像进行编码来生成图像数据，以及发送图像数据和包括与AI缩放相关的信息的AI数据。
[0008]有利的效果
[0009]根据实施例的人工智能(AI)编码装置和方法以及AI解码装置和方法可通过基于AI的图像编码和解码以低比特率处理图像。
[0010]然而，由根据实施例的AI编码装置和方法以及AI解码装置和方法实现的技术效果不限于此，根据以下描述，其他未提及的技术效果对于本领域普通技术人员将是明显的。
附图说明
[0011]为了更全面地理解附图，提供了每个图的简要说明。
[0012]图1是用于描述根据实施例的人工智能(AI)编码过程和AI解码过程的图。
[0013]图2是图示根据实施例的AI解码装置的配置的框图。
[0014]图3是图示用于对第二图像执行AI放大的第二深度神经网络(DNN)的图。
[0015]图4是用于描述卷积层处的卷积操作的图。
[0016]图5是示出多条图像相关信息和多条DNN设置信息之间的映射关系的表格。
[0017]图6是图示包括多个帧的第二图像的图。
[0018]图7是图示根据实施例的AI编码装置的配置的框图。
[0019]图8是图示用于对原始图像执行AI缩小的第一DNN的图。
[0020]图9是图示根据实施例的AI编码数据的结构的图。
[0021]图10是图示根据另一实施例的AI编码数据的结构的图。
[0022]图11是用于描述训练第一DNN和第二DNN的方法的图。
[0023]图12是用于描述由训练装置训练第一DNN和第二DNN的过程的图。
[0024]图13是图示根据另一实施例的AI编码装置的配置的框图。
[0025]图14是图示从原始图像获得的区域图的视图。
[0026]图15是图示从原始图像生成的多个原始部分图像的视图。
[0027]图16是图示从原始图像生成的多个原始部分图像的视图。
[0028]图17是图示原始部分图像中包括的区域的类型和DNN设置信息之间的映射关系的图。
[0029]图18是图示通过对多个原始部分图像进行独立AI缩放而获得的多个第一图像的视图。
[0030]图19是图示从区域信息获得的量化参数图的图。
[0031]图20是图示根据另一实施例的AI解码装置的配置的框图。
[0032]图21是图示通过对多个第二图像进行独立的AI缩放而获得的多个第三图像的视图。
[0033]图22是图示作为组合多个第三图像的结果而获得的重构图像的图。
[0034]图23是图示根据另一实施例的由AI编码装置执行的AI编码方法的流程图。
[0035]图24是图示根据另一实施例的由AI解码装置执行的AI解码方法的流程图。
具体实施方式
[0036]根据实施例的人工智能(AI)编码装置包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在存储器中的一个或多个指令，以识别原始图像中的感兴趣的对象区域，从原始图像获得分别包括感兴趣的对象区域和非感兴趣的区域的多个原始部分图像，通过利用从多条深度神经网络(DNN)设置信息当中选择的DNN设置信息操作的缩放DNN对多个原始部分图像执行AI缩放来获得多个第一图像，通过对多个第一图像进行编码来生成图像数据，以及发送图像数据和包括与AI缩放相关的信息的AI数据。
[0037]可以为多个原始部分图像分别选择不同的DNN设置信息，以及可以通过利用DNN设置信息操作的缩放DNN以不同的倍率改变多个原始部分图像的尺寸。
[0038]多个原始部分图像当中的任何一个原始部分图像的尺寸可以通过缩放DNN减小，以及多个原始部分图像当中的另一原始部分图像的尺寸可以通过缩放DNN增大。
[0039]该一个原始部分图像可以包括非感兴趣的区域，该另一原始部分图像可以包括感兴趣的对象区域。
[0040]该处理器还可以被配置为确定与感兴趣的对象区域和非感兴趣的区域相对应的量化参数，并基于所确定的量化参数对多个第一图像进行编码。
[0041]处理器还可以被配置为识别原始图像中的感兴趣的对象区域和非感兴趣的区域
之间的边界区域，以及从原始图像获得分别包括感兴趣的对象区域、非感兴趣的区域和边界区域的多个原始部分图像。
[0042]包括边界区的原始部分图像通过AI缩放的尺寸改变倍率可以具有在包括感兴趣的对象区域的原始部分图像通过AI缩放的尺寸改变倍率和包括非感兴趣的区域的原始部分图像通过AI缩放的尺寸改变倍率之间的值。
[0043]根据实施例的人工智能(AI)解码装置包括：存储器存储一个或多个指令，以及处理器，被配置为执行存储在存储器中的一个或多个指令，以获得作为编码多个第一图像的结果而生成的图像数据，以及与从多个原始部分图像到多个第一图像的AI缩放相关的AI数据，通过解码图像数据获得多个第二图像，基于AI数据从多条深度神经网络(DNN)设置信息当中获得用于多个第二图像的AI缩放的DNN设置信息，通过利用获得的DNN设置信息操作的缩放DNN对多个第二图像执行AI缩放来生成多个第三图像，以及通过组合多个第三图像来获得重构图像。
[0044]多个原始部分图像可以是从原始图像裁剪的图像。
[0045]可以为多个第二图像分别获得不同的DNN设置信息，以及可以通过利用DNN设置信息操作的缩放DNN以不同的倍率改变多个第二图像的尺寸。
[0046]多个第二图像当中的任何一个第二图像的尺寸可以通过缩放DNN增大，多个第二图像当中的另一第二图像的尺寸可以通过缩放DNN减小。...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种人工智能(AI)编码装置，包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在所述存储器中的所述一个或多个指令，以识别原始图像中感兴趣的对象区域，从所述原始图像获得分别包括所述感兴趣的对象区域和非感兴趣的区域的多个原始部分图像，通过利用从多条深度神经网络(DNN)设置信息当中选择的DNN设置信息操作的缩放DNN对所述多个原始部分图像执行AI缩放来获得多个第一图像，通过对所述多个第一图像进行编码来生成图像数据，和发送所述图像数据和包括与所述AI缩放相关的信息的AI数据。2.根据权利要求1所述的AI编码装置，其中为所述多个原始部分图像分别选择不同的DNN设置信息，以及通过利用所述DNN设置信息操作的所述缩放DNN，以不同的倍率改变所述多个原始部分图像的尺寸。3.根据权利要求2所述的AI编码装置，其中所述多个原始部分图像当中的任何一个原始部分图像的尺寸通过所述缩放DNN而减小，以及所述多个原始部分图像当中的另一原始部分图像的尺寸通过所述缩放DNN而增大。4.根据权利要求3所述的AI编码装置，其中所述一个原始部分图像包括所述非感兴趣的区域，以及所述另一原始部分图像包括所述感兴趣的对象区域。5.根据权利要求1所述的AI编码装置，其中，所述处理器还被配置为确定与所述感兴趣的对象区域和所述非感兴趣的区域相对应的量化参数，以及基于所确定的量化参数对所述多个第一图像进行编码。6.根据权利要求1所述的AI编码装置，其中，所述处理器还被配置为识别所述原始图像中所述感兴趣的对象区域和所述非感兴趣的区域之间的边界区域，以及从所述原始图像获得分别包括所述感兴趣的对象区域、所述非感兴趣的区域和所述边界区域的所述多个原始部分图像。7.根据权利要求6所述的AI编码装置，其中，通过所述AI缩放包括所述边界区域的所述原始部分图像的尺寸改变倍率具有在通过所述AI缩放包括所述感兴趣的对象区域的所述原始部分图像的尺寸改变倍率和通过所述AI缩放包括所述非感兴趣的区域的所述原始部分图像的尺寸改变倍率之间的值。8.一种人工智能(AI)解码装置，包括：存储器，存储一个或多个指令；以及处理器，被配置为执行存储在所述存储器中的所述一个或多个指令，以获得作为对多个第一图像进行编码的结果而生成的图像数据，以及与从多个原始部...
【专利技术属性】
技术研发人员：杨喜喆，郑铉权，罗麟鹤，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。