【技术实现步骤摘要】
【国外来华专利技术】
本公开涉及一种图像处理方法和图像处理装置，更具体地，涉及一种能够通过使用基于人工智能(ai)的去块滤波来去除在视频编码和解码处理期间通过以块为单位处理视频而发生的块伪影的图像处理方法和图像处理装置。
技术介绍
1、在诸如h.264高级视频编码(avc)和高效率视频编码(hevc)的编解码器中，以块为单位执行变换、预测和量化，使得在块的边界处发生视觉块伪影。先前确定的去块滤波算法被用于通过去除重构图像的块伪影来提高图像质量。这种去块滤波器的数量是有限的，并且每个滤波器具有手工制作的滤波器系数。例如，当没有滤波被应用时，使用修改2个像素的滤波器、修改4个像素的滤波器和修改6个像素的强滤波器，并且针对每种情况使用先前确定的滤波器系数。因此，现有技术的去块滤波器可能无法正确地应用于具有不同边缘、细节和纹理的各种内容。
2、也就是说，随着图像的分辨率增加并且图像的内容多样化，需要使用能够灵活地考虑图像的各种特性的神经网络的灵活的去块滤波算法。
技术实现思路
1、技术问题
2、一个或多个示例实施例提供了一种使用基于神经网络的去块滤波的图像处理方法和图像处理装置，其基于像素值和编码信息针对特定像素灵活地生成基于神经网络的特定滤波器，因此具有无限数量的具有根据像素值和编码信息的系数的滤波器。
3、此外，一个或多个示例实施例提供了一种使用基于神经网络的去块滤波的图像处理方法和图像处理装置，其通过经由基于神经网络的动态滤波器更有效地去除块伪影，不仅提高图像质量，而且
4、问题的解决方案
5、根据本公开的实施例，一种使用基于神经网络的去块滤波的图像处理方法包括：基于与块的边界线垂直的至少一条线的去块滤波目标像素和关于至少一条线的去块滤波目标像素的编码信息来获得用于去块滤波的输入数据，通过将输入数据输入到第一神经网络来获得输入数据的特征图，通过将特征图输入到第二神经网络来获得去块滤波器系数，通过将特征图输入到第三神经网络来获得去块滤波器补偿值，通过将输入数据输入到第四神经网络来获得去块滤波器强度，通过使用去块滤波器系数、去块滤波器补偿值、去块滤波器强度对与块的边界线垂直的至少一条线的去块滤波目标像素执行去块滤波来获得去块滤波的像素。
6、编码信息可以通过多个全连接层输出，然后被转换为与至少一条线的去块滤波目标像素的大小相同的大小。
7、使用基于神经网络的去块滤波的图像处理方法还可包括：根据包括至少一条线的去块滤波目标像素的帧的时间层类型来确定缩放因子，以及将缩放因子应用于去块滤波。
8、确定缩放因子可以包括将帧内帧的缩放因子设置为低于非帧内帧的缩放因子。
9、获得去块滤波的像素可以包括：通过执行去块滤波器系数与至少一条线的去块滤波目标像素的矩阵乘法来获得矩阵乘法结果，通过将去块滤波器补偿值与矩阵乘法结果相加来获得滤波器补偿结果，通过使用去块滤波器强度对滤波器补偿结果执行逐元素乘积来执行残差去块滤波像素，以及通过将残差去块滤波像素与至少一条线的去块滤波目标像素相加来获得去块滤波的像素。
10、获得去块滤波的像素可以包括：通过执行去块滤波器系数与至少一条线的去块滤波目标像素的矩阵乘法来获得矩阵乘法结果，通过将去块滤波器补偿值与矩阵乘法结果相加来获得滤波器补偿结果，以及通过使用去块滤波器强度对滤波器补偿结果执行逐元素乘积来获得去块滤波的像素。
11、第一神经网络可以包括多个残差块。
12、第二神经网络可以包括被配置为处理特征图以获得去块滤波器系数的第一残差块。
13、第三神经网络可以包括被配置为处理特征图以获得去块滤波器补偿值的第二残差块。
14、第四神经网络可以包括用于处理输入数据以获得去块滤波器强度的多个卷积层。
15、至少一条线的去块滤波目标像素可以是2n个像素，包括在与块的边界线垂直的一个方向上的n个像素和在与边界线垂直的另一方向上的n个像素，并且其中n是自然数。
16、编码信息可以包括编码单元模式、编码单元大小和量化参数中的至少一个。
17、可以不获得去块滤波器补偿值，并且可以将去块滤波器补偿值设置为0。
18、可以不获得去块滤波器强度，并且可以将去块滤波器强度设置为1。
19、可以不获得去块滤波器补偿值和去块滤波器强度，可以将去块滤波器补偿值设置为0，并且可以将去块滤波器强度设置为1。
20、根据本公开的实施例，一种使用基于神经网络的去块滤波的图像处理装置包括：存储一个或多个指令的存储器；以及被配置为根据一个或多个指令操作的处理器，其中，处理器可以被配置为：基于与块的边界线垂直的至少一条线的去块滤波目标像素和关于至少一条线的去块滤波目标像素的编码信息来获得用于去块滤波的输入数据，通过将输入数据输入到第一神经网络来获得输入数据的特征图，通过将特征图输入到第二神经网络来获得去块滤波器系数，通过将特征图输入到第三神经网络来获得去块滤波器补偿值，通过将输入数据输入到第四神经网络来获得去块滤波器强度，通过使用去块滤波器系数、去块滤波器补偿值和去块滤波器强度对与块的边界线垂直的至少一条线的去块滤波目标像素执行去块滤波来获得去块滤波的像素。
21、编码信息可以通过包括多个全连接层的全连接神经网络输出，然后被转换为与至少一条线的去块滤波目标像素的大小相同的大小。
22、公开的有益效果
23、根据本公开的实施例，使用基于神经网络的去块滤波的图像处理方法和图像处理装置可以基于像素值和编码信息针对特定像素灵活地生成基于神经网络的特定滤波器，因此具有无限数量的具有根据像素值和编码信息的系数的滤波器。
24、根据本公开的实施例，使用基于神经网络的去块滤波的图像处理方法和图像处理装置通过经由基于神经网络的动态滤波器更有效地去除块伪影，不仅可以提高图像质量，而且还可以提高编码效率。
本文档来自技高网...【技术保护点】
1.一种使用基于神经网络的去块滤波的图像处理方法，所述图像处理方法包括：
2.根据权利要求1所述的图像处理方法，其中，所述编码信息通过多个全连接层输出，然后被转换为与所述至少一条线的去块滤波目标像素的大小相同的大小。
3.根据权利要求1所述的图像处理方法，还包括：
4.根据权利要求3所述的图像处理方法，其中，确定所述缩放因子包括：
5.根据权利要求1所述的图像处理方法，其中，获得所述去块滤波的像素包括：
6.根据权利要求1所述的图像处理方法，其中，获得所述去块滤波的像素包括：
7.根据权利要求1所述的图像处理方法，其中，所述第一神经网络包括多个残差块。
8.根据权利要求1所述的方法，其中，所述第二神经网络包括第一残差块，所述第一残差块被配置为处理所述特征图以获得所述去块滤波器系数。
9.根据权利要求1所述的图像处理方法，其中，所述第三神经网络包括第二残差块，所述第二残差块被配置为处理所述特征图以获得所述去块滤波器补偿值。
10.根据权利要求1所述的图像处理方法，其中，所述第
11.根据权利要求1所述的图像处理方法，其中，所述至少一条线的去块滤波目标像素是2n个像素，所述2n个像素包括在与块的边界线垂直的一个方向上的n个像素和在与所述边界线垂直的另一方向上的n个像素，并且其中，n是自然数。
12.根据权利要求1所述的图像处理方法，其中，所述编码信息包括编码单元模式、编码单元尺寸和量化参数中的至少一个。
13.根据权利要求1所述的图像处理方法，其中，
14.根据权利要求1所述的图像处理方法，其中，
15.一种使用基于神经网络的去块滤波的图像处理装置，所述图像处理装置包括：
...【技术特征摘要】
【国外来华专利技术】
1.一种使用基于神经网络的去块滤波的图像处理方法，所述图像处理方法包括：
2.根据权利要求1所述的图像处理方法，其中，所述编码信息通过多个全连接层输出，然后被转换为与所述至少一条线的去块滤波目标像素的大小相同的大小。
3.根据权利要求1所述的图像处理方法，还包括：
4.根据权利要求3所述的图像处理方法，其中，确定所述缩放因子包括：
5.根据权利要求1所述的图像处理方法，其中，获得所述去块滤波的像素包括：
6.根据权利要求1所述的图像处理方法，其中，获得所述去块滤波的像素包括：
7.根据权利要求1所述的图像处理方法，其中，所述第一神经网络包括多个残差块。
8.根据权利要求1所述的方法，其中，所述第二神经网络包括第一残差块，所述第一残差块被配置为处理所述特征图以获得所述去块滤波器系数。
9.根据权利要求1所述的图像...
【专利技术属性】
技术研发人员：趋可卡纳哈·迪娜，崔光杓，朴慜祐，朴银姬，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。