【技术实现步骤摘要】
本专利技术的目的是提供图像处理方法，特别是图像质量增强(iqe)方法。此外，本专利技术的目的是提供实现这种方法的设备和软件存储设备。
技术介绍
1、iqe是一个活跃的研究领域。特别地，随着智能手机中现代相机模块的即将到来，iqe算法的发展越来越受到关注。有几种方法。开发了即将到来的人工智能(ai)图像处理hdr-net(gharb.等人，acm transactions on graphics,vol.36,no.4,article118)，为实时图像增强提供深度双边学习算法。hdr-net算法包括低分辨率路径和高分辨率路径。在低分辨率路径中，确定局部特征和全局特征，并从这些局部特征和全局特征确定单个双边网格。在高分辨率路径中，生成用于边缘保持的引导图像，然后将上采样的双边网格应用于图像进行图像处理。其中，hdr-net算法仅为每个经训练的模型/网络支持单个样式，并提供图像的全局自适应。
技术实现思路
1、因此，本专利技术的目的是提供一种可实时使用的更灵活的图像处理方法。
2、问题通过根据权利要求1所述的方法、根据权利要求12所述的设备和根据权利要求14所述的软件存储设备来解决。
3、本专利技术提供一种图像处理方法，特别是图像质量增强(iqe)方法。方法包括以下步骤：
4、提供输入图像和至少区分输入图像的第一区域和第二区域的掩膜。
5、提供一个双边网格预测网络，双边网格预测网络接收输入图像和掩膜并生成多于一个双边网格。
6
7、因此，通过提供至少区分第一区域和第二区域的掩膜，输入图像的局部和全局自适应是可行的。进一步地，本方法通过仅单个双边网格预测网络提供多个双边网格。确定双边网格可以类似于hdr-net算法来实现，其中输出层被特别地适配以提供多于一个双边网格。因此，通过多于一个双边网格对输入图像进行定制操作是可行的，其中只需要训练单个双边网格预测网络。因此，本方法提供了比现有技术更灵活的方法。由于通过双边网格预测网络生成多于一个双边网格的速度快，因此可以实时应用本方法。
8、优选地，在应用于输入图像之前，将多于一个双边网格合并为最终的双边网格。因此，只有一个最终的双边网格应用于输入图像。可替换地，多于一个双边网格被单独地应用。对于第一替代方案，只需要从低分辨率路径估计仅一个双边网格(基于输入图像的低分辨率版本确定多于一个双边网格)以应用于高分辨率输入图像。因此，上采样最后的双边网格的步骤需要降低的计算成本。然而，对于第二备选训练，由于可以避免同样需要被训练的双边网格合并网络，因此简化了训练。
9、优选地，双边网格预测网络接收分辨率低于输入图像的低分辨率输入图像，并且一个或多个双边网格或最终的双边网格被应用到输入图像之前被上采样。类似地，双边网格预测网络可以接收分辨率低于初始掩膜的低分辨率掩膜。因此，在将低分辨率输入图像提供给双边网格预测网络之前，对输入图像进行下采样，并基于输入图像的低分辨率版本确定双边网格。之后，在将双边网格应用于输入图像以生成输出图像之前，将多于一个双边网格或最终的双边网格上采样或插值到原始分辨率。
10、优选地，低分辨率输入图像具有比输入图像的分辨率小5倍以下，更优选地小10倍以上的分辨率。从而快速确定双边网格是可行的。
11、优选地，低分辨率输入掩膜具有比初始掩膜的分辨率小5倍以下，更优选地小10倍以上的分辨率。
12、优选地，低分辨率输入图像和低分辨率掩膜具有相同的分辨率或不同的分辨率。
13、优选地，低分辨率输入图像和/或低分辨率掩膜的分辨率小于512x512，更优选地，分辨率为256x256。
14、优选地，定义多个样式以应用于输入图像、第一区域或第二区域，其中每个样式对应于一组图像参数，使得具有相同样式的图像具有相似的外观。其中，图像参数可以包括色调映射，亮度和对比度增强，高级颜色改变等。一组图像参数包括这些参数中的一个或多个。对于每个样式，图像参数相同或至少相似。因此，一个双边网格预测网络能够支持多个样式。
15、优选地，每个双边网格对应于不同的样式。因此，通过双边网格预测网络为每个样式生成一个双边网格。因此，可以为输入图像的第一区域应用第一样式的双边网格，其中例如，可以为输入图像的第二区域应用第二样式的双边网格。因此，简单地通过改变应用于相应的第一区域和/或第二区域的双边网格，在不同样式之间的快速切换是可行的。
16、优选地，定义多于4个不同的样式，优选地，定义多于16个样式。
17、优选地，提供特征解码器网络，其中特征解码器网络向双边网格预测网络提供输入图像的输入图像特征向量和每个样式的预定义样式特征向量。因此，通过特征解码器网络提供输入图像特征向量和预定义样式特征向量，可以为相应的样式生成相应的双边网格。其中，由于使用了预定义样式特征向量，因此不必在运行时计算相应的预定义样式特征向量，从而大大降低了计算成本和网络的复杂性。因此，可以实时计算不同样式的双边网格。
18、优选地，将预定义样式特征向量存储在查找表中。
19、优选地，预定义样式特征向量的长度等于或低于512位，优选地，等于或低于256位，优选地，等于或低于128位，优选地，等于或低于64位。预定义样式特征向量越长，可以使用的不同样式越多。其中，已经注意到，对于512位的长度，可以实现64个不同的预定义样式特征向量。
20、优选地，预定义样式特征向量是在生成双边网格时区分不同样式的统计去相关向量。
21、优选地，双边网格预测网络的训练由单组输入训练图像和多组真值训练图像执行，其中真值训练图像是质量增强的输入训练图像，特别是具有某种样式。因此，例如，可以手动地对输入训练图像进行质量增强并将其用作真值训练图像。由于只实现了一个双边网格预测网络来生成一个或多个双边网格，因此可以通过在单个训练中通过低分辨率路径和高分辨率路径的全端到端流来进行训练。
22、优选地，对每个样式提供至少一组输入训练图像。
23、优选地，对每个输入训练图像确定特征向量，其中基于输入训练图像的确定的特征向量计算预定义样式特征向量。其中，特征向量的计算可以通过如vgg-19的网络进行。计算每个输入训练图像的相应特征向量，并可以通过例如取每个样式的所有真值训练图像的特征向量的平均值来计算预定义样式特征向量。计算预定义样式特征向量的其他可能性也是可行的，诸如中位数、修剪均值等。
24、优选地，图像处理在小于30ms内，优选地小于20ms内执行。特别地，图像处理以60fps执行。因此，可以实时地进行图像处理。
25、优选地，方法被实现为任何isp的一部分，并且可以以各种方式实现，诸如硬件(hw)、软件(sw)、专用加速器，诸如数字信号处理器(dsp)、神经处理单元(npu)或这些的任何组合。
26、在本本文档来自技高网...
【技术保护点】
1.一种图像处理方法，特别是图像质量增强IqE方法，包括：
2.根据权利要求1所述的方法，其中在应用前将所述多于一个双边网格合并为最终的双边网格，或者单独地应用所述多于一个双边网格。
3.根据权利要求1或2所述的方法，其中所述双边网格预测网络接收分辨率低于所述输入图像的低分辨率输入图像，并且所述多于一个双边网格或所述最终的双边网格在被应用到所述输入图像之前被上采样。
4.根据权利要求1至3中任何一个所述的方法，其中多个样式被定义以应用于所述输入图像、所述第一区域或所述第二区域，其中每个样式对应于一组图像参数，使得相同样式的图像具有相似的外观。
5.根据权利要求4所述的方法，其中每个双边网格对应于不同的样式。
6.根据权利要求4或5所述的方法，其中提供特征解码器网络，其中所述特征解码器网络向所述双边网格预测网络提供所述输入图像的输入图像特征向量和每个样式的预定义样式特征向量。
7.根据要求6所述的方法，其中所述预定义样式特征向量存储在查找表中。
8.根据要求6或7所述的方法，其中所述预定义样式特征向
9.根据权利要求1至8中任何一个所述的方法，其中通过单组输入训练图像和多组真值训练图像执行所述双边网格预测网络的训练，其中真值训练图像是质量增强的图像。
10.根据权利要求9所述的方法，其中为每个样式提供一组真值训练图像。
11.根据权利要求9或10所述的方法，其中对于每个输入训练图像，确定特征向量，其中基于所述输入训练图像的确定的特征向量计算所述预定义样式特征向量。
12.根据权利要求1至11中任何一个所述的方法，其中图像处理在小于30ms内执行，优选地，在小于20ms内执行。
13.一种设备，包括至少一个处理器和连接到所述至少一个处理器的存储器存储装置，其中所述存储器存储装置存储指令，当所述指令由所述至少一个处理器执行时，执行根据权利要求1至12中任何一个所述的方法的步骤。
14.一种软件存储设备，存储指令，当处理器执行所述指令时，执行根据权利要求1至11中任何一个所述的方法的步骤。
...【技术特征摘要】
1.一种图像处理方法，特别是图像质量增强iqe方法，包括：
2.根据权利要求1所述的方法，其中在应用前将所述多于一个双边网格合并为最终的双边网格，或者单独地应用所述多于一个双边网格。
3.根据权利要求1或2所述的方法，其中所述双边网格预测网络接收分辨率低于所述输入图像的低分辨率输入图像，并且所述多于一个双边网格或所述最终的双边网格在被应用到所述输入图像之前被上采样。
4.根据权利要求1至3中任何一个所述的方法，其中多个样式被定义以应用于所述输入图像、所述第一区域或所述第二区域，其中每个样式对应于一组图像参数，使得相同样式的图像具有相似的外观。
5.根据权利要求4所述的方法，其中每个双边网格对应于不同的样式。
6.根据权利要求4或5所述的方法，其中提供特征解码器网络，其中所述特征解码器网络向所述双边网格预测网络提供所述输入图像的输入图像特征向量和每个样式的预定义样式特征向量。
7.根据要求6所述的方法，其中所述预定义样式特征向量存储在查找表中。
8.根据要求6或7所...
【专利技术属性】
技术研发人员：泰姆·雷特柯宁，乌伊加尔·图纳，纳霍姆·海卢，阿里·卡拉奥卢，兰杰思·谢蒂，
申请(专利权)人：北京小米移动软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。