提高图像的颜色质量的方法、系统和计算机可读介质技术方案

一种方法，包括：编码器‑解码器网络接收和处理第一图像。第一图像包括位于不同位置的第一部分和第二部分。编码器‑解码器网络包括编码器和解码器。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一图像的第一部分和第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二图像，其中在考虑颜色一致性关系是否存在的情况下还原第二图像的与第一图像的第一部分对应的第一部分和第二图像的与第一图像的第二部分对应的第二部分。

【技术实现步骤摘要】
【国外来华专利技术】提高图像的颜色质量的方法、系统和计算机可读介质相关申请的交叉引用本申请要求于2018年11月8日提交的美国申请No.62/757,644的优先权。本公开的背景1.
本公开涉及图像处理领域，更特别地，涉及用于提高图像的颜色质量的方法、系统和计算机可读介质。2.相关技术的描述当在例如弱光条件下或水下条件下捕获图像时，由于低信噪比(SNR)、低对比度和/或窄动态范围，可能难以识别图像的内容。图像降噪技术去除图像噪声。图像增强技术提高感知质量，诸如图像的对比度。图像降噪技术和/或图像增强技术旨在提供具有鲜艳的颜色和丰富的细节的图像，尽管该图像是在例如弱光条件下或水下条件下被捕获的。在相关技术中，编码器-解码器网络对输入彩色图像执行图像降噪和/或增强，以生成输出彩色图像。编码器-解码器网络包括编码器和解码器。编码器提取输入彩色图像的特征，以获得具有颜色信息的抽象表示。为了获得输出彩色图像，解码器需要还原抽象表示的颜色信息。图1是示意性示出输入彩色图像102、输出彩色图像142以及由相关技术执行的色彩还原的中间细节的图。参阅图1，输入彩色图像102中具有一把椅子，该椅子由于低SNR、低对比度和/或窄动态范围而难以被识别。输入彩色图像102的第一部分104是椅子的靠背的边缘，以及输入彩色图像102的第二部分106是椅子的靠背的内部部分。在相关技术中，当编码器提取输入彩色图像102的第一部分104的特征和输入彩色图像102的第二部分106的特征时，在具有第一感受野的大小的视图122中考虑输入彩色图像102的第一部分104，该第一部分由被视图122覆盖的被处理部分124表示，以及在具有第一感受野的大小的视图128中考虑输入彩色图像102的第二部分106，该第二部分由被视图128覆盖的被处理部分126表示。然而，当编码器还原抽象表示的颜色信息时，输出彩色图像142的与输入彩色图像102的第一部分104对应的第一部分144和输出彩色图像142的与输入彩色图像102的第二部分106对应的第二部分146可能具有不一致的颜色。输出彩色图像142中在椅子的靠背的边缘与椅子的靠背的内部部分之间的颜色不一致由椅子的靠背的使用虚线样式绘制的边缘表示。这种颜色不一致的情况称为光晕。相关技术中也存在类似于光晕的其他颜色不一致情况，例如斑点。
技术实现思路
本公开的目的是提出用于提高图像的颜色质量的方法、系统和计算机可读介质。在本公开的第一方面中，计算机实施的方法包括：编码器接收和处理第一彩色图像。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。编码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块的对应第一卷积块之后。第一感受野宽于第二感受野。通过多个第一卷积块中一个卷积块的对应第一卷积层来获得全局信息，以及通过多个第一卷积块中一个卷积块的对应第二卷积层来获得局部信息。在本公开的第二方面中，计算机实施的方法包括：解码器接收和处理至少一个特征图。至少一个特征图是从第一彩色图像中提取的。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。至少一个特征图包括全局信息和局部信息，使得在第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二彩色图像。在考虑第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系的情况下，还原第二彩色图像的与第一彩色图像的第一部分对应的第一部分以及第二彩色图像的与第一彩色图像的第二部分对应的第二部分。解码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。在本公开的第三方面中，系统包括至少一个存储器和至少一个处理器。至少一个存储器被配置成存储程序指令。至少一个处理器被配置成执行程序指令，该程序指令使至少一个处理器执行包括下述的步骤：编码器接收和处理第一彩色图像。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。编码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层，以及具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一卷积块中的对应第一卷积块之后。第一感受野宽于第二感受野。通过多个第一卷积块中一个卷积块的对应第一卷积层来获得全局信息，以及通过多个第一卷积块中一个卷积块的对应第二卷积层来获得局部信息。在本公开的第四方面中，系统包括至少一个存储器和至少一个处理器。至少一个存储器被配置成存储程序指令。至少一个处理器被配置成执行程序指令，该程序指令使至少一个处理器执行包括下述的步骤：解码器接收和处理至少一个特征图。至少一个特征图是从第一彩色图像中提取的。第一彩色图像包括第一彩色图像的第一部分和第一彩色图像的第二部分，第一部分和第二部分位于第一彩色图像的不同位置。至少一个特征图包括全局信息和局部信息，使得第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息。解码器被配置成输出根据至少一个特征图生成的第二彩色图像。在考虑第一彩色图像的第一部分和第一彩色图像的第二部分之间是否存在颜色一致性关系的情况下，还原第二彩色图像的与第一彩色图像的第一部分对应的第一部分和第二彩色图像的与第一彩色图像的第二部分对应的第二部分。解码器包括多个第一卷积块。多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层，以及具有第二感受野的对应第二卷积层。通过使用多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。多个第一卷积块中的每个第二卷积块在多个第一本文档来自技高网...

【技术保护点】
1.一种计算机实施的方法，包括：/n编码器接收和处理第一彩色图像，/n其中，/n所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；以及/n所述编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息，其中，所述编码器包括：/n多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，/n其中，/n通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二个卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；/n所述第一感受野宽于所述第二感受野；以及/n通过所述多个第一卷积块中一个卷积块的对应第一卷积层来获得所述全局信息，以及通过所述多个第一卷积块中所述一个卷积块的对应第二卷积层来获得所述局部信息。/n...

【技术特征摘要】
【国外来华专利技术】20181108 US 62/757,6441.一种计算机实施的方法，包括：
编码器接收和处理第一彩色图像，
其中，
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；以及
所述编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息，其中，所述编码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二个卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；
所述第一感受野宽于所述第二感受野；以及
通过所述多个第一卷积块中一个卷积块的对应第一卷积层来获得所述全局信息，以及通过所述多个第一卷积块中所述一个卷积块的对应第二卷积层来获得所述局部信息。


2.根据权利要求1所述的计算机实施的方法，其中，所述编码器使所述至少一个特征图的空间分辨率小于所述第一彩色图像的空间分辨率。


3.根据权利要求1所述的计算机实施的方法，其中，
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分两者的情况下，当第一语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分时，将所述第一语义编码为所述全局信息；以及
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的一者的情况下，当第二语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的所述一者时，将所述第二语义编码为所述局部信息。


4.根据权利要求1所述的计算机实施的方法，其中，所述多个第一卷积块中的每个卷积块的对应第一卷积层是膨胀卷积层。


5.根据权利要求4所述的计算机实施的方法，其中，所述多个第一卷积块中的各个卷积块的对应第一卷积层的膨胀率相同。


6.根据权利要求1所述的计算机实施的方法，其中，
所述多个第一卷积块中的每个卷积块的对应第一卷积层的输出与所述多个第一卷积块中的每个卷积块的对应第二卷积层的输出连结；以及
通过使用所述多个第一卷积块中的所述对应第一卷积块的第一感受野和第二感受野的结合，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。


7.根据权利要求1所述的计算机实施的方法，还包括：
解码器接收和处理所述至少一个特征图，
其中，
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第二卷积块，其中，所述多个第二卷积块中的每个卷积块包括具有第三感受野的对应第三卷积层，
其中，
通过使用所述多个第二卷积块中的对应第三卷积块的第三感受野，确定所述多个第二卷积块中的每个第四卷积块的第三感受野，其中，所述多个第二卷积块中的每个第四卷积块在所述多个第二卷积块中的所述对应第三卷积块之后。


8.根据权利要求7所述的计算机实施的方法，其中，所述多个第二卷积块中的每个卷积块还包括具有第四感受野的对应第四卷积层，
其中，
通过使用所述多个第二卷积块中的所述对应第三卷积块的第三感受野和第四感受野，对应地确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野，或者通过使用所述多个第二卷积块中的所述对应第三卷积块的第三感受野和第四感受野的结合，确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野；以及
所述第三感受野宽于所述第四感受野。


9.根据权利要求7所述的计算机实施的方法，其中，所述解码器使所述第二彩色图像的空间分辨率大于所述至少一个特征图的空间分辨率。


10.一种计算机实施的方法，包括：
解码器接收和处理至少一个特征图，
其中，
所述至少一个特征图是从第一彩色图像中提取的；
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；
所述至少一个特征图包括全局信息和局部信息，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为所述全局信息和所述局部信息；
所述解码器被配置成输出根据所述至少一个特征图生成的第二彩色图像，其中，在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在所述颜色一致性关系的情况下，还原所述第二彩色图像的与所述第一彩色图像的所述第一部分对应的第一部分和所述第二彩色图像的与所述第一彩色图像的所述第二部分对应的第二部分，其中，所述解码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；以及
所述第一感受野宽于所述第二感受野。


11.根据权利要求10所述的计算机实施的方法，其中，所述多个第一卷积块中的每个卷积块的对应第一卷积层是膨胀卷积层。


12.根据权利要求11所述的计算机实施的方法，其中，所述多个第一卷积块中的各个卷积块的对应第一卷积层的膨胀率相同。


13.根据权利要求10所述的计算机实施的方法，其中，
所述多个第一卷积块中的每个卷积块的对应第一卷积层的输出与所述多个第一卷积块中的每个卷积块的对应第二卷积层的输出连结；以及
通过使用所述多个第一卷积块中的所述对应第一卷积块的第一感受野和第二感受野的结合，确定所述多个第一卷积块中的每个第二卷积块的第一感受野和第二感受野。


14.根据权利要求10所述的计算机实施的方法，所述解码器使所述第二彩色图像的空间分辨率大于所述至少一个特征图的空间分辨率。


15.根据权利要求10所述的计算机实施的方法，还包括：
编码器接收和处理所述第一彩色图像，
其中，
所述编码器被配置成输出所述至少一个特征图，其中，所述编码器包括：
多个第二卷积块，其中，所述多个第二卷积块中的每个卷积块包括具有第三感受野的对应第三卷积层和具有第四感受野的对应第四卷积层，
其中，
通过使用所述多个第二卷积块中的对应第三卷积块的第三感受野和第四感受野中至少一个，确定所述多个第二卷积块中的每个第四卷积块的第三感受野和第四感受野，其中，所述多个第二卷积块中的每个第四卷积块在所述多个第二卷积块中的所述对应第三卷积块之后；
所述第三感受野宽于所述第四感受野；以及
通过所述多个第二卷积块中一个卷积块的对应第三卷积层来获得所述全局信息，以及通过所述多个第二卷积块中所述一个卷积块的对应第四卷积层来获得所述局部信息。


16.根据权利要求15所述的计算机实施的方法，其中，所述编码器使所述至少一个特征图的空间分辨率小于所述第一彩色图像的空间分辨率。


17.根据权利要求15所述的计算机实施的方法，其中，
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分两者的情况下，当第一语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分时，将所述第一语义编码为所述全局信息；以及
在考虑所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的一者的情况下，当第二语义能够归于所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分中的所述一者时，将所述第二语义编码为所述局部信息。


18.一种系统，包括：
被配置成存储程序指令的至少一个存储器；
被配置成执行所述程序指令的至少一个处理器，所述程序指令使所述至少一个处理器执行包括下述的步骤：
编码器接收和处理第一彩色图像，
其中，
所述第一彩色图像包括所述第一彩色图像的第一部分和所述第一彩色图像的第二部分，所述第一部分和所述第二部分位于所述第一彩色图像的不同位置；以及
所述编码器被配置成输出包括全局信息和局部信息的至少一个特征图，使得所述第一彩色图像的所述第一部分和所述第一彩色图像的所述第二部分之间是否存在颜色一致性关系被编码为全局信息和局部信息，其中，所述编码器包括：
多个第一卷积块，其中，所述多个第一卷积块中的每个卷积块包括具有第一感受野的对应第一卷积层和具有第二感受野的对应第二卷积层，
其中，
通过使用所述多个第一卷积块中的对应第一卷积块的第一感受野和第二感受野中至少一个，确定所述多个第一卷积块中的每个第二个卷积块的第一感受野和第二感受野，其中，所述多个第一卷积块中的每个第二卷积块在所述多个第一卷积块中的所述对应第一卷积块之后；
所述第一感受野宽于所述第二感受野；以及
通过所述多个第一卷积块中一个卷积块的对应第一卷积层来获得所述全局信息，以及通过所述多个第一卷积块中所述一个卷积块的对应第二卷积层来获得所述局部信息。


19.根据权利要求18所述的系统，其中，所述编码器使所述至少一个特征图的空间...

【专利技术属性】
技术研发人员：孟子博，何朝文，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东;44