一种图像处理的方法和装置制造方法及图纸

本申请实施例公开了人工智能领域中计算机视觉技术中的一种图像处理的方法、框架和装置，该方法包括：获取多帧RAW图像，对获取的多帧RAW图像进行图像对齐、通道拆分、像素重组等预处理之后，基于深度学习网络对图像进行细节恢复，并对深度学习网络输出的图像进行亮度增强和颜色增强，本申请实施例将细节恢复相关的多种处理均融合在同一个深度学习网络中，避免了多种处理串行进行时不同处理之间的相互影响，且有效融合了多帧图像的有效信息，有助于更好提升图像处理的效果。

【技术实现步骤摘要】
一种图像处理的方法和装置
本申请涉及人工智能领域，尤其涉及计算机视觉技术中的一种图像处理的方法和装置。
技术介绍
拍照已经成为各种移动终端如手机、平板电脑、智能眼镜、穿戴式设备等最常用的功能之一，而对图像细节的还原能力、图像清晰度等可以认为是衡量拍照质量最重要的评价标准。然而，现如今移动终端设备越加轻薄化，对移动终端体积的限制更加严格，导致移动终端相机的物理器件与单反相机存在一定的差距。因此，需要通过算法对图像进行处理，在保证移动终端轻薄特性的前提下，尽可能提升图像的细节和清晰度。通常情况下，摄像头获取的图像为未经处理的RAW图像，从RAW图像转换到红绿蓝(RedGreenBlue，RGB)等可以显示的彩色图像，需要经过一系列的图像处理操作。在传统图像信号处理(ImageSignalProcessing，ISP)模型中，多种图像处理操作按一定的顺序依次进行，然而，由于多种图像处理操作之间是相互影响因此，采用多模块串行操作会导致错误逐步累积，降低图像的质量。
技术实现思路
本申请实施例提供一种图像处理的方法和装置，用于减少多模块串行操作带来的错误累积，提升图像的质量。本申请第一方面提供了一种图像处理的方法，该方法包括：获取多帧原始RAW图像；对该多帧RAW图像进行预处理，得到第一中间图像，该预处理包括：通道拆分和像素重排列，该第一中间图像包括属于多个通道的子图像，其中，每个通道的子图像只包含一种颜色分量；基于第一深度学习网络对该第一中间图像进行处理，得到第一目标图像，该第一深度学习网络的功能包括：去马赛克DM和降噪；对该第一目标图像进行亮度增强或颜色增强中的至少一项，得到第二目标图像。去马赛克和降噪均为与细节恢复相关的运算，而先进行去马赛克处理会影响降噪效果，先降噪会影响去马赛克的效果，本申请实施例将去马赛克和降噪均通过同一个深度学习网络来实现，避免了多种处理串行进行时不同处理的相互影响带来的错误累积，提升了图像细节恢复的效果；进一步的，本申请实施例同时输入N帧RAW图像，融合了多帧图像的有效信息，有助于更好的恢复图像细节；另一方面，在将图像输入到深度学习网络进行细节恢复之前，先对N帧图像进行通道拆分和像素重排列等预处理，提升了深度学习网络的处理效果。在一种可能的实施方式中，第一深度学习网络的功能还包括：超分辨率SR重建，该RAW图像具有第一分辨率，该第一目标图像具有第二分辨率，该第二分辨率大于该第一分辨率。对于有超分辨率需求的场景，去马赛克、降噪和SR处理都是细节恢复很关键的处理，并且如果先进行DM、SR处理，会放大图像的噪声或破坏原始图像的噪声形态，影响降噪的效果；如果先降噪，降噪处理带来的细节损失将无法恢复，从而影响DM、SR等处理的效果。本申请实施例中，通过训练一个深度学习网络可以同时实现去马赛克、降噪和SR重建3种功能，且通过深度学习网络对图像进行与细节恢复相关的去马赛克、降噪和SR重建，不存在先后处理顺序，避免了由于多模块串行操作带来的不同处理间的相互影响，也避免了因此导致的错误积累。在一种可能的实施方式中，该第一深度学习网络的功能还包括：坏点校正或相位点补偿中的至少一项。坏点校正和相位点补偿也是与细节恢复相关的算法，本申请实施例通过同一个深度学习网络同时实现去马赛克、降噪、坏点校正和相位点补偿功能，避免了多种不同处理串行进行时不同处理的相互影响带来的错误累积，提升了图像细节恢复的效果。在一种可能的实施方式中，该预处理还包括：坏点校正或相位点补偿中的至少一项。由于相位点的位置基本固定，且坏点校正的算法比较成熟，因此坏点和相位点可以在产线进行标定，然后可以将坏点校正和相位点补偿放在预处理中实现，这样简化了深度学习网络的计算复杂度。在一种可能的实施方式中，该第一深度学习网络的功能还包括：锐化。本申请实施例通过同一个深度学习网络同时实现去马赛克、降噪、锐化、坏点校正和相位点补偿功能，避免了多种不同处理串行进行时不同处理的相互影响带来的错误累积，提升了图像细节恢复的效果。在一种可能的实施方式中，该方法还包括：对该第二目标图像进行锐化，得到第三目标图像；将该第三目标图像发送到显示屏或者存储器。由于亮度和颜色增强可能会影响图像边缘的锐度，锐化可以不融合在第一深度学习网络中，在亮度增强和颜色增强之后，再根据实际需求对图像进行锐化，这样可以提升图像处理的效果。在一种可能的实施方式中，该RAW图像的格式包括：RGGB格式的Bayer图像、RYYB格式的图像以及XYZW格式的图像，其中，XYZW格式的图像表示包含四种颜色分量的图像，X、Y、Z、W各代表一种颜色分量。在一种可能的实施方式中，RGGB格式的Bayer图像、RYYB格式的图像以及XYZW格式的图像采用Quad排列，该Quad排列的最小重复单元包括的像素个数包括：16，24或32。在一种可能的实施方式中，该RAW图像为RYYB图像或包含4个不同颜色分量的图像，在该对该第一目标图像进行亮度增强和颜色增强，得到第二目标图像之前，该方法还包括：对该第一目标图像经过颜色转换，得到RGB彩色图像；该对该第一目标图像进行亮度增强和颜色增强，得到第二目标图像，具体包括：对该RGB彩色图像进行亮度增强或颜色增强中的至少一项，得到该第二目标图像。示例性的，包含4个不同颜色分量的图像包括：RGBIR图像或RGBW图像。在一种可能的实施方式中，该第一深度学习网络的功能还包括：图像对齐。在训练深度学习网络时，构建的训练数据为多帧存在差异的不对齐的图像，这样训练出的深度学习网络具备图像对齐的能力，对应的，在将数据输入第一深度学习网络之前，可以不预先进行图像配准和运动补偿，而将不对齐的N帧RAW图像直接输入网络，由网络自行实现多帧数据的对齐和融合。应当理解，图像配准和运动补偿都是为了实现图像对齐。在一种可能的实施方式中，该预处理还包括：图像对齐。在一种可能的实施方式中，该预处理具体包括：对该多帧RAW图像进行通道拆分和像素重排列，得到分属M个通道的多帧子图像，其中，每个通道中的子图像的帧数等于该多帧RAW图像的帧数；分别对齐每个通道中的多帧子图像。在一种可能的实施方式中，该分别对齐每个通道中的多帧子图像，具体包括：对齐第一通道中的多帧子图像，该第一通道为该M个通道中的任一个通道；基于对齐该第一通道时所使用的对齐方式对齐其他通道。本申请实施例中，先进行通道拆分和像素重排列，然后选择一个通道进行对齐，再然后基于相同的对齐方式对其他通道进行对齐，简化了对齐图像时所需要的计算量。示例的，通道拆分获得的通道的个数与该RAW图像的格式有关，通道的个数等于RAW图像的最小重复单元包括的像素的个数。在一种可能的实施方式中，该亮度增强或颜色增强包括如下至少一项：黑电平校正BLC、自动白平衡AWB、镜头阴影校正LSC、色调映射ToneMapping、颜色校正ColorMapping、对比度增加或者伽马gamma校正。...

【技术保护点】
1.一种图像处理的方法，其特征在于，所述方法包括：/n获取多帧原始RAW图像；/n对所述多帧RAW图像进行预处理，得到第一中间图像，所述预处理包括：通道拆分和像素重排列，所述第一中间图像包括属于多个通道的子图像，其中，每个通道的子图像只包含一种颜色分量；/n基于第一深度学习网络对所述第一中间图像进行处理，得到第一目标图像，所述第一深度学习网络的功能包括：去马赛克DM和降噪；/n对所述第一目标图像进行亮度增强或颜色增强中的至少一项，得到第二目标图像。/n

【技术特征摘要】
1.一种图像处理的方法，其特征在于，所述方法包括：
获取多帧原始RAW图像；
对所述多帧RAW图像进行预处理，得到第一中间图像，所述预处理包括：通道拆分和像素重排列，所述第一中间图像包括属于多个通道的子图像，其中，每个通道的子图像只包含一种颜色分量；
基于第一深度学习网络对所述第一中间图像进行处理，得到第一目标图像，所述第一深度学习网络的功能包括：去马赛克DM和降噪；
对所述第一目标图像进行亮度增强或颜色增强中的至少一项，得到第二目标图像。


2.根据权利要求1所述的方法，其特征在于，所述第一深度学习网络的功能还包括：超分辨率SR重建，所述RAW图像具有第一分辨率，所述第一目标图像具有第二分辨率，所述第二分辨率大于所述第一分辨率。


3.根据权利要求1或2所述的方法，其特征在于，所述第一深度学习网络的功能还包括：坏点校正或相位点补偿中的至少一项。


4.根据权利要求1或2所述的方法，其特征在于，所述预处理还包括：坏点校正或相位点补偿中的至少一项。


5.根据权利要求1至4任一项所述的方法，其特征在于，所述第一深度学习网络的功能还包括：锐化。


6.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：
对所述第二目标图像进行锐化，得到第三目标图像；
将所述第三目标图像发送到显示屏或者存储器。


7.根据权利要求1至6任一项所述的方法，其特征在于，所述RAW图像为RYYB图像或包含4个不同颜色分量的图像，在所述对所述第一目标图像进行亮度增强和颜色增强，得到第二目标图像之前，所述方法还包括：
对所述第一目标图像经过颜色转换，得到RGB彩色图像；
所述对所述第一目标图像进行亮度增强和颜色增强，得到第二目标图像，具体包括：
对所述RGB彩色图像进行亮度增强或颜色增强中的至少一项，得到所述第二目标图像。


8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一深度学习网络的功能还包括：图像对齐。


9.根据权利要求1至7任一项所述的方法，其特征在于，所述预处理还包括：图像对齐。


10.根据权利要求9所述的方法，其特征在于，所述预处理具体包括：
对所述多帧RAW图像进行通道拆分和像素重排列，得到分属M个通道的多帧子图像，其中，每个通道中的子图像的帧数等于所述多帧RAW图像的帧数；
分别对齐每个通道中的多帧子图像。


11.根据权利要求10所述的方法，其特征在于，所述分别对齐每个通道中的多帧子图像，具体包括：
对齐第一通道中的多帧子图像，所述第一通道为所述M个通道中的任一个通道；
基于对齐所述第一通道时所使用的对齐方式对齐其他通道。


12.根据权利要求1至11任一项所述的方法，其特征在于，所述亮度增强或颜色增强包括如下至少一项：黑电平校正BLC、自动白平衡AWB、镜头阴影校正LSC、色调映射ToneMapping、颜色校正ColorMapping、对比度增加或者伽马gamma校正。


13.根据权利要求1至7任一项所述的方法，其特征在于，所述预处理具体包括：
对所述多帧RAW图像进行黑电平校正BLC、自动白平衡AWB或镜头阴影校正LSC中的至少一项处理，得到多帧第一预处理后的RAW图像；
对所述多帧第一预处理后的RAW图像进行通道拆分和像素重排列，得到分属于M个通道的多帧子图像，其中，每个通道中的子图像的帧数与所述多帧RAW图像的帧数相等；
对齐每个通道中的多帧子图像。


14.根据权利要求1至13任一项所述的方法，其特征在于，所述第一中间图像包括的子图像所属的通道数等于所述RAW图像的最小重复单元包含的像素个数。


15.根据权利要求1至14任一项所述的方法，其特征在于，所述预处理还包括：估计图像的噪声强度区域分布图或锐化强度图的至少一项；
所述第一深度学习网络具体用于实现下述的至少一项：
基于所述噪声强度区域分布图控制所述第一中间图像的不同区域的降噪程度；
基于所述锐度强化图控制所述第一中间图像的不同区域的锐化强度。


16.根据权利要求1至15任一项所述的方法，其特征在于，所述第一深度学习网络包括：多个残差网络卷积模块、至少一个上采样卷积块以及第二特征融合卷积模块，所述第二特征卷积模块的输出为所述第一深度学习网络的输出，所述第二特征融合卷积模块的特征通道数为3或4。


17.根据权利要求16所述的方法，其特征在于，所述上采样卷积块的个数与所述RAW图像的格式、所述RAW图像的尺寸和所述第一目标图像的尺寸有关。


18.根据权利要求16或17所述的方法，其特征在于，所述第一深度学习网络还包括：特征提取卷积模块和第一特征融合模块，所述多个残差网络卷积模块的输出为所述第一特征融合模块的输入。


19.根据权利要求1至18任一项所述的方法，其特征在于，当所述方法应用于HDR场景时，所述多帧RAW图像为多帧短曝光的RAW图像，所述第一深度学习网络的训练数据包括多帧短曝光训练图像，所述短曝光训练图像根据如下方法获得：
对曝光合理的高质量图像进行反向Gamma校正，得到反向伽马校正图像；
将所述反向伽马校正图像的每个像素值均除以一个数字，得到所述短曝光训练图像。


20.根据权利要求1至18任一项所述的方法，其特征在于，当所述方法应用于暗光场景时，增加输入的所述RAW图像的帧数；
当所述方法应用于变焦模式时，所述第一深度学习网络中的上采样卷积块的个数与变焦倍数有关。


21.根据权利要求1至19任一项所述的方法，其特征在于，所述第一深度学习网络为根据第一指示信息从深度学习网络资源池中选择的目标深度学习网络，所述第一指示信息为用户在应用程序APP界面上选择的与应用场景相关的指示信息；或者，
所述第一指示信息为分析摄像...

【专利技术属性】
技术研发人员：王银廷，张熙，李瑞华，张丽萍，黄一宁，雷奕，郑祖全，张一帆，李欣，杨小伟，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44