一种图像色彩的处理方法及装置制造方法及图纸

本申请提供一种图像色彩的处理方法，包括分别获取摄像模组对目标拍摄场景进行拍摄得到的待处理图像信号和阵列多光谱传感器模组对目标拍摄场景采集得到的陈列多光谱信号；基于阵列多光谱信号，确定场景频谱分布信息；基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。本申请通过利用阵列多光谱传感器感知场景频谱信息，引导成像通路进行更为精确的色彩标准化，后续的ISP模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免重复调参。避免重复调参。避免重复调参。

【技术实现步骤摘要】
一种图像色彩的处理方法及装置


[0001]本申请涉及图像处理
，尤其涉及图像色彩的处理方法及装置。

技术介绍

[0002]图像信号处理(Image signal processor，ISP)在手机摄影中占据着重要地位。它旨在模仿人的视觉系统，把相机传感器记录的信号恢复成符合人眼对真实世界认知的图像。人眼对于色彩的判别尤为敏锐。为了能使成像系统呈现真实、正确的色彩，在实际工程中，需要根据特定型号的相机特性进行白平衡、色彩修正等相关ISP模块的调参。
[0003]由于终端设备迭代速度快、不同版本相机模组的响应各不相同，如何实现统一且准确的ISP色彩调整成为一个挑战。传统的专家调试方法必然导致繁琐的重复调参过程，浪费了人力与时间；对于色彩标准的主观评测也限制了准确性的提升、导致不同型号模组呈现的色彩难以统一。

技术实现思路

[0004]本申请的实施例提供一种图像色彩的处理方法及装置，实现对成像通路更加准确的色彩标准化，后续ISP模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免重复调参。
[0005]第一方面，本申请提供了一种图像色彩的处理方法，包括获取摄像模组对目标拍摄场景进行拍摄得到的待处理图像信号和阵列多光谱传感器模组对目标拍摄场景采集得到的陈列多光谱信号；基于阵列多光谱信号，确定场景频谱分布信息，该场景频谱分布信息指示目标拍摄场景对应的频谱分布；基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布；基于待处理图像信号和第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布，第二标准色彩值分布用于作为对待处理图像信号进行色彩参数调整的依据。
[0006]本申请通过利用阵列多光谱传感器感知场景频谱信息，引导成像通路进行更为精确的色彩标准化，后续的ISP模块仅需要基于标准色彩进行统一调参即可，实现与设备解耦，避免由于设备的不同而进行的多次调参。
[0007]可选的，可以通过神经网络模型的方式实现基于阵列多光谱信号确定场景频谱分布信息，例如，将阵列多光谱信号作为训练完成的神经网络模型的输入，输出场景频谱分布信息。也即训练完成的神经网络模型可以实现将阵列多光谱信号映射至场景频谱分布信息。
[0008]由于阵列多光谱传感器受成像机制限制，往往通道间响应混叠，场景信息需要被有效提取，例如提取场景频谱分布信息，以便于后续的色彩的标准化处理。
[0009]在一个可能的实现中，神经网络模型包括第一分支网络和第二分支网络；将阵列多光谱信号作为神经网络模型的输入，输出场景频谱分布信息的一个具体实现为：将阵列多光谱信号作为第一分支网络的输入，输出光源种类概率分布；将阵列多光谱信号作为第
二分支网络的输入，输出各个种类光源的频谱分布；神经网络模型的输入层对光源种类概率分布和各个种类光源的频谱分布做加权处理，输出场景频谱分布信息。
[0010]在该可能的实现中，光源种类预测信息作为辅助确定场景频谱分布信息，可以有效区分歧义场景，例如不同光源种类下可能存在不同材质多光谱信号类似的情形，保证了场景频谱分布信息的准确性；同时通过第一分支网络和第二分支网络的并行计算可以高效快速实现场景频谱分布信息的确定。
[0011]可选的，第一分支网络包括浅层卷积神经网络，例如，浅层卷积神经网络对的输入层对输入的阵列多光谱信号进行空间下采样，卷积层对空间下采样后的数据进行卷积处理，最后输出光源种类概率分布，例如太阳光的概率为0.8、白炽灯的概率为0.2。
[0012]在一个示例中，光源种类包括太阳光、白炽灯、LED灯和荧光灯中的至少两种典型种类的光源。
[0013]在另一个可能的实现中，第二分支网络包括分组单元和全卷积神经网络(fully convolutional networks，FCN)；将阵列多光谱信号作为第二分支网络的输入，输出各个种类光源的频谱分布的一种具体实现为：在分组单元中对阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，第i
‑
1组中的多光谱信号与全局多光谱信号的相关性大于第i组的多光谱信号与全局多光谱信号的相关性，K为大于1的正整数，i为正整数；将K个分组中每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出每个分组的多光谱信号对应的各个种类光源的频谱分布。
[0014]在该可能的实现中，采用轻量化的FCN神经网络作为频谱预测网络，预测各个种类光源的频谱分布，保证了网络的轻量化，可以实现在终端上进行部署，降低对终端的计算资源的开销，同时根据局部信号相似性进行分组调优的方式实现了计算资源的合理分配。
[0015]在一个示例中，每个分组的多光谱信号与全局多光谱信号的相关性，基于每个分组的多光谱信号与阵列多光谱信号的平均值的内积确定。
[0016]示例性的，分组单元先计算全局多光谱信号(也即阵列多光谱传感器模组采集到的所有像素的多光谱信号)的平均值，然后计算每个像素处的多光谱信号与全局多光谱信号的平均值间的相关性，根据相关性对每个像素处的多光谱信号进行排序，然后根据排序对阵列多光谱信号进行分组，分为K个组。例如，阵列多光谱信号进行排序后得到排序后的多光谱信号M，M 1
、M 2
…
M n
，从M1开始每n/k分为一个组，最后得到K个分组的多光谱信号，计算每个分组的多光谱信号的均值，然后将每个分组的多光谱信号的均值作为全卷积神经网络的输入，输出对应像素分区(也即对应分组)的平均场景频谱分布，也即每个分组对应的各个种类光源的频谱分布。
[0017]在另一个可能的实现中，基于场景频谱分布，确定阵列多光谱信号对应的第一标准色彩值分布的一种具体实现为：将场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于第一转换矩阵将阵列多光谱信号转换至标准色彩空间，得到第一标准色彩值分布。
[0018]在另一个可能的实现中，基于待处理图像信号和所述第一标准色彩值，确定待处理图像信号对应的第二标准色彩值分布的一种具体实现为：将待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于第二转换矩阵将待处理图像信号转换至标准色彩空间，得到第二标准色彩值分布。
[0019]在另一个可能的实现中，可以将阵列多光谱信息进行分区，逐分区的求解场景频谱分布信息，也即得到各个分区对应的场景频谱分布信息，然后根据各个分区对应的场景频谱分布信息，确定各个分区对应的第一标准色彩值分布。然后根据阵列多光谱信息的分区，对待处理图像信号也进行相应分区，将各个分区的待处理图像信号与相应的分区对应的第一标准色彩值分布进行拟合，得到各个分区的第二转换矩阵，再利用各个分区的第二转换矩阵将各个分区的图像信号转换至标准色彩空间，得到各个分区对应的第二标准色彩值分布。如此可以实现场景空间局部色彩的调优，从而避免场景中由于空间频谱分布差异大所造成的色彩偏移问题。
[0020]第二方面，本申请还提供一种图像色彩的处理装置，应用于摄像系统，摄像系统包括摄像模组和阵列多光谱传感器模组，该图像色彩的处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像色彩的处理方法，其特征在于，应用于摄像系统，所述摄像系统包括摄像模组和阵列多光谱传感器模组，所述方法包括：获取待处理图像信号和陈列多光谱信号，所述待处理图像信号为所述摄像模组对目标拍摄场景进行拍摄得到的，所述阵列多光谱信号为所述阵列多光谱传感器模组对所述目标拍摄场景进行光谱信号采集得到；基于所述阵列多光谱信号，确定场景频谱分布信息，所述场景频谱分布信息指示所述目标拍摄场景对应的频谱分布；基于所述场景频谱分布信息，确定所述阵列多光谱信号对应的第一标准色彩值分布；基于所述待处理图像信号和所述第一标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布，所述第二标准色彩值分布用于作为对所述待处理图像信号进行色彩参数调整的依据。2.根据权利要求1所述的方法，其特征在于，所述基于所述阵列多光谱信号，确定场景频谱分布信息，包括：将所述阵列多光谱信号作为神经网络模型的输入，输出所述场景频谱分布信息。3.根据权利要求2所述的方法，其特征在于，所述神经网络模型包括第一分支网络和第二分支网络；所述将所述阵列多光谱信号作为神经网络模型的输入，输出所述场景频谱分布信息，包括：将所述阵列多光谱信号作为所述第一分支网络的输入，输出光源种类概率分布；将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布；所述神经网络模型的输入层对所述光源种类概率分布和所述各个种类光源的频谱分布做加权处理，输出所述场景频谱分布信息。4.根据权利要求3所述的方法，其特征在于，所述第一分支网络包括浅层卷积神经网络。5.根据权利要求3或4所述的方法，其特征在于，所述第二分支网络包括分组单元和全卷积神经网络；所述将所述阵列多光谱信号作为所述第二分支网络的输入，输出各个种类光源的频谱分布，包括：在分组单元中对所述阵列多光谱信号进行分组处理，得到K个分组的多光谱信号，所述第i
‑
1组中的多光谱信号与全局多光谱信号的相关性大于所述第i组的多光谱信号与所述全局多光谱信号的相关性，K为大于1的正整数，i为正整数；将所述K个分组中每个分组的多光谱信号的均值作为所述全卷积神经网络的输入，输出所述每个分组的多光谱信号对应的所述各个种类光源的频谱分布。6.根据权利要求5所述的方法，其特征在于，所述每个分组的多光谱信号与所述全局多光谱信号的相关性，基于所述每个分组的多光谱信号与所述阵列多光谱信号的平均值的内积确定。7.根据权利要求1
‑
6任一项所述的方法，其特征在于，所述基于所述场景频谱分布，确定所述阵列多光谱信号对应的第一标准色彩值分布，包括：
将所述场景频谱分布与标准色卡进行拟合操作，得到第一转换矩阵；基于所述第一转换矩阵将所述阵列多光谱信号转换至标准色彩空间，得到所述第一标准色彩值分布。8.根据权利要求1
‑
7任一项所述的方法，其特征在于，所述基于所述待处理图像信号和所述第一标准色彩值，确定所述待处理图像信号对应的第二标准色彩值分布，包括：将所述待处理图像信号与第一标准色彩值进行拟合操作，得到第二转换矩阵；基于所述第二转换矩阵将所述待处理图像信号转换至标准色彩空间，得到所述第二标准色彩值分布。9.根据权利要求1
‑
8任一项所述的方法，其特征在于，所述场景频谱分布信息包括所述阵列多光谱信号的多个像素分区的场景频谱分布信息；所述基于所述场景频谱分布信息，确定所述阵列多光谱信号对应的第一标准色彩值分布，包括：基于所述多个像素分区中各个像素分区的场景频谱分布信息，确定所述各个像素分区对应的第一标准色彩值分布；所述基于所述待处理图像信号和所述第一标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布，包括：基于所述各个像素分区对应的所述待处理图像信号和所述各个像素分区的第一标准色彩值分布，确定所述待处理图像信号的各个像素分区对应的第二标准色彩值分布；基于所述待处理图像信号的各个像素分区对应的第二标准色彩值分布，确定所述待处理图像信号对应的第二标准色彩值分布。10.一种图像色彩的处理装置，其特征在于，应用于摄像系统，所述摄像系统包括摄像模组和阵列多光谱传感器模组，所述装置包括：获取模块，用于获取待处理图像信号和陈列多光谱信号，所...

【专利技术属性】
技术研发人员：胡雪，陈畅，黄亦斌，宋风龙，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：