生成基于机器学习的成像算法的图像数据的方法技术

公开了一种方法和系统，用于将从线上图像源下载的任意RGB图像转换为光谱图像，并借助于摄像头表征数据进一步处理所述光谱图像成为输入和地面真值图像对，以便用于训练深度神经网络以执行图像处理任务，例如自动白平衡(Auto White Balance，AWB)或颜色阴影校正(Color Shading Correction，CSC)。

【技术实现步骤摘要】
【国外来华专利技术】生成基于机器学习的成像算法的图像数据的方法
本公开涉及图像信号处理，尤其涉及一种用于将任意RGB图像转换成光谱图像的方法和系统，所述光谱图像可被进一步处理为用于深度学习算法训练的原始RGB图像。
技术介绍
摄像头芯片制造商的最终目标是制造传感器S，以捕获由光源l光照的场景R的图像I，从而提供完美的图像质量。对于手机摄像头芯片制造商而言，因为最好的手机摄像头和高端DSLR摄像头之间仍存在质量差距，所以该目标能以更加适当和实用的方式定义为：提供与高质量DSLR摄像头匹配的质量图像。仅通过传感器硬件不容易实现该目标，但是传感器图像(原始RGB图像)必须由制造商限定的图像信号处理器(ImageSignalProcessor，ISP)管道进行后处理，该管道包括例如降噪、镜头阴影校正、白平衡(色彩恒常性)校正和拜耳去马赛克等各种算法。由于深度学习的引入，研究所有这些算法是否可以被端到端可学习的深度图像到图像传输架构取代就变得十分重要。为了训练这些深度架构，需要一大组图像对，其中各图像对包括由摄像头传感器S捕获的原始RGB图像和由表示地面真值SGT的本文档来自技高网...

【技术保护点】
1.一种用于处理图像数据的方法，其特征在于，所述方法包括以下步骤：/n在存储器(2)中存储表示图像的图像数据I

【技术特征摘要】
【国外来华专利技术】1.一种用于处理图像数据的方法，其特征在于，所述方法包括以下步骤：
在存储器(2)中存储表示图像的图像数据IWEB(101)，其中所述图像数据IWEB为RGB格式；
在图像信号处理器(3)中接收所述图像数据IWEB(102)；
通过对所述图像数据IWEB应用反向伽马校正将所述图像数据IWEB转换为线性RGB格式(103)；
对所述图像数据IWEB应用观察者颜色映射函数(104)；
将所述图像数据IWEB转换为光谱匹配色彩空间(106)，其中亮度分量L和色度分量c分离；
在相同光谱匹配色彩空间中提供自然光谱λ的值(107)；
在所述光谱匹配色彩空间中对所述图像数据IWEB应用光谱匹配(108)，其中省略所述亮度分量L并且测量所述图像和所述自然光谱λ之间的色差作为其色度分量c对之间的欧氏距离；
通过按迭代步骤的顺序修改所述自然光谱λ来改进所述光谱匹配(109)，以减小所述欧氏距离并找到对应的自然光谱λ；以及
通过所述对应的自然光谱λ将所述图像数据IWEB转换为光谱图像的光谱图像数据ISPEC(110)。


2.根据权利要求1所述的方法，其特征在于，所述方法的步骤按照所述权利要求指示的顺序执行。


3.根据权利要求1或2中任一项所述的方法，其特征在于，对所述图像数据IWEB应用所述观察者颜色映射函数(104)包括：
将所述图像数据IWEB的色度坐标cs从源三刺激色彩空间转换为目标三刺激色彩空间中的色度坐标ct(1041)，其中所述转换通过以下至少一种方式完成：
转换查找表LUT；或
转换矩阵M，其中所述转换矩阵M的尺寸至少为3×3。


4.根据权利要求3所述的方法，其特征在于，所述色度坐标的转换根据以下公式并使用转换矩阵M完成：
ct＝Mcs；以及其中，所述方法还包括根据以下公式使用迭代循环中的梯度下降算法优化所述转换矩阵M(1046)：



其中，i表示用于所述颜色映射函数的颜色数量，cCIE表示标准色彩空间中的目标色度坐标，csRGB表示RGB色彩空间中的源色度坐标；
其中，对每个非对角系数逐个优化；
在每个非对角系数变化之后立即计算对角值，以保持每行的和为1；以及
在计算所有系数之后，再次应用优化步骤，直到未发现改善为止。


5.根据权利要求1至4中任一项所述的方法，其特征在于，对所述图像数据IWEB应用所述观察者颜色映射函数(104)包括：
将目标色彩空间固定为CIE1931标准观察者色彩空间(1042)；以及
定义具有已知反射光谱和校准图的固定数目Nc个颜色(1043)，所述已知反射光谱和校准图覆盖用于所述颜色映射函数的标准RGB色域；
其中所述固定数目Nc大于或等于24。


6.根据权利要求5所述的方法，其特征在于，对所述图像数据IWEB应用所述观察者颜色映射函数(104)包括：
选择其光谱可用且其分布近似典型光源l用例的正态统计分布的一定数目NL个光源l(1044)；以及
在所述迭代步骤的顺序期间，每次选择所述NL个光源l中的一个作为所选择的光源m(1045)；
其中，所述选择实现为随机选择或基于与所述图像相关联的信息(如元数据或图像数据IWEB)做出的选择中的至少一个；以及
其中，所述数目NL的范围为10-1000，更优选为50-500，更优选为100。


7.根据权利要求1至6中任一项所述的方法，其特征在于，还包括：
在将所述观察者颜色映射函数应用于所述图像数据IWEB之后，对所述图像数据IWEB应用反向自动白平衡校正(105)；其中
在所述光谱匹配之前优选应用所述反向自动白平衡校正。


8.根据权利要求1至7中任一项所述的方法，其特征在于，所述光谱匹配色彩空间是取值限定为(L)a1b1的CIELAB色彩...

【专利技术属性】
技术研发人员：萨穆·科斯基宁，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44