基于神经网络的颜色空间转换方法技术

本发明专利技术提供了一种基于神经网络的颜色空间转换方法，包括：获取由归一化光谱、xyz和rgb构成的样本数据集；构建第一支路网络和第二支路网络并分别利用其进行预训练，第一支路网络的输出是估计的xyz，第二支路网络的输出是恢复的光谱；对第一支路网络和第二支路网络继续联合训练，在联合训练过程中将两条支路的特征进行融合，以训练输出层的线性描述权重；训练结束后移去光谱支路,在推理阶段只需要第一支路网络实现rgb到xyz颜色空间转换的预测本发明专利技术不但使得颜色空间转换的物理意义更明确，并且最后得到的xyz误差也比神经网络的结果更小更精确。

【技术实现步骤摘要】
基于神经网络的颜色空间转换方法
本专利技术涉及颜色转换领域，特别涉及一种基于神经网络的颜色空间转换方法。
技术介绍
(一)领域内总体技术现状描述颜色空间是用一种数学方法形象化表示颜色，人们用它来指定和产生颜色，通常用3维模型表示，空间中的颜色能够看到或者使用颜色模型产生。颜色空间有设备相关和设备无关之分。设备相关的颜色空间是指颜色空间指定生成的颜色与生成颜色的设备有关，例如RGB颜色空间。设备无关的颜色空间是指颜色空间指定生成的颜色与生成颜色的设备无光，例如CIELab颜色空间。RGB型颜色空间主要用于电视和计算机的颜色显示系统。而XYZ型颜色空间(CIE颜色空间)是由国际照明委员会定义的颜色空间，通常作为国际性的颜色空间标准，用作颜色的基本度量方法，是一种与设备无关的颜色表示法，在科学计算中得到广泛应用。对不能直接相互转换的两个颜色空间，可利用这类颜色空间作为过渡性的颜色空间。数字图像的颜色产生主要基于三种因素：光、物体对光的反射，传感器响应函数。不同波长的可见光投射到物体上，有一部分波长的光被吸收，一部分波长的光被反射出来经过传感器(比如相机)响应后形成物体的色彩信息。投射到物体上的可见光为光源的光谱，然后一部分被物体吸收一部分被反射，形成了物体的光谱信息，最后经过传感器响应输出颜色空间的色彩表示(比如RGB或XYZ等)。所以，RGB是高维光谱到低维RGB空间的降维映射，通常与所使用的相机设备(传感器响应函数)密切相关，即同一物体经不同相机产生的rgb值是完全不一样的。因此，当需要精确检测颜色时常使用的方式是利用光谱仪获取到物体的光谱，直接对光谱进行分析或者将光谱映射到与设备无关的颜色空间(XYZ或Lab)后再分析。然而，由于光谱仪的成本较高以及使用的不便性，使得人们提出能否基于常用的RGB相机(相比于光谱仪或者光谱相机等价格更低廉)实现颜色的精确检测？要实现颜色的精确检测可以从两个方面开展，一种方式是先基于RGB重建出光谱信息，再由光谱获得Lab值进行颜色差异比较；另一种方式是直接将RGB空间转换映射到Lab空间后进行颜色差异比较。我们知道，RGB和CIEXYZ都是线性色彩空间，而CIELab是非线性色彩空间，其中RGB是与设备相关，而CIEXYZ和CIELab都是与设备无关的。因此，对于第二种方式常见的方法是，先由设备相关的RGB转换到与设备无关的XYZ，再由XYZ转换到Lab进行颜色差异评估。由于CIEXYZ和CIELab都是与设备无关的并且有明确的转换关系，因此只要得到精确的XYZ就能比较精确的计算出颜色差异。(二)基于高光谱重建实现RGB到XYZ的颜色空间转换从RGB图像推断丢失的谱带信息是获得光谱数据的一种方式，这种方法被称为光谱重建或者光谱超分辨率。这是一个不适定问题，该问题尝试从包含三个波带的RGB图像中重建出大量波带的信息(通常31个均匀采样，从400nm到700nm)。这类方法对光谱重建精度的关键在于了解摄像机参数/灵敏度、图像内容和物理特性，以及光谱图像和对应rgb图像的训练样本对的可用性。自然场景中基于RGB重建高光谱最常见的方法有稀疏字典编码、卷积神经网络或者两者的结合。其中，大多数先进方法是源于卷积神经网络(CNN)，最初使用浅层神经网络，比如RBF；随着可用数据集的增加，开始使用更深的网络，比如18层的GAN，但由于在工业环境下难以在一定时间内获取足够的数据集，因此限制了该方法在工业中的使用和落地。另外，基于稀疏字典编码的方法则是根据获得的高光谱数据学习得到一个稀疏字典，然后根据这个稀疏字典使用正交匹配追逐算法(OMP)得到待测目标基于该字典的稀疏描述，即估计的光谱。在特定条件下，基于稀疏字典编码由RGB恢复高光谱信息确实是可能，主要基于以下几方面的依据，(1)感官系统遇到的一组高光谱信号被限制在所有高光谱信号的高维内的一个相对较低的流形中。(2)不同光谱能量分布的同色光出现的频率相对很低，自然场景中低于10-6-10-4。(3)物体的光谱反射有两个主要因素，即材料组合和光照的光谱特性，通常可以将其视为组成样品的不同材料产生的反射光谱的线性组合。(4)虽然自然界中可能存在的材料很多，但在高光谱图像的每个特定像素上，只有少数材料对测量的光谱有贡献。因此，一种描述自然图像中观察到的光谱的自然方法是，存储于字典中的基础光谱的稀疏组合。由于颜色检测的最终目标是想基于RGB预测光谱，再将光谱映射得到精确的xyz，因此在已知RGB和CIEXYZ的响应函数的情况下，可以基于RGB进行光谱重建，然后再通过CIEXYZ的映射函数，将RGB重建的光谱映射到对应的xyz。我们进行了一组对比实验，分别基于RGB和XYZ进行光谱重建，然后再将RGB重建的光谱和XYZ重建的光谱映射得到对应的xyz，对比它们与真实光谱映射得到的xyz之间的差异。实验结果发现，基于rgb重建光谱映射后得到的xyz估计与真实xyz的差异较大。(三)基于线性空间假设实现RGB到XYZ的颜色空间转换直观来讲，以光谱重建为桥梁预测精确xyz，进而得到比较准确的色差评价的思路非常具有说服力。但实际在光谱重建上，要不受到数据量的限制(基于深度网络)，要不就会受到映射域的强约束(基于字典的稀疏描述)，当重建光谱映射到非输入数据的低维域时会出现较大偏差。因此，可以基于不同颜色空间之间的转换(由RGB转换到XYZ)来实现。而通常人们将不同颜色空间之间的转换看作线性关系，其中最常用的方法是使用LMS来最小化xyz之间的差异。假设RGB到XYZ之间的转换是线性的，根据最小二乘(LMS)估计出一定误差内的线性转换矩阵。设学习样本rgb组成的矩阵为X3×N，对应的xyz组成的矩阵为Y3×N，转换矩阵为M3×3，则线性最小二乘的解是闭式的，即M＝(XXT)-1YXT(1)基于最小二乘得到由X到Y的转换矩阵M，然后由XM作为样本xyz的估计实际应用中，我们知道RGB与设备相关，CIEXYZ与设备无关。RGB相机得到的RGB与CIEXYZ实际上并非简单的线性关系。因此，颜色空间的线性转化存在着较大的误差，无法满足实际应用的需要。
技术实现思路
本专利技术提供了一种基于神经网络的颜色空间转换方法，以解决至少一个上述技术问题。为解决上述问题，作为本专利技术的一个方面，提供了一种基于神经网络的颜色空间转换方法，包括：步骤1，获取由归一化光谱、xyz和rgb构成的样本数据集，并按8:1:1的比例设置训练集、交叉验证集和测试集；步骤2，构建第一支路网络和第二支路网络并分别利用其进行预训练，第一支路网络的输出是估计的xyz，第二支路网络的输出是恢复的光谱；其中，所述第一支路网络用于实现rgb到xyz的颜色空间转换，最后的特征输出维度是3×100，输出层是一个1维卷积，从而对第一支路网络的特征提取部分进行训练；所述第二支路网络为光谱自编码支路网络，最后的特征维度是31×100，输出层是一个1维卷积，从而学习与高光谱字典意义类似的特征映本文档来自技高网...

【技术保护点】
1.一种基于神经网络的颜色空间转换方法，其特征在于，包括：/n步骤1，获取由归一化光谱、xyz和rgb构成的样本数据集，并按8:1:1的比例设置训练集、交叉验证集和测试集；/n步骤2，构建第一支路网络和第二支路网络并分别利用其进行预训练，第一支路网络的输出是估计的xyz，第二支路网络的输出是恢复的光谱；/n其中，所述第一支路网络用于实现rgb到xyz的颜色空间转换，最后的特征输出维度是3×100，输出层是一个1维卷积，从而对第一支路网络的特征提取部分进行训练；/n所述第二支路网络为光谱自编码支路网络，最后的特征维度是31×100，输出层是一个1维卷积，从而学习与高光谱字典意义类似的特征映射；/n步骤3，对第一支路网络和第二支路网络继续联合训练，在联合训练过程中将两条支路的特征进行融合，以训练输出层的线性描述权重；/n步骤4，训练结束后移去光谱支路,在推理阶段只需要第一支路网络实现rgb到xyz颜色空间转换的预测。/n

【技术特征摘要】
1.一种基于神经网络的颜色空间转换方法，其特征在于，包括：
步骤1，获取由归一化光谱、xyz和rgb构成的样本数据集，并按8:1:1的比例设置训练集、交叉验证集和测试集；
步骤2，构建第一支路网络和第二支路网络并分别利用其进行预训练，第一支路网络的输出是估计的xyz，第二支路网络的输出是恢复的光谱；
其中，所述第一支路网络用于实现rgb到xyz的颜色空间转换，最后的特征输出维度是3×100，输出层是一个1维卷积，从而对第一支路网络的特征提取部分进行训练；
所述第二支路网络为光谱自编码支路网络，最后的特征维度是31×100，输出层是一个1维卷积，从而学习与高光谱字典意义类似的特征映射；
步骤3，对第一支路网络和第二支路网络继续联合训练，在联合训练过程中将两条支路的特征进行融合，以训练输出层的线性描述权重；
步骤4，训练结束后移去光谱支路,在推理阶段只需要第一支路网络实现rgb到xyz颜色空间转换的预测。


2.根据权利要求1所述的基于神经网络的颜色空间转换方法，其特征在于，步骤1之前还包括：
步骤a，利用光谱相机或光谱仪等获取样本的光谱；
步骤b，利用已知的CIExyz响应函数和相机的响应函数分别计算得到样本对应的xyz值和rgb值；
步骤c，将采集的光谱、xyz和rgb等数据分别进行去中心化和归一化。


3.根据权利要求2所述的基于神经网络的颜色空间转换方法，其特征在于，步骤2中的构建第一支路网络并利用其进行预训练包括：
步骤21a，对网络参数进行随机初始化；
步骤22a，将训练集和交叉验证集中的xyz和rgb数据作为第一支路网络的训练样本；
步骤23a,将作为损失函数，batchsize设为128，epoch设为5000，采用SGD优化并设置初始学习率为...

【专利技术属性】
技术研发人员：何莲，成苗，张绍兵，皮祥辛，廖世鹏，石向文，王品学，
申请(专利权)人：深圳市中钞科信金融科技有限公司，
类型：发明
国别省市：四川;51