一种基于深度学习的自动颜色校正方法和系统技术方案

本发明专利技术公开了一种基于深度学习的自动颜色校正方法和系统，包括采集单元、黑电平补偿单元、自动白平衡单元、色彩校正单元、Gamma变换单元、颜色校正模单元、输出单元，将显微术野RAW图像依次经过黑电平补偿、自动白平衡、色彩校正和Gamma变换处理，得到显微术野sRGB图像；调用颜色校正模型对sRGB图像进行处理，输出一组颜色校正参数，更新白平衡增益和色彩校正矩阵，根据校正更新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野sRGB图像。本发明专利技术不仅准确性高，而且稳定性强。定性强。定性强。

【技术实现步骤摘要】
一种基于深度学习的自动颜色校正方法和系统


[0001]本专利技术涉及显微计算成像领域，具体涉及一种基于深度学习的显微成像自动颜色校正方法和系统。

技术介绍

[0002]显微手术通常使用高分辨率显微镜观察手术过程，数字化成像可以帮助医生更好地观察手术区域并作出更准确的判断。在数字化成像过程中精准的术野颜色呈现对于手术质量至关重要，显微手术过程中光源的变化、手术器械材料和颜色以及患者的皮肤状态都可能会影响如果数字化显微图像中颜色不准确或者失真，可能会导致误判或者误解术野情况，对患者的手术结果产生负面影响，需要进行颜色校正处理。
[0003]现有技术中，医生术中通过使用相机的自动白平衡功能来实现术野颜色的校正，现有自动白平衡算法包括灰度世界法、完美反射法以及动态阈值调整法，但仍存在处理不稳定的问题，难以适应复杂的术野变化和干扰；另术中的仅使用白平衡调整不能完全消除所有因素(相机设置、照明等)导致的色彩偏差，还需要进行额外的色彩校正。

技术实现思路

[0004]专利技术目的：为了克服现有技术显微术野数字化成像过程中的颜色校正处理往往仅依赖于相机内置的自动白平衡算法，该方法一方面难以适应复杂的术野场景变化和干扰，另一方面未考虑引起颜色偏差的其他因素(相机设置、照明等)，难以满足复杂术野场景下高稳定性的自动颜色校正需求，本专利技术提供一种准确性高、稳定性强的基于深度学习的自动颜色校正方法和系统。
[0005]技术方案：为实现上述目的，本专利技术采用的技术方案为：
[0006]一种基于深度学习的自动颜色校正方法，包括以下步骤：
[0007]步骤1，获取图像传感器传回的显微术野RAW图像。
[0008]步骤2，将显微术野RAW图像依次经过黑电平补偿、自动白平衡、色彩校正和Gamma变换处理，得到显微术野sRGB图像。
[0009]步骤3，根据设定的间隔n，每隔n帧调用颜色校正模型对sRGB图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(R
gain
,G
gain
,B
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])。
[0010]步骤4，根据白平衡增益校正参数(R
gain
,R
gain
,B
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新白平衡增益和色彩校正矩阵，根据校正更新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野sRGB图像。
[0011]优选的：步骤3中颜色校正模型的建立方法：
[0012]步骤31，颜色校正数据集构建：颜色校正数据集的构建包括颜色校正数据采集和数据增强。
[0013]步骤32，颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用类UNet架构。
[0014]网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数()。另一个是编码器输出头用来预测无色差sRGB图像I
pred
。
[0015]第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数L1，第二损失函数是预测无色差sRGB图像与标准无色差sRGB图像的损失函数L2，损失函数L2是额外用标准无色差sRGB图像来约束编码器的颜色特征编码，
[0016]通过对单个任务损失函数加权实现，最终的损失函数L＝L1+λL2，其中L1和L2均采用L2范数损失函数，λ表示损失权重系数。
[0017]步骤33，通过颜色校正数据集对颜色校正模型进行训练，直至损失函数收敛，得到训练好的颜色校正模型。
[0018]优选的：步骤31中颜色校正数据采集的方法：采集不同场景下的标准无色差sRGB图像，以及不同色温、相机设置和照明情况下的偏色sRGB图像，利用标准色卡来计算出每张偏色sRGB图像校正至标准无色差sRGB图像的白平衡增益和色彩校正矩阵()作为后续监督训练的标签。
[0019]色彩校正矩阵进行白平衡约束，约束后的CCM矩阵满足条件：
[0020][0021]色彩校正矩阵标签实际上为()；
[0022]另偏色sRGB图像对应的标准无色差sRGB图像也作为后续训练网络中解码器训练的监督标签。
[0023]优选的：步骤31中数据增强的方法：通过将标准无色差sRGB图像转换成RAW图像，渲染RAW图像，以此来扩大偏色sRGB图像的规模。另通过对采集图像进行随机进行m次大小为crop
h
×
crop
w
块裁切，并应用几何增强进行额外的数据增强。
[0024]优选的：步骤32中颜色校正网络包括编码器和解码器，在编码器和解码器之间具有多尺度跳跃连接，编码器和解码器使用卷积神经网络CNN和transformer模块组合实现，其中编码器负责输入图像的降采样，解码器负责将编码器的输出进行上采样，还原成与输入图像分辨率大小一致的输出。
[0025]一种基于深度学习的自动颜色校正系统，采用上述基于深度学习的自动颜色校正方法，包括采集单元、黑电平补偿单元、自动白平衡单元、色彩校正单元、Gamma变换单元、颜色校正模单元、输出单元，其中：
[0026]所述采集单元用于获取图像传感器传回的显微术野RAW图像。
[0027]所述黑电平补偿单元用于对显微术野RAW图像进行黑电平补偿。
[0028]所述自动白平衡单元用于对黑电平补偿后的显微术野RAW图像进行自动白平衡，得到自动白平衡显微术野RAW图像。用于根据白平衡增益校正参数(R
gain
,G
gain
,B
gain
)更新白平衡增益，根据校正更新后的白平衡增益对黑电平补偿后的显微术野RAW图像进行自动白平衡，得到校正更新后的自动白平衡显微术野RAW图像。
[0029]所述色彩校正单元用于对自动白平衡显微术野RAW图像进行色彩校正，得到色彩校正的显微术野RAW图像。用于根据校正更新后的色彩校正矩阵对校正更新后的自动白平衡显微术野RAW图像进行色彩校正，得到校正更新后的色彩校正的显微术野RAW图像。
[0030]所述Gamma变换单元用于对色彩校正后的显微术野RAW图像进行Gamma变换得到显微术野sRGB图像。用于根据色彩校正矩阵校正参数([c
11
,c...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的自动颜色校正方法，其特征在于，包括以下步骤：步骤1，获取图像传感器传回的显微术野RAW图像；步骤2，将显微术野RAW图像依次经过黑电平补偿、自动白平衡、色彩校正和Gamma变换处理，得到显微术野sRGB图像；步骤3，根据设定的间隔n，每隔n帧调用颜色校正模型对sRGB图像进行处理，输出一组颜色校正参数，颜色校正参数包括白平衡增益校正参数(R
gain
,G
gain
,B
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])；步骤4，根据白平衡增益校正参数(R
gain
,G
gain
,B
gain
)和色彩校正矩阵校正参数([c
11
,c
12
,c
13
],[c
21
,c
22
,c
23
],[c
31
,c
32
,c
33
])更新白平衡增益和色彩校正矩阵，根据校正更新后的白平衡增益和色彩校正矩阵完成自动白平衡和色彩校正，输出校正后的显微术野sRGB图像。2.根据权利要求1所述基于深度学习的自动颜色校正方法，其特征在于：步骤3中颜色校正模型的建立方法：步骤31，颜色校正数据集构建：颜色校正数据集的构建包括颜色校正数据采集和数据增强；步骤32，颜色校正模型包括颜色校正网络、网络输出、第一损失函数和第二损失函数，颜色校正网络使用类UNet架构；网络输出有两个输出头：一个是编码器输出头用来预测颜色校正参数另一个是编码器输出头用来预测无色差sRGB图像I
pred
；第一损失函数预测颜色校正参数与颜色校正参数标签的损失函数L1，第二损失函数是预测无色差sRGB图像与标准无色差sRGB图像的损失函数L2，损失函数L2是额外用标准无色差sRGB图像来约束编码器的颜色特征编码；通过对单个任务损失函数加权实现，最终的损失函数L＝L1+λL2，其中L1和L2均采用L2范数损失函数，λ表示损失权重系数；步骤33，通过颜色校正数据集对颜色校正模型进行训练，直至损失函数收敛，得到训练好的颜色校正模型。3.根据权利要求2所述基于深度学习的自动颜色校正方法，其特征在于：步骤31中颜色校正数据采集的方法：采集不同场景下的标准无色差sRGB图像，以及不同色温、相机设置和照明情况下的偏色sRGB图像，利用标准色卡来计算出每张偏色sRGB图像校正至标准无色差sRGB图像的白平衡增益和色彩校正矩阵作为后续监督训练的标签；色彩校正矩阵进行白平衡约束，约束后的CCM矩阵满足条件：色彩校正矩阵标签实际上为另偏色sRGB图像对应的标准无色差sRGB图像也作为后续训练网络中解码器训练的监督标签。
4.根据权利要求3所述基于深度学习的自动颜色校正方法，其特征在于：步骤31中数据增强的方法：通过将标准无色差sRGB图像转换成RAW图像，渲染RAW图像，以此来扩大偏色sRGB图像的规模；另通过对采集图像进行随机进行m次大小为crop
h
×
crop
w
...

【专利技术属性】
技术研发人员：张新，
申请(专利权)人：嘉兴智瞳科技有限公司，
类型：发明
国别省市：