基于置信度投票卷积神经网络的相机光谱灵敏度重建方法技术

本发明专利技术公开了基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，包括以下步骤：步骤1：建立置信度投票卷积神经网络模型；步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度；本发明专利技术方法具有简单、快速、低成本的优点，提高了标定效率，能够满足各类场景的实时测量需求。

【技术实现步骤摘要】
基于置信度投票卷积神经网络的相机光谱灵敏度重建方法
本专利技术涉及计算机视觉及人工智能领域，具体涉及一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法。
技术介绍
近年来，随着人工智能技术的不断发展，计算成像、计算光谱等技术也得到了广泛的应用。相机是机器的“眼睛”，在计算机视觉领域扮演着至关重要的角色，而光谱灵敏度则是数码相机的关键参数，也是联系光源域、目标域和成像域的桥梁。因此，建立一套简单、准确且快速的相机光谱灵敏度标定方法有着重要意义。现有技术中，传统的标定方法主要包括窄带单色光谱仪扫描法和标准CCD定标法，虽然操作简单、易掌握，但此类方法耗时长、成本高，不能满足实时测量需求。同时，其测量精度受到实验设备和实验环境的严格限制，降低了方法的实用性和有效性。
技术实现思路
本专利技术针对现有技术存在的问题提供一种低成本、高效的基于置信度投票卷积神经网络的相机光谱灵敏度重建方法。本专利技术采用的技术方案是：一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，包括以下步骤：步骤1：建立置信度投票卷积神经网络模型；步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度。进一步的，所述步骤1中神经网络模型依次包括gamma层、n个卷积池化层、卷积层、置信度投票层；gamma层用于增强模型非线性，优化梯度下降过程；卷积池化操作用于提取光源信息及物体反射率信息；置信度投票层用于评估提取高维特征信息可靠性。进一步的，所述卷积池化层包括卷积层和池化层，n＝5。进一步的，所述步骤4中的损失函数如下：式中：Loverall为损失函数，LMSE为重建结果与真值的均方误差，L2为正则化损失，N为波长采样点数，x为波长采样点，为重建结果，sx为光谱灵敏度真值，ωi为网络隐层权重参量，i为隐层参数个数。进一步地，所述步骤3中的灵敏度函数如下：S＝FW＝(R)-1(LT)-1V式中：S为光谱灵敏度，F为基函数，W为基函数对应权重，R、L分别为训练过程中从神经网络中提取到的光源信息、反射率信息，V为输入图像。进一步地，所述步骤2中的数据集中的数据V如下所示：V＝LTRS式中：L、R、S分别步骤2获取的光源数据、物体反射率数据、光谱灵敏度数据。进一步地，所述基函数为傅里叶基函数、径向基函数、奇异值分解基函数中的一种。一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法的重建装置，包括：数据获取模块：用于获取光源数据、物体反射率数据和光谱灵敏度数据，基于相机响应模型及采集到的数据生成图片作为网络输入；基于置信度投票卷积神经网络：用于对光谱灵敏度信息快速感知，通过评估由不同图像区域提供信息的可靠性，计算不同置信度，经置信度投票模块输出基函数对应权重，与基函数结合生成重建结果。一种控制设备，包括：至少一个存储器，用于存储程序指令；至少一个处理器，用于调用所述存储器中存储的程序指令，按照获得的程序指令执行权利要求1～7任一项所述方法的步骤。一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现权利要求1～7任一项所述方法的步骤。本专利技术的有益效果是：(1)本专利技术建立了基于置信度投票的卷积神经网络，通过连续卷积操作提取图像特征信息，构建成像过程中光源域、目标域、成像域多模态信息融合学习机制；通过评估不同图像区域特征信息可靠性计算相应置信度，经置信度投票融合后输出光谱灵敏度函数；实现由单次曝光图片重建光谱灵敏度；(2)本专利技术仅使用待标定相机拍摄的单帧图像即可建立由图像域到光谱域的映射关系；(3)本专利技术方法具有简单、快速、精度高、低成本的优点，提高了标定效率，能够满足各类场景的实时测量需求。附图说明图1为本专利技术光谱灵敏度快速重建流程示意图。图2为本专利技术置信度卷积神经网络结构示意图。图3为实施例中采用傅里叶基函数得到的重建结果，a、b、c、d为不同相机得到的结果。图4为实施例中采用奇异值分解基函数得到的重建结果，a、b、c、d为不同相机得到的结果。图5为实施例中采用径向基函数得到的重建结果，a、b、c、d为不同相机得到的结果。图6为实施例中NikonD3X相机分别采用傅里叶基函数、奇异值分解基函数、径向基函数，光谱灵敏度函数重建结果。具体实施方式下面结合附图和具体实施例对本专利技术做进一步说明。利用神经网络实现单次曝光照片重建相机光谱灵敏度的实施流程图，如图1所示。一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，包括以下步骤：步骤1：建立置信度投票卷积神经网络模型；神经网络模型依次包括gamma层、n个卷积池化层、卷积层、置信度投票层；gamma层用于增强模型非线性，优化梯度下降过程；卷积池化操作用于提取光源信息及物体反射率信息；置信度投票层用于评估提取高维特征信息可靠性。卷积池化层包括卷积层和池化层，n＝5。由网络自动提取光源能量分布、物体反射率分布信息，设计连续卷积、池化操作完善光源域、目标域、成像域多模态信息融合学习机制，实现单次曝光图片重建灵敏度函数。该神经网络以单次曝光图片作为输入，输出基函数对应权重，输出基函数所需权重，获取重建结果。步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；(数据集包括训练集、测试集和验证集)用以上三种数据生成对应mat文件，基于相机响应模型生成大小为512×512像素的图片作为网络输入，用于训练神经网络。基于成像模型生成网络训练数据，收集标准光源数据(L)，使用实验室灯箱及高光谱相机完成物体反射率数据采集(R)，同时收集不同相机的光谱灵敏度数据(S)，生成训练数据V的理论公式如下：V＝LTRS步骤3：选择一类基函数，将数据集(数据集包括训练集、测试集和验证集，该步骤中采用训练集中的数据进行训练)数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；本实施例中选择三种基函数用于拟合目标函数(即相机灵敏度函数)，包括傅里叶基函数FBF、径向基函数RBF和奇异值分解基函数SVDBF，对应的数学表述如下：傅里叶基函数FFBF：径向基函数FRBF：其中：fj为频率，δj和cj均为常数，分别决定径向基函数的半高宽和中心位置，λ为采样波长列向量。奇异值分解基函数为光谱灵敏度数据库S经SVD算法分解所得矩阵U的列本文档来自技高网...

【技术保护点】
1.一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，包括以下步骤：/n步骤1：建立置信度投票卷积神经网络模型；/n步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；/n步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；/n步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；/n步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度。/n

【技术特征摘要】
1.一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，包括以下步骤：
步骤1：建立置信度投票卷积神经网络模型；
步骤2：获取光源数据、物体反射率数据和光谱灵敏度数据，构建数据集；
步骤3：选择一类基函数，将数据集数据输入步骤1构建的神经网络模型中，输出基函数对应权重；该类基函数加权求和得到相机灵敏度函数；
步骤4：基于反向传播梯度下降算法最小化损失函数，得到预训练神经网络模型；
步骤5：将待标定相机得到的单帧图像输入步骤4得到的预训练神经网络模型，即可重建其光谱灵敏度。


2.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述步骤1中神经网络模型依次包括gamma层、n个卷积池化层、卷积层、置信度投票层；gamma层用于增强模型非线性，优化梯度下降过程；卷积池化操作用于提取光源信息及物体反射率信息；置信度投票层用于评估提取高维特征信息可靠性。


3.根据权利要求2所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述卷积池化层包括卷积层和池化层，n＝5。


4.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其特征在于，所述步骤4中的损失函数如下：



式中：Loverall为损失函数，LMSE为重建结果与真值的均方误差，L2为正则化损失，N为波长采样点数，x为波长采样点，为重建结果，sx为光谱灵敏度真值，ωi为网络隐层权重参量，i为隐层参数个数。


5.根据权利要求1所述的一种基于置信度投票卷积神经网络的相机光谱灵敏度重建方法，其...

【专利技术属性】
技术研发人员：申俊飞，贺天悦，周铭伟，
申请(专利权)人：四川大学，
类型：发明
国别省市：四川;51