基于多保真度贝叶斯优化的图像识别方法技术

一种基于多保真度贝叶斯优化的图像识别方法，在进行数据拟合之前，先进行病态条件数检测，从而提升算法推断效力，增加算法计算过程的鲁棒性，并且提升最终模型效果。结合神经网络中间信息，即误差值和黑塞矩阵主特征值作为保真度，从而提升多保真度的有效性，增强模型拟合效果，减少贝叶斯优化算法的时耗，并最终提升模型预测的泛化性。本发明专利技术通过贝叶斯优化耗时问题，从而实现时耗可接受的迁移学习能力，同时通过训练自动化，从而保障数据隐私，节省人力成本。省人力成本。省人力成本。

【技术实现步骤摘要】
基于多保真度贝叶斯优化的图像识别方法


[0001]本专利技术涉及的是一种图像处理领域的技术，具体是一种基于多保真度贝叶斯优化的图像识别方法。

技术介绍

[0002]目前利用卷积神经网络识别图像的技术问题包括：一、最佳超参数根据数据的变化往往有所不同，难以事先指定，限制模型达到最好的效果；二、图像业务中，数据经常更新，要求相应识别模型重新训练，而从头训练往往耗时较久，不能满足业务需要。三、图像数据往往较为私密，限制专家介入模型调试的频率，迫切需要自动化的方法。
[0003]在模型训练过程中，超参数起到主要引导作用。目前的自动化方法以贝叶斯方法为主流，但贝叶斯方法存在等待模型完整训练的时耗问题，从而不能满足实际需要。多保真度技术改善贝叶斯方法的时耗性，加速搜索流程，但传统多保真度变量不能满足实际需要。本专利技术结合多保真度技术和神经网络中间输出，提出一种新的超参数优化方法，解决以上问题。

技术实现思路

[0004]本专利技术针对现有技术存在的上述不足，提出一种基于多保真度贝叶斯优化的图像识别方法，通过贝叶斯优化耗时问题，从而实现时耗可接受的迁移学习能力，同时通过训练自动化，从而保障数据隐私，节省人力成本。
[0005]本专利技术是通过以下技术方案实现的：
[0006]本专利技术涉及一种基于多保真度贝叶斯优化的图像识别方法，包括：
[0007]步骤1)根据超参数搜索范围，从超参数搜索域中随机采样，每次并行训练M个神经网络，每个网络训练一个步长(周期)，分别得到一个观测结果(预测误差)，然后通过训练后的神经网络计算当前黑塞矩阵主特征值，得到初始观测集合。
[0008]所述的神经网络，采用ResNet
‑
50图像分类网络以及EAST文本识别网络，其分别记载于He K,ZhangX,Ren S,etal.Deep Residual Learningfor Image Recognition[C].in:2016IEEE Conference on ComputerVision and Pattern Recognition(CVPR).2016:770
‑
778.以及Zhou X,Yao C,Wen H,et al.EAST:An Efficientand Accurate Scene Text Detector[C].in:2017IEEE Conference on ComputerVision and Pattern Recognition(CVPR):vol.2017.2017:2642
‑
2651.
[0009]所述的黑塞矩阵主特征值，通过以下方式计算得到：
[0010]i)对神经网络进行两次反向传播求导，得到网络的黑塞矩阵；
[0011]ii)随机初始化与黑塞矩阵等秩的向量；
[0012]iii)将向量与黑塞矩阵进行矩阵乘法，得到新的向量；
[0013]iv)判断乘法前后的向量之间的差值是否小于阈值；
[0014]v)重复步骤iii)
‑
步骤iv)，直到完成预设次数或者差值小于预设阈值，得到最终
主特征向量；
[0015]vi)根据黑塞矩阵和主特征向量计算主特征值。
[0016]步骤2)对观测集合进行检验，判断是否存在病态条件数问题；当条件数超过阈值，则对观测集进行筛选，降低协方差矩阵条件数。
[0017]所述的病态条件数问题是指：对于基于高斯过程的贝叶斯优化算法，观测点之间的距离太过密集或分布不均，则高斯过程的协方差矩阵会迅速退化为非正定矩阵，从而导致平方根分解法失败。
[0018]所述的降低协方差矩阵条件数是指：设定阈值为条件数的对数小于等于20；当对数大于20时，对所有观测点进行聚类，并删除部分过于接近的点，同时对剩余进行扰动，从而有效将条件数的对数从20
‑
25降低到15
‑
18。
[0019]步骤3)在每一个推断周期中，使用基于超参数和神经网络状态两个变量组成的乘积核的高斯过程拟合观测集合，得到变量后验分布，然后使用基于期望的采集函数推断下一个查询点。
[0020]所述的乘积核为：κ((x,s),(x',s'))＝κ1(x,x')κ2(s,s')，其中：两个高斯核均为马顿核，即马顿核，即θ0和λ为预设超参数，d
λ
(x,x')＝(x
‑
x')
T
diag(λ)(x
‑
x')表示马氏距离。
[0021]所述的拟合观测是指：根据观测数据集和已选定的马顿核，计算得到一个协方差矩阵，在后续计算中可以由该协方差矩阵计算得到查询点的后验分布，从而进行贝叶斯推断。
[0022]优选地，本方法基于最优超参数在训练过程中总是连续变化的假设，将推断过程中采集函数的查询范围限定在当前最优超参数的以最优点为中心，搜索区域长度的20％的范围内。
[0023]步骤4)在每一个查询周期中，使用步骤1并行训练的M个神经网络进行训练，得到预测误差和当前的黑塞矩阵主特征值。
[0024]所述的训练是指：在保持实验条件相同的情况下，根据由贝叶斯算法推断的超参数，包括学习率、训练批次、权重衰减对神经网络进行训练。
[0025]步骤5)将最新的观测点加入观测集合，并重复步骤2到步骤4，直至M个神经网络得到充分训练后，对搜索到的超参数组进行图像识别。技术效果
[0026]本专利技术整体解决现有技术中保真度不够有效，对于神经网络训练过程建模效果较差，从而影响推断性能，最终降低图像识别的准确率的问题。
[0027]与现有技术相比，本专利技术在进行数据拟合之前，先进行病态条件数检测，从而提升算法推断效力，增加算法计算过程的鲁棒性，并且提升最终模型效果。结合神经网络中间信息，即误差值和黑塞矩阵主特征值作为保真度，从而提升多保真度的有效性，增强模型拟合效果，减少贝叶斯优化算法的时耗，并最终提升模型预测的泛化性。
附图说明
[0028]图1为本专利技术流程图。
具体实施方式
[0029]如图1所示，为本实施例涉及一种基于多保真度贝叶斯优化的图像识别方法，包括以下步骤：
[0030]步骤1)根据超参数搜索范围，从超参数搜索域中随机采样，分别使用神经网络进行一个步长的训练，得到预测误差，然后计算此时的黑塞矩阵主特征值，从而得到初始观测集合，具体操作步骤包括：
[0031]1.1初始化神经网络，在训练集上得到训练误差l0，在验证集上计算得到黑塞矩阵主特征值λ0，但不进行反向传播。
[0032]1.2根据搜索域随机采样得到M*N组初始观测超参组。M代表并行训练的模型数，N代表训练周期，M、N由专家事先指定，通常需要M*N>＝(超参数维度+保真度维度)*3。
[0033]1.3在每个训练周期，对神经网络分别并行训练M次，每次只采取一组超参数x
mn
。从本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多保真度贝叶斯优化的图像识别方法，其特征在于，包括：步骤1)根据超参数搜索范围，从超参数搜索域中随机采样，每次并行训练M个神经网络，每个网络训练一个步长，分别得到一个预测误差，然后通过训练后的神经网络计算当前黑塞矩阵主特征值，得到初始观测集合；步骤2)对观测集合进行检验，判断是否存在病态条件数问题；当条件数超过阈值，则对观测集进行筛选，降低协方差矩阵条件数；步骤3)在每一个推断周期中，使用基于超参数和神经网络状态两个变量组成的乘积核的高斯过程拟合观测集合，得到变量后验分布，然后使用基于期望的采集函数推断下一个查询点；步骤4)在每一个查询周期中，使用步骤1并行训练的M个神经网络进行训练，得到预测误差和当前的黑塞矩阵主特征值；步骤5)将最新的观测点加入观测集合，并重复步骤2到步骤4，直至M个神经网络得到充分训练后，对搜索到的超参数组进行图像识别。2.根据权利要求1所述的基于多保真度贝叶斯优化的图像识别方法，其特征是，所述的神经网络，采用ResNet
‑
50图像分类网络以及EAST文本识别网络。3.根据权利要求1所述的基于多保真度贝叶斯优化的图像识别方法，其特征是，所述的黑塞矩阵主特征值，通过以下方式计算得到：
①
对神经网络进行两次反向传播求导，得到网络的黑塞矩阵；
②
随机初始化与黑塞矩阵等秩的向量；
③
将向量与黑塞矩阵进行矩阵乘法，得到新的向量；
④
判断乘法前后的向量之间的差值是否小于阈值；
⑤
重复步骤
③‑
步骤
④
，直到完成预设次数或者差值小于预设阈值，得到最终主特征向量；
⑥
根据黑塞矩阵和主特征向量计算主特征值。4.根据权利要求1所述的基于多保真度贝叶斯优化的图像识别方法，其特征是，所述的降低协方差矩阵条件数是指：设定阈值为条件数的对数小于等于20；当对数大于20时，对所有观测点进行聚类，并删除部分过于接近的点，同时对剩余进行扰动，从而有效将条件数的对数从20
‑
25降低到15
‑
18。5.根据权利要求1所述的基于多保真度贝叶斯优化的图像识别方法，其特征是，所述的乘积核为：κ((x，s)，(x
′
，s
′
))＝κ1(x，x
′
)κ2(s，s
′
)，其中：两个高斯核均为马顿核，即)，其中：两个高斯核均为马顿核，即θ0和λ为预设超参数，d
λ
(x，x
′
)＝(x
‑
x
′
)
T
diag(λ)(x
‑
x
′
)表示马氏距离。6.根据权利要求1所述的基于多保真度贝叶斯优化的图像识别方法，其特征是，所述的拟合观测是指：根据观测数据集和已选定的马顿核，计算得到一个协方差矩阵，在后续计算中可以由该协方差矩阵计算得到查询点的后验分布，从而进行贝叶斯推断。7.根据权利要求1所述的基于多保真度贝叶斯优化的图像识别方法，其特征是，所述的训练是指：在保持实验条件相同的情况下，根据由贝叶斯算...

【专利技术属性】
技术研发人员：廖昊然，严骏驰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：