一种基于神经网络自温故及知识传导机制的智能视频图像检索方法技术

一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，在保证模型实时性的同时，提高小模型检索精度，在精度和效率之间尽可能达到平衡；设置伽马校正模块，通过对图像的局部调整，实现对光照不均匀鲁棒性，提高细节可辨度，避免高频噪声，普适性强；建立自温故机制，允许神经网络的局部自我监督，不断反思、调整学习参数，充分学习到图像深层语义信息，实现神经网络快速收敛，提高检索精度；采用知识传导机制，提升模型精度、降低模型时延，压缩网络参数，最终得到一个性能强和精度高的学生模型；通过传导机制将浅特征知识作为学习目标，采用VAE变分自编码模型重构深度特征，以此生成学习结果，将学习结果与目标进行度量，完成学习任务。成学习任务。成学习任务。

【技术实现步骤摘要】
一种基于神经网络自温故及知识传导机制的智能视频图像检索方法


[0001]本专利技术属于图像检索领域，具体涉及一种基于神经网络自温故及知识传导机制的智能视频图像检索方法。

技术介绍

[0002]图像检索是对图像进行定量分析，从而实现对图像的正确判断。一些学者将其引入到选矿以及井下图像检索领域。然而，随着数据量激增，基于支持向量机以及线性分类的算法受限于数据表征能力，因此检索效果并不理想。有相关研究将支持向量机与神经网络进行结合，通过代替softmax层实现图像预测。然而支持向量机需要在高维数据中找到合适的空间参数产生有效的间隔分类层，因此增加了神经网络学习负担，难以嵌入到神经网络进行端对端的训练。在采矿业领域，选矿、图像检索的科技化程度还不够，目前主要还是依靠人工巡检的方式进行甄别。原因在于目前基于深度学习的井下部署困难，运行时间成本大，实时性有待提高。
[0003]随着GPU的普及，为了减少参数数量，研究人员提出VGG Net深度神经网络，在保证网络性能的稳定性的同时提升了网络性能，然而随着对常规的网络进行直接堆叠，模型的性能有所下降。进而有学者提出的深度残差网络ResNet，利用对特征的恒等映射的学习实现模型性能的保持。随着智能化煤矿的提出，研究人员开始将深度神经网络算法迁移到井下工作面异常检索方面。利用神经网络对矿资源进行特征提取、特征训练实现对矿岩的分析和检索识别；针对人工检索矿石块度的问题，采用残差神经网络结构组成的主干特征提取网络实现对矿石块度的自动检索；针对煤矿皮带运输异物检索，采用直方图均匀化处理光照不均匀，Faster R
‑
CNN作为主干提取算法对图像进行特征提取进而实现精准地图像检索。
[0004]但是目前提出的检索方法仍存在如下的问题：
[0005]1、井下环境复杂，即便是性能较好的井上算法难以应对井下极端环境。因此，一些基于深度神经网络的检索算法或者传统算法在井下部署相对困难。
[0006]2、基于神经网络的深度学习取得了巨大的成功，但受限于庞大参数量的问题，实时性问题有待提高，井下皮带异物检索实时性要求高，上述基于Faster R
‑
CNN虽满足井下异物检索精度要求，然而实时性有待提高。
[0007]3、针对井下不均匀光照条件，目前算法常采用直方图均匀化的图像增强方法，通过调整亮度分布实现光照均匀化，直方图使灰度级分布具有均匀概率密度，扩展了像素取值的动态范围但减少了灰度级。直方图明暗分布依赖先验知识，普适性不强，且损害局部明亮区域以及图像可辨细节部分。
[0008]4、目前的算法没有找到在精度以及计算复杂度之间的平衡点，所谓的精度就是指在特殊条件下的检索鲁棒性。

技术实现思路

[0009]针对上述
技术介绍
中存在的问题，本专利技术提出一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，针对井下光照不均匀复杂环境，本专利技术提出深度gamma correction(伽马校正)模块，通过学习图像局部明暗分布知识，可提高细节可辨度，实现对光照不均匀鲁棒性；针对井下深度学习算法普遍存在的实时性较差的问题，采用轻量级网络，在保证低时间成本情况下，可实现异物图像的高效检索；提出自温故及知识传导机制，通过大模型教授知识提高轻量级网络鲁棒性。
[0010]一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，其特征在于：
[0011]所述方法基于图像矫正模块、特征提取模块、传导模块和自温故模块实现；
[0012]图像校正模块基于伽马校正网络对图像的光照条件进行重建，采用多层神经网络对校正参数进行拟合，利用区块的方式对图像进行评估和重建，
[0013]特征提取模块分为两个部分，包括教师模型以及学生模型，教师模型为学生模型提供深度特征知识，学生模型采用轻量级模型以在终端设备上的运行，两个模型相配合，完成校正后图像的特征提取；
[0014]传导模块中，首先预训练一个教师模型，然后在对学生模型进行训练的时候，利用所获取的教师模型进行监督训练来实现知识传导；其中，让学生模型自我学习图像的内在特征表达，并利用教师模型浅层特征信息监督学生模型的较深层特征信息，逐步提升学生模型的泛化能力；
[0015]自温故模块设置在学生模型中，将学生模型以往的学习经验作为旧知识，在回顾旧知识的同时，将来自下一阶段的新知识与旧知识进行深度融合，达到自我监督以及自我回顾；其中，在先前阶段，学生模型根据以往的学习经验，学习得到一组特征，将第一阶段学习到的特征作为旧知识与当前阶段的输出特征融合，从而实现学生模型的自温故机制；
[0016]本方法中，通过老师模块训练学生模块，并通过教师模块和学生模块提取图像特征，并将特征聚类；进入检索阶段，将待查询图像以及图像数据库送入学生模块，通过度量，然后再排序完成图像检索的功能。
[0017]进一步地，所述校正模块中，将伽马校正定义为：
[0018]C＝r*I
1/η
ꢀꢀ
(1)
[0019]式中，C是矫正后的图像；r是矫正常数，设置为(0,1)之间；I是原图像；1/η是gamma值，通过改变该值来实现矫正；
[0020]伽马校正的流程如下：
[0021]步骤a，将待重建图像进行区块分割，由于不均匀光照的存在，进行区块分割以保留正常区域，并将其作为光照条件重建目标；
[0022]步骤b，经过全连接神经网络分别对区块进行特征提取，其中待重建区块作为驱动数据、其他区块作为重建目标；
[0023]步骤c，将部分区域神经元权重冻结，仅参与计算，不参与梯度传播，其余区域则为参数1/η的线性组合；
[0024]步骤d，通过Loss函数完成重建的预测情况，反向传播更新参数1
η
的线性组合，其中：
[0025][0026]梯度更新方式为：
[0027][0028]其中，X
i
为驱动数据队列，为避免网络过度自信，设置惩罚项γ作为正则项；L代表Gamma Loss；λ是学习率，设置为0.00001。
[0029]进一步地，所述传导模块中，包括基于VAE变分自编码的知识重构模型，通过模仿教师模型各阶段输出特征，达到教师模型的性能，通过VAE变分自编码以概率的方式描述对潜在空间的观察，根据数据求得高斯分布，将教师模型的高斯分布视为真实分布，通过对教师模型数据特征的不断逼近，进而达到提升学生模型的泛化能力。
[0030]进一步地，所述基于VAE变分自编码的知识重构模型中，定义网络输入为X
i
，i∈[1,M]；相应地，网络输入的信息熵和为：(式中的p
θ
代表什么)
[0031][0032]式中，p
θ
(X
(i)
)是X
(i)
的概率分布；
[0033]KL散度衡量的是两种概率分布p和q之间差异的方式，又叫相对熵，定义为：
[0034][0035本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，其特征在于：所述方法基于图像矫正模块、特征提取模块、传导模块和自温故模块实现；图像校正模块基于伽马校正网络对图像的光照条件进行重建，采用多层神经网络对校正参数进行拟合，利用区块的方式对图像进行评估和重建，特征提取模块分为两个部分，包括教师模型以及学生模型，教师模型为学生模型提供深度特征知识，学生模型采用轻量级模型以在终端设备上的运行，两个模型相配合，完成校正后图像的特征提取；传导模块中，首先预训练一个教师模型，然后在对学生模型进行训练的时候，利用所获取的教师模型进行监督训练来实现知识传导；其中，让学生模型自我学习图像的内在特征表达，并利用教师模型浅层特征信息监督学生模型的较深层特征信息，逐步提升学生模型的泛化能力；自温故模块设置在学生模型中，将学生模型以往的学习经验作为旧知识，在回顾旧知识的同时，将来自下一阶段的新知识与旧知识进行深度融合，达到自我监督以及自我回顾；其中，在先前阶段，学生模型根据以往的学习经验，学习得到一组特征，将第一阶段学习到的特征作为旧知识与当前阶段的输出特征融合，从而实现学生模型的自温故机制；本方法中，通过老师模块训练学生模块，并通过教师模块和学生模块提取图像特征，并将特征聚类；进入检索阶段，将待查询图像以及图像数据库送入学生模块，通过度量，然后再排序完成图像检索的功能。2.根据权利要求1所述的一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，其特征在于：所述校正模块中，将伽马校正定义为：C＝r*I
1/η
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)式中，C是矫正后的图像；r是矫正常数，设置为(0,1)之间；I是原图像；1/η是gamma值，通过改变该值来实现矫正；伽马校正的流程如下：步骤a，将待重建图像进行区块分割，由于不均匀光照的存在，进行区块分割以保留正常区域，并将其作为光照条件重建目标；步骤b，经过全连接神经网络分别对区块进行特征提取，其中待重建区块作为驱动数据、其他区块作为重建目标；步骤c，将部分区域神经元权重冻结，仅参与计算，不参与梯度传播，其余区域则为参数1/η的线性组合；步骤d，通过Loss函数完成重建的预测情况，反向传播更新参数1/η的线性组合，其中：梯度更新方式为：其中，X
i
为驱动数据队列，为避免网络过度自信，设置惩罚项γ作为正则项；L代表Gamma Loss；λ是学习率，设置为0.00001。
3.根据权利要求1所述的一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，其特征在于：所述传导模块中，包括基于VAE变分自编码的知识重构模型，通过模仿教师模型各阶段输出特征，达到教师模型的性能，通过VAE变分自编码以概率的方式描述对潜在空间的观察，根据数据求得高斯分布，将教师模型的高斯分布视为真实分布，通过对教师模型数据特征的不断逼近，进而达到提升学生模型的泛化能力。4.根据权利要求1所述的一种基于神经网络自温故及知识传导机制的智能视频图像检索方法，其特征在于：所述基于VAE变分自编码的知识重构模型中，定义网络输入为X
i
，i∈[1,M]；相应地，网络输入的信息熵和为：式中，p
θ
(X
(i)
)是X
(i)
的概率分布；KL散度衡量的是两种概率分布p和q之间差异的方式，又叫相对熵，定义为：将KL散度重写为数学期望：D
KL
(p||q)＝E[[logp(X
(i)
)
‑
logq(X
(i)
)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(6)VAE模型让生成数据逼近真实数据，在计算过程中，不用显式的计算数据特征的具体参数，通过生成模型的分布概率去逼近后验概率，即真实数据的概率分布；采用KL散度衡量相似程度：式中，X
s(i)
是学生数据，X
t(i)
是教师数据，q
φ
(Z
S
|X
s(i)
)是学生模型分布，p
θ
(Z
T
|X
t(i)
)是老师模型后验分布，E是期望，Z
T
,Z
...

【专利技术属性】
技术研发人员：程德强，张皓翔，吕晨，寇旗旗，赵凯，王晓艺，刘敬敬，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：