一种深度神经网络的训练样本挖掘方法及装置制造方法及图纸

本发明专利技术提供了一种深度神经网络的训练样本挖掘方法，包括：获取样本图像在经过深度神经网络的前向传播的误判概率值，在高斯方差最大时，计算第一采用概率值并作为权重，采用加权随机采样算法选取第一典型样本，对深度神经网络进行训练；获取样本图像在经过深度神经网络的前向传播的误判概率值，在高斯均值最大时，计算第二采用概率值并作为权重，选取第二典型样本，对深度神经网络进行训练；获取样本图像在经过深度神经网络的前向传播的误判概率值，在高斯均值最大、方差最小时，计算第三采用概率值并作为权重，选取第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。与现有技术相比，本发明专利技术能挖掘典型样本，提高网络训练效果。

【技术实现步骤摘要】
一种深度神经网络的训练样本挖掘方法及装置
本专利技术涉及深度学习
，特别涉及一种深度神经网络的训练样本挖掘方法及装置。
技术介绍
近年来，深度学习已经在图像分类、目标检测、目标跟踪等计算机视觉领域取得了巨大突破。由于深度神经网络训练时需要海量的数据，因此数据质量对最终模型效果产生非常大的影响。然而，现有的样本数据挖掘存在不足，不能获取有效的样本数据。综上所述，目前迫切需要提出一种深度神经网络的训练样本挖掘方法。
技术实现思路
有鉴于此，本专利技术的主要目的在于实现深度神经网络的有效样本挖掘。为达到上述目的，按照本专利技术的第一个方面，提供了一种深度神经网络的训练样本挖掘方法，该方法包括：第一步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯方差最大时，计算高斯变化均值和对应的第一采用概率值，以第一采用概率值作为权重，采用加权随机采样算法选取第一典型样本，对深度神经网络进行训练；第二步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大时，计算高斯变化方差和对应的第二采用概率值，以第二采用概率值作为权重，采用加权随机采样算法选取第二典型样本，对深度神经网络进行训练；第三步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，计算第三采用概率值，以第三采用概率值作为权重，采用加权随机采样算法选取第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。进一步地，所述第一步骤包括：误判概率值计算步骤，选取N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取步骤，根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列变化均值获取步骤，为样本生成呈高斯分布的采用概率值，在高斯方差最大时，计算高斯变化均值和对应的第一采用概率值，计算高斯变化均值其中j为第j次迭代，μmin为最小均值，μmax为最大均值，T1为均值变化最大迭代次数；第一采用概率值计算步骤，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si的第一采用概率值其中σmax为最大方差；第一典型样本选取步骤，以第一采用概率值作为权重，采用加权随机采样算法选取N2个第一典型样本；第一典型样本训练步骤，根据N2个第一典型样本，对深度神经网络进行训练。进一步地，所述第二步骤包括：误判概率值计算步骤，根据N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取步骤，根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列变化方差获取步骤，计算高斯变化方差其中k为第k次迭代，σmin和σmax分别为最小方差和最大方差，T2为方差变化最小迭代次数；第二采用概率值计算步骤，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si′的第二采用概率值第二典型样本选取步骤，以第二采用概率值作为权重，采用加权随机采样算法选取N3个第二典型样本；第二典型样本训练步骤，根据N3个第二典型样本，对深度神经网络进行训练。进一步地，所述第三步骤包括：误判概率值计算步骤，根据N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取步骤，根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列第三采用概率值计算步骤，为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si的第三采用概率值第三典型样本选取步骤，采用加权随机采样算法选取N4个第三典型样本；第三典型样本训练步骤，根据N4个第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。按照本专利技术的另一个方面，提供了一种深度神经网络的训练样本挖掘装置，该装置包括：均值变化样本挖掘和网络训练模块，用于获取样本图像在经过深度神经网络的前向传播的误判概率值，计算高斯变化均值和最大方差下的第一采用概率值，以第一采用概率值作为权重，采用加权随机采样算法选取第一典型样本，对深度神经网络进行训练；方差变化样本挖掘和网络训练模块，用于获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大时，计算高斯变化方差和对应的第二采用概率值，以第二采用概率值作为权重，采用加权随机采样算法选取第二典型样本，对深度神经网络进行训练；最大均值和最小方差样本挖掘和网络训练模块，用于获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，计算第三采用概率值，以第三采用概率值作为权重，采用加权随机采样算法选取第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。进一步地，所述均值变化样本挖掘和网络训练模块包括：误判概率值计算模块，用于选取N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取模块，用于根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列变化均值获取模块，用于为样本生成呈高斯分布的采用概率值，在高斯方差最大时，计算高斯变化均值和对应的第一采用概率值，计算高斯变化均值其中j为第j次迭代，μmin为最小均值，μmax为最大均值，T1为均值变化最大迭代次数；第一采用概率值计算模块，用于根据归一化高斯分布公式，计算样本序列中第i个样本图像Si的第一采用概率值其中σmax为最大方差；第一典型样本选取模块，用于以第一采用概率值作为权重，采用加权随机采样算法选取N2个第一典型样本；第一典型样本训练模块，用于根据N2个第一典型样本，对深度神经网络进行训练。进一步地，所述方差变化样本挖掘和网络训练模块包括：误判概率值计算模块，用于根据N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取模块，用于根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列变化方差获取模块，用于计算高斯变化方差其中k为第k次迭代，σmin和σmax分别为最小方差和最大方差，T2为方差变化最小迭代次数；第二采用概率值计算模块，用于根据归一化高斯分布公式，计算样本序列中第i个样本图像Si′的第二采用概率值第二典型样本选取模块，用于以第二采用概率值作为权重，采用加权随机采样算法选取N3个第二典型样本；第二典型样本训练模块，用于根据N3个第二典型样本，对深度神经网络进行训练。进一步地，所述最大均值和最小方差样本挖掘和网络训练模块包括：误判概率值计算模块，用于根据N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取模块，用于根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列第三采用概率值计算模块，用于为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si的第三采用概率值第三典型样本选取模块，用于采用加权随机采样算法选取N4个第三典型样本；第三典型样本训本文档来自技高网...

【技术保护点】
1.一种深度神经网络的训练样本挖掘方法，其特征在于，该方法包括：第一步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯方差最大时，计算高斯变化均值和对应的第一采用概率值，以第一采用概率值作为权重，采用加权随机采样算法选取第一典型样本，对深度神经网络进行训练；第二步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大时，计算高斯变化方差和对应的第二采用概率值，以第二采用概率值作为权重，采用加权随机采样算法选取第二典型样本，对深度神经网络进行训练；第三步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，计算第三采用概率值，以第三采用概率值作为权重，采用加权随机采样算法选取第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。

【技术特征摘要】
1.一种深度神经网络的训练样本挖掘方法，其特征在于，该方法包括：第一步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯方差最大时，计算高斯变化均值和对应的第一采用概率值，以第一采用概率值作为权重，采用加权随机采样算法选取第一典型样本，对深度神经网络进行训练；第二步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大时，计算高斯变化方差和对应的第二采用概率值，以第二采用概率值作为权重，采用加权随机采样算法选取第二典型样本，对深度神经网络进行训练；第三步骤，获取样本图像在经过深度神经网络的前向传播的误判概率值，为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，计算第三采用概率值，以第三采用概率值作为权重，采用加权随机采样算法选取第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。2.如权利要求1所述的方法，其特征在于，所述第一步骤包括：误判概率值计算步骤，选取N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取步骤，根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列变化均值获取步骤，为样本生成呈高斯分布的采用概率值，在高斯方差最大时，计算高斯变化均值和对应的第一采用概率值，计算高斯变化均值其中j为第j次迭代，μmin为最小均值，μmax为最大均值，T1为均值变化最大迭代次数；第一采用概率值计算步骤，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si的第一采用概率值其中σmax为最大方差；第一典型样本选取步骤，以第一采用概率值作为权重，采用加权随机采样算法选取N2个第一典型样本；第一典型样本训练步骤，根据N2个第一典型样本，对深度神经网络进行训练。3.如权利要求2所述的方法，进一步地，所述深度神经网络包括：卷积神经网络、深度信念网络、递归神经网络、或者生物神经网络，或其组合。4.如权利要求1所述的方法，其特征在于，所述第二步骤包括：误判概率值计算步骤，根据N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取步骤，根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列变化方差获取步骤，计算高斯变化方差其中k为第k次迭代，σmin和σmax分别为最小方差和最大方差，T2为方差变化最小迭代次数；第二采用概率值计算步骤，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si′的第二采用概率值第二典型样本选取步骤，以第二采用概率值作为权重，采用加权随机采样算法选取N3个第二典型样本；第二典型样本训练步骤，根据N3个第二典型样本，对深度神经网络进行训练。5.如权利要求1所述的方法，其特征在于，所述第三步骤包括：误判概率值计算步骤，根据N1个样本图像，将样本图像输入深度神经网络的前向传播，获得N1个样本图像的误判概率值；样本序列获取步骤，根据误判概率值从小到大的顺序，对N1个样本图像进行排序，获取样本序列第三采用概率值计算步骤，为样本生成呈高斯分布的采用概率值，在高斯均值最大、方差最小时，根据归一化高斯分布公式，计算样本序列中第i个样本图像Si的第三采用概率值第三典型样本选取步骤，采用加权随机采样算法选取N4个第三典型样本；第三典型样本训练步骤，根据N4个第三典型样本，对深度神经网络进行训练，直至训练收敛后停止训练。6.如权利要求1～5所述的方法，进一步地，所述N1的取值范围为100～5000，所述N2、N3和N4的取值范围为N1/100～N1/5，所述μmin的区间范围为[0,λ1×N1]，所述μmax的区间范围为[λ2×N1,λ3×N1]，σmax的区间范围为[λ4×N1,λ5×N1]；所述σmin的区间范围为[λ6×N1,λ7×N1]。7.如权利要求6所述的方法，进一步地，所述λ1的取值范围为0.005～0.0...

【专利技术属性】
技术研发人员：赵雪鹏，李志国，班华忠，李苏祺，
申请(专利权)人：北京智芯原动科技有限公司，
类型：发明
国别省市：北京,11