卷积网络训练方法和装置制造方法及图纸

本申请公开了一种卷积网络训练方法和装置，其中方法包括：对于每批小批训练图片mini‑batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于内聚原则确定相应的内聚性损失值；根据所述内聚性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。采用本发明专利技术，可以有效解决数据规模较大时训练性能急剧下降的问题。

Convolution network training method and device

【技术实现步骤摘要】
卷积网络训练方法和装置
本专利技术涉及移动通信技术，特别是涉及一种卷积网络训练方法和装置。
技术介绍
近年来，卷积深度学习技术在各项工程中逐渐发挥了重要作用。综合来说，除了强化学习和以生成式对抗网络(GAN)为代表的多网络模型外，简单的端到端深度卷积网络主要解决视觉方面的三个问题：分类问题，回归问题和基于特征的距离相似度问题。深度卷积网络的距离相似度用于解决诸如人脸识别，以图搜图等用于判别图和图之间的相似度问题，甚至通过阈值间接达到分类问题。现有的网络训练方法通常是利用卷积提取特征，通过构造正负样本对的方式，对于bottleneck层进行设计，并通过不同的距离算法，实现整个网络能够将正样本靠近，负样本远离达到有一定相似度识别能力的深度卷积网络。专利技术人在实现本专利技术的过程中，发现：当前网络训练方案的各类算法在设计过程中主要考虑能够实现距离相似度区分，但是没有考虑到采用同类尽量靠近的方式。这样，虽然现有的网络训练方案在一定规模的数据预测效果较好，但是，数据增大到一定规模使得向量密布所在的维度空间时，便会由于空间饱和情况，而使得相互之间的区分度迅速下降，从而导致性能急剧下降。例如，假设样本输出为二维向量(x1,x2)，采用现有的网络训练方法，正常训练好的距离估计实现框图如图1所示。对应的向量映射到二维空间示意图如图2所示。从上述图中可以看出，训练好的深度卷积网络虽然能够正确区分正负样本，并且也有较好的对于相似图片聚集的效果，但当在推理过程中，图片数量增加，虽然有区分度，但是并不能使得(gf)，(ab)，(cd)达到尽量聚拢的情况，并且假设e被错误标记在gf所在类内时，就有可能较为严重的影响到方案的性能(采用上述传统的网络训练方法会将egf进行收拢聚集操作)。
技术实现思路
有鉴于此，本专利技术的主要目的在于提供一种卷积网络训练方法和装置，可以解决数据规模较大时训练性能急剧下降的问题。为了达到上述目的，本专利技术提出的技术方案为：一种卷积网络训练方法，包括：对于每批小批训练图片mini-batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于内聚原则确定相应的内聚性损失值；根据所述内聚性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。较佳地，所述基于内聚原则确定相应的内聚性损失值包括：对于当前所述mini-batch的训练样本对应的每一类c，根据本mini-batch对应的第c类特征向量，对当前的第c类特征向量的均值和当前的第c类特征向量的标准差分别进行更新；利用更新后的所述和所述按照计算损失修正值其中，为当前所述mini-batch中第c类的第i个特征向量，N为当前所述mini-batch中参与训练的第c类的特征向量数量；‖*‖2表示将其中的向量*的2范数，max()表示在向量所有维度上分别执行取较大值为结果的操作；β为预设的比例系数；利用当前所有类的损失修正值和所有类的特征向量的均值，按照进行异常值去除处理，并对所述异常值去除处理后得到的按照进行取较大值为结果的操作；其中M为类总数；根据所述取较大值为结果的操作后得到的按照得到所述内聚性损失值lossσ。较佳地，对当前的所述第c类特征向量的均值进行更新包括：如果当前所述为初始值0，则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的均值；如果当前所述不为初始值0，则按照得到更新后的其中，为当前所述mini-batch中参与训练的第c类特征向量的均值，α为预设的权重系数；0≤α≤1；等式右侧的为更新前的第c类特征向量的均值，等式左侧的为更新后的第c类特征向量的均值。较佳地，对当前的所述第c类特征向量的标准差进行更新包括：如果当前所述为初始值0，则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的标准差；如果当前所述不为初始值0，则按照得到更新后的其中，为当前所述mini-batch中参与训练的第c类特征向量的标准差，α为预设的权重系数；0≤α≤1；等式右侧的为更新前的第c类特征向量的标准差，等式左侧的为更新后的第c类特征向量的标准差。较佳地，所述根据所述内聚性损失值对所述损失值进行修正包括：按照loss′＝loss+lossσ，对所述损失值loss进行修正，得到修正后的损失值loss′，其中，lossσ为所述内聚性损失值。一种卷积网络训练装置，包括：第一单元，用于对于每批小批训练图片mini-batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于内聚原则确定相应的内聚性损失值；第二单元，用于根据所述内聚性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。较佳地，所述第一单元，对于当前所述mini-batch的训练样本对应的每一类c，根据本mini-batch对应的第c类特征向量，对当前的第c类特征向量的均值和当前的第c类特征向量的标准差分别进行更新；利用更新后的所述和所述按照计算损失修正值其中，为当前所述mini-batch中第c类的第i个特征向量，N为当前所述mini-batch中参与训练的第c类的特征向量数量；‖*‖2表示将其中的向量*的2范数，max()表示在向量所有维度上分别执行取较大值为结果的操作；β为预设的比例系数；利用当前所有类的损失修正值和所有类的特征向量的均值，按照进行异常值去除处理，并对所述异常值去除处理后得到的按照进行取较大值为结果的操作；其中M为类总数；根据所述取较大值为结果的操作后得到的按照得到所述内聚性损失值lossσ。较佳地，所述第一单元，用于在对当前的所述第c类特征向量的均值进行更新时，如果当前所述为初始值0，则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的均值；如果当前所述不为初始值0，则按照得到更新后的其中，为当前所述mini-batch中参与训练的第c类特征向量的均值，α为预设的权重系数；0≤α≤1；等式右侧的为更新前的第c类特征向量的均值，等式左侧的为更新后的第c类特征向量的均值。较佳地，所述第一单元，用于在对当前的所述第c类特征向量的标准差进行更新时，如果当前所述为初始值0，则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的标准差；如果当前所述不为初始值0，则按照得到更新后的其中，为当前所述mini-batch中参与训练的第c类特征向量的标准差，α为预设的权重系数；0≤α≤1；等式右侧的为更新前的第c类特征向量的标准差，等式左侧的为更新后的第c类特征向量的标准差。较佳地，所述第二单元，用于按照loss′＝loss+lossσ，对所述损失值loss进行修正，得到修正后的损失值loss′，其中，lossσ为所述内聚性损失值。一本文档来自技高网...

【技术保护点】
1.一种卷积网络训练方法，其特征在于，包括：/n对于每批小批训练图片mini-batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于内聚原则确定相应的内聚性损失值；/n根据所述内聚性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。/n

【技术特征摘要】
1.一种卷积网络训练方法，其特征在于，包括：
对于每批小批训练图片mini-batch，在利用深度卷积网络，提取其中每张图片的特征向量后，根据所述特征向量，计算相应的损失值，并基于内聚原则确定相应的内聚性损失值；
根据所述内聚性损失值对所述损失值进行修正，根据所述修正的结果，对所述深度卷积网络的参数进行反向传播调整，完成本次小批训练图片的训练。


2.根据权利要求1所述的方法，其特征在于，所述基于内聚原则确定相应的内聚性损失值包括：
对于当前所述mini-batch的训练样本对应的每一类c，根据本mini-batch对应的第c类特征向量，对当前的第c类特征向量的均值和当前的第c类特征向量的标准差分别进行更新；
利用更新后的所述和所述按照按照，计算损失修正值其中，为当前所述mini-batch中第c类的第i个特征向量，N为当前所述mini-batch中参与训练的第c类的特征向量数量；‖*‖2|*|表示将其中的向量*的2范数，max()表示在向量所有维度上分别执行取较大值为结果的操作；β为预设的比例系数；
利用当前所有类的损失修正值和所有类的特征向量的均值，按照进行异常值去除处理，并对所述异常值去除处理后得到的按照进行取较大值为结果的操作；其中M为类总数；
根据所述取较大值为结果的操作后得到的按照得到所述内聚性损失值lossσ。


3.根据权利要求2所述的方法，其特征在于，对当前的所述第c类特征向量的均值进行更新包括：
如果当前所述为初始值0，则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的均值；
如果当前所述不为初始值0，则按照得到更新后的其中，为当前所述mini-batch中参与训练的第c类特征向量的均值，α为预设的权重系数；0≤α≤1；等式右侧的为更新前的第c类特征向量的均值，等式左侧的为更新后的第c类特征向量的均值。


4.根据权利要求2所述的方法，其特征在于，对当前的所述第c类特征向量的标准差进行更新包括：
如果当前所述为初始值0，则将所述更新为当前所述mini-batch中参与训练的第c类特征向量的标准差；
如果当前所述不为初始值0，则按照得到更新后的其中，为当前所述mini-batch中参与训练的第c类特征向量的标准差，α为预设的权重系数；0≤α≤1；等式右侧的为更新前的第c类特征向量的标准差，等式左侧的为更新后的第c类特征向量的标准差。


5.根据权利要求1所述的方法，其特征在于，所述根据所述内聚性损失值对所述损失值进行修正包括：
按照loss′＝loss+lossσ，对所述损失值loss进行修正，得到修正后的损失值loss′，其中，lossσ为所述内聚性损失值。


6.一种卷积网络训练装置，其特征在于，包括：
第一单元，用于对于每批小批训练图片mini-batch，在利用深度卷积网络...

【专利技术属性】
技术研发人员：侯国梁，
申请(专利权)人：普天信息技术有限公司，
类型：发明
国别省市：北京;11