面向卷积神经网络的量子力学仿生优化及数据增强方法技术

本发明专利技术公开了一种面向卷积神经网络的量子力学仿生优化及数据增强方法，包括如下步骤：S1、将已知的卷积神经网络的权重和偏置作为需优化的空间X；S2、将获取的样本作为卷积神经网络的输入，计算卷积神经网络的输出，并将卷积神经网络的输出与样本真实标签进行比较，得到损失函数；S3、根据空间中的最优位置调整卷积神经网络的参数，完成卷积神经网络的初始优化；S4、训练卷积神经网络，在训练卷积神经网络的过程中，在特征空间上进行数据增强，从语义层面扩充样本，进一步提升卷积神经网络的泛化能力。该方法得到的优化后的卷积神经网络的初始参数并从语义上扩充特征集，能有效提升卷积神经网络的泛化能力。积神经网络的泛化能力。积神经网络的泛化能力。

【技术实现步骤摘要】
面向卷积神经网络的量子力学仿生优化及数据增强方法


[0001]本专利技术涉及深度学习与神经网络优化领域，具体涉及一种面向卷积神经网络的量子力学仿生优化及数据增强方法。

技术介绍

[0002]初始参数会影响卷积神经网络的训练效率和性能，过大的参数会造成卷积神经网络的梯度爆炸问题，过小的参数会造成卷积神经网络的梯度消失问题，不利于卷积神经网络的训练。仿生优化算法是一类受生物学启发而发展的优化算法，它们模拟了生物学中的某些过程或现象，如进化、群体智能等，以解决优化问题。在神经网络优化中，仿生优化算法可以用来寻找最优的权重和偏差，从而提高卷积神经网络的性能。数据增强是一种通过对训练数据进行变换或扩充来增加数据量、提高模型泛化能力的技术。在卷积神经网络的优化中，数据增强可以有效地降低过拟合的风险，提高模型的性能和鲁棒性。
[0003]目前，使用较为广泛的一些仿生优化算法，如遗传算法(Genetic Algorithm，GA)，粒子群优化(Particle Swarm Optimization，PSO)算法，这些传统算法寻优速度以及性能均有一定的局限性。另外，传统的扩充数据集的算法包括随机裁剪、随机翻转、随机旋转，这些方法只能从内容上显示地扩充样本，不仅增加数据量，并且增加的数据样本，可能存在大量的无效数据。

技术实现思路

[0004]本专利技术针对现有技术的不足，提出一种面向卷积神经网络的量子力学仿生优化及数据增强方法，得到的优化后的卷积神经网络的初始参数并从语义上扩充特征集，能有效提升卷积神经网络的泛化能力。
[0005]为了解决上述技术问题，本专利技术的技术方案为：
[0006]一种面向卷积神经网络的量子力学仿生优化及数据增强方法，包括如下步骤：
[0007]S1、将已知的卷积神经网络的权重和偏置作为需优化的空间X；
[0008]S2、将获取的样本作为卷积神经网络的输入，计算卷积神经网络的输出，并将卷积神经网络的输出与样本的真实标签进行比较，得到损失函数，
[0009]将损失函数作为适应度函数F(X)，利用量子力学原理，生成量子粒子并随机初始化空间X的位置，
[0010]设X
l
和X
r
分别为粒子能探测到的左右位置，粒子在δ势中运动，其中δ势定义为
[0011][0012]γ常数代表势能的强度，是一个函数，该函数仅在相邻点的F值完全相同时才非零，这意味着相邻点具有相同的值，粒子会朝着靠近势的中心移动，让量子粒子以量子态叠加和相互干涉的方式进行演化，更新空间X的位置并根据适应度函数的大小来评估该状态的优劣；
[0013]S3、经步骤S2后将得到空间中的最优位置，即空间X的最优解，并调整卷积神经网
络的参数，完成卷积神经网络的初始优化；
[0014]S4、训练卷积神经网络，在训练卷积神经网络的过程中，在特征空间上进行数据增强，从语义层面扩充样本，进一步提升卷积神经网络的泛化能力。
[0015]作为优选，所述空间X的表达式为：
[0016][0017]其中，k根据卷积神经网络需要优化的参数个数，rands表示生成k维列向量，||rands||表示生成的k维列向量的模。
[0018]作为优选，所述步骤S2中，适应度函数的表达式如下：
[0019][0020]该函数为交叉熵(CE)损失，其中x
i
表示数据集的第i个样本，y
i
表示第i个样本的真实标签值，a
i
表示将样本x
i
输入到卷积神经网络后的输出值，利用量子力学原理,生成量子粒子并随机初始化其空间位置X，让量子粒子群以量子态叠加和相互干涉的方式进行演化,更新其位置并根据适应度函数的大小来评估该状态的优劣。
[0021]作为优选，所述步骤S2中，模拟粒子在势场中的运动行为更新空间X，其中：
[0022]X
l
＝X
n
‑
d
n
c，
[0023]X
r
＝X
n
+d
n
c，
[0024]其中，n代表迭代次数，X
l
和X
r
分别代表粒子所能感知到的左右位置，d
n
＝0.95d
n
‑1+0.01是控制因子也即粒子步长，k维随机方向向量c被用来指导粒子的搜索方向，然后粒子的运动方向被引导至其相邻区域中具有更小势值的位置，即势函数的中心，即F(X
r
)和F(X
l
)的近处，迭代得到X的最优解之后，将其赋值给卷积神经网络的权重和偏置，完成卷积神经网络的初始参数优化。
[0025]作为优选，所述步骤S3中，卷积神经网络的参数的调整方法为：将空间X的最优解赋值给卷积神经网络的权重和偏置。
[0026]作为优选，所述步骤S4中特征空间上进行数据增强的方法为：
[0027]获取数据集D，将数据集D按照其所属类别进行分组，得到C类子集D1,D2,...,D
C
，其中C是数据集中的类别数目，对于每个类别c∈1,2,...,C，计算其样本的均值向量μ
c
，其中
[0028][0029]m代表c类别样本的个数，x
ci
表示c类别数据的第i个样本；
[0030]然后通过对输入的样本进行类条件协方差矩阵的估计，目的在于找到一个分布，采样到有意义的语义方向，可以使用样本协方差矩阵的无偏估计来计算：
[0031][0032]接着计算新的鲁棒损失函数以优化原来的交叉熵(CE)损失:
[0033][0034]以达到从语义层面扩充特征的目的，其中C是训练集的分类个数；w
j
和
b
j是第j个类别的线性分类器的参数，其中w
j
是一个与特征向量a
i
有相同维度的权重向量，b
j
是一个偏置量；λ是一个正则化参数；∑表示l
∞
约束，即权重向量w
j
的各个维度的取值都不能超过一个预先设定的上限；表示平均损失。
[0035]本专利技术具有以下的特点和有益效果：
[0036]采用上述技术方案，优化卷积神经网络的初始参数，并结合从语义上扩充特征集，进一步提升卷积神经网络的泛化能力。量子力学仿生算法运用了量子力学的原理，而量子计算的速度与准确性超过了传统计算，它比现有的一些仿生优化算法，如遗传算法(Genetic Algorithm，GA)，粒子群优化(Particle Swarm Optimization，PSO)算法的寻优速度更快，性能更好。本专利技术技术方案中数据增强算法可以实现从语义上扩充特征并且该过程不需要训练生成模型，相较于传统的随机裁剪、随机翻转等算法具有更丰富的特征集并且节省了生成样本所需的训练开销。
附图说明
[0037]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向卷积神经网络的量子力学仿生优化及数据增强方法，其特征在于，包括如下步骤：S1、将已知的卷积神经网络的权重和偏置作为需优化的空间X；S2、将获取的样本作为卷积神经网络的输入，计算卷积神经网络的输出，并将卷积神经网络的输出与样本的真实标签进行比较，得到损失函数，将损失函数作为适应度函数F(X)，利用量子力学原理，生成量子粒子并随机初始化空间X的位置，设X
l
和X
r
分别为粒子能探测到的左右位置，粒子在δ势中运动，其中δ势定义为γ常数代表势能的强度，是一个函数，该函数仅在相邻点的适应度函数F的值完全相同时才非零，这意味着相邻点具有相同的值，粒子会朝着靠近势的中心移动，让量子粒子以量子态叠加和相互干涉的方式进行演化，更新空间X的位置并根据适应度函数的大小来评估该状态的优劣；S3、经步骤S2后将得到空间中的最优位置，即空间X的最优解，并调整卷积神经网络的参数，完成卷积神经网络的初始优化；S4、训练卷积神经网络，在训练卷积神经网络的过程中，在特征空间上进行数据增强，从语义层面扩充样本。2.根据权利要求1所述的面向卷积神经网络的量子力学仿生优化及数据增强方法，其特征在于，所述空间X的表达式为：其中，k根据卷积神经网络需要优化的参数个数，rands表示生成k维列向量，||rands||表示生成的k维列向量的模。3.根据权利要求1所述的面向卷积神经网络的量子力学仿生优化及数据增强方法，其特征在于，所述步骤S2中，适应度函数的表达式如下：该函数为交叉熵损失，其中x
i
表示数据集的第i个样本，y
i
表示第i个样本的真实标签值，a
i
表示将样本x
i
输入到卷积神经网络后的输出值。4.根据权利要求3所述的面向卷积神经网络的量子力学仿生优化及数据增强方法，其特征在于，所述步骤S2中，模拟粒子在势场中的运动行为更新空间X，其中：X
l
＝X
n
‑
d
n

【专利技术属性】
技术研发人员：蔡文鑫，陈德潮，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：