【技术实现步骤摘要】
一种分数阶反向传播神经网络的手写数字识别方法及系统
[0001]本专利技术属于机器学习
，具体涉及一种基于具有正则化项的分数阶反向传播神经网络的手写数字识别方法及系统。
技术介绍
[0002]在智能化时代，手写数字识别的重要性体现在日常生活的各方面，例如，在金融市场上票据包含了大量手写数字信息，通过手写数字识别能够有效解决传统人工处理方式中的低效率、低时效和高人工成本问题。因此，发展手写数字识别的技术具有重要的实际意义。
[0003]随着机器学习理论的发展，许多机器学习方法的有效性与可行性得到了保证，例如神经网络方法。由于长记忆性和更多的自由度，分数阶导数已被成功地采用在机器学习领域。比起传统的整数阶神经网络方法，分数阶导数神经网络方法被证明具有更高的精度和更快的收敛速度。首先，良好的泛化性能对于神经网络学习数据特征是非常重要的，尤其是在小样本数据集的情况下。其次，梯度消失问题导致网络权重不被更新，最终导致训练失败；因此，缓解梯度消失对神经网络来说是相当重要的。
技术实现思路
[0004]本专利...
【技术保护点】
【技术特征摘要】
1.一种分数阶反向传播神经网络的手写数字识别方法，其特征在于，包括如下步骤：对手写数字数据集的图像进行预处理；构建带正则化项的双交叉熵损失函数；构建带正则化项的分数阶反向传播神经网络模型；根据预处理后的图像，设置分数阶反向传播神经网络的相关参数，对分数阶反向传播神经网络进行训练，最终得到适用于手写数字数据集的神经网络模型；在适用于手写数字数据集的神经网络模型中，输入待识别的手写数字图片，对手写数字图片进行分类。2.根据权利要求1所述的手写数字识别方法，其特征在于，所述对图像进行预处理，包括：原始手写数字数据集的输入数据为矩形图像矩阵，将其按行重新排序为单行多列向量；将手写数字数据集的标签转化为one
‑
hot向量。3.根据权利要求1所述的手写数字识别方法，其特征在于，所述构建带正则化项的双交叉熵损失函数，包括：分别定义和为i维实数集合和j
×
l维实数集合；给定J个训练样本(x
j
,o
j
),其中为第j个输入，为第j个理想输出，j＝1,2,...,J；定义一个三层神经网络，其中输入层、隐藏层和输出层的神经元数量分别为p、n和q；神经网络的输出被写成：y＝f(UG(Vx
j
))其中V是输入层和隐藏层之间的权重矩阵，U是输出层和隐藏层之间的权重矩阵；G(
·
)＝(g(
·
),g(
·
),...,g(
·
))
T
,g(
·
)和f(
·
)分别是隐藏层和输出层的激活函数；其中：)分别是隐藏层和输出层的激活函数；其中：为输出层和隐藏层之间的权重矩阵U的元素；为输入层和隐藏层之间的权重矩阵V的元素；令神经网络中的损失函数表示为E(w)；设是神经网络模型的实际输出，其中第l个元素f
jl
代表x
j
将被分配到第l类的实际概率；设计双交叉熵损失函数为：
其中f
jl
＝f(u
l
G(Vx
j
)),β是对错误分类的惩罚系数，β≥0；(1
‑
o
jl
)ln(1
‑
f
jl
)为惩罚项；定义：ζ
jl
＝u
l
G(Vx
j
)以及F
jl
＝F(ζ
jl
)＝
‑
o
jl
ln(f
jl
)
‑
β(1
‑
o
jl
)ln(1
‑
f
jl
)；带正则化项的双交叉熵损失函数为：其中L2(w)＝λ/2‖w‖2,‖w‖表示w的Euclidean范数，λ是正则化参数，λ≥0。4.根据权利要求3所述的手写数字识别方法，其特征在于，设Caputo分数阶导数的Caputo导数算子为阶数为Caputo分数阶导数的定义为：其中，其中，为正整数集合；是目标函数，是关于τ的r阶导数，[c,t]是封闭的积分区间，Γ(
·
)是Gamma函数，5.根据权利要求3所述的手写数字识别方法，其特征在于，所述构建带正则化项的分数阶反向传播神经网络模型，包括：将Caputo分数阶导数表示为基于Caputo导数的泰勒级数展开式，所述泰勒级数展开式的高阶项被截断，而损失函数E(w)的一阶项被保留；设计截断式分数阶神经网络；设计混合截断式分数阶BP神经网络；得到截断式分数阶神经网络、混合截断式分数阶神经网络的权重更新法则。6.根据权利要求5所述的手写数字识别方法，其特征在于，适用于手写数字数据集的神经网络模型的获得过程，包括：根...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。