一种数据优化方法技术

本申请公开了一种数据优化方法

【技术实现步骤摘要】
一种数据优化方法、系统、装置及介质


[0001]本申请涉及数据处理领域，特别涉及一种数据优化方法
、
系统
、
装置及介质
。

技术介绍

[0002]在图像数据处理中，神经网络模型的应用非常广泛，例如卷积神经网络（
CNN
）已经在图像分类
、
目标检测
、
人脸识别等任务中取得了显著的成绩
。
然而，神经网络的训练是一个复杂且耗时的过程，需要不断地优化模型的参数以提高模型的性能
。
[0003]在学习率的调整上，过大或过小的学习率都可能对模型的训练产生不利影响
。
过大的学习率可能导致模型在训练过程中跳过最优解，使得模型无法收敛到最佳性能
。
这种情况下，模型的训练结果可能会在极值点附近往复震荡，无法达到期望的精度，进而会导致图像数据处理的精度降低
。
相反，过小的学习率虽然可以使模型慢慢地逼近最优解，但却会使得训练过程变得异常缓慢，甚至可能会使模型在局部最优解处停滞不前，无法达到全局最优性能，对图像数据进行处理的效率较低
。
此外，如果学习率太小，模型可能会过度拟合训练数据，导致在测试数据上的性能下降，即出现泛化能力不足的问题
。
[0004]因此，在神经网络的训练过程中，合理设置学习率以提高模型的性能和泛化能力，进而提高对图像数据处理的效率和精确度是十分重要的
。

技术实现思路

[0005]本申请的目的是提供一种数据优化方法
、
系统
、
装置及介质，根据代价函数的变化率自适应确定学习率，能够更好地逼近最优解，提高模型的训练效果和性能，通过合理调整学习率可避免模型无法收敛或过度拟合的问题，使此神经网络模型更适用于图像数据的处理，可以提高对图像数据的处理效率，还提高了图像数据处理的精确度
。
[0006]为解决上述技术问题，本申请提供了一种数据优化方法，包括：获取图像数据集，根据所述图像数据集构建神经网络模型；根据当前迭代过程中代价函数的变化率及变化率与学习率的预设关系确定目标学习率；根据所述目标学习率更新所述神经网络模型的模型参数；若更新后的所述模型参数满足预设条件，则将满足所述预设条件的模型参数作为所述神经网络模型的最终模型参数，否则进入下一次迭代过程；使用模型参数为所述最终模型参数的神经网络模型对目标图像数据进行处理；所述变化率与学习率的预设关系为：；或，
；其中，
n
表示第
n
次迭代过程，
n
‑1表示第
n
‑1次迭代过程，为当前迭代过程中的代价函数的变化率，为上一迭代过程中的代价函数的变化率，为上一迭代过程中确定的目标学习率，
L
n
为当前迭代过程中确定的目标学习率，，为均匀分布函数，
c
为加剧系数
。
[0007]在一种实施例中，所述代价函数的变化率的确定过程包括：根据当前迭代过程中的代价函数的值
、
上一迭代过程中的代价函数的值和第一公式确定所述代价函数的变化率；所述第一公式为：，其中，
n
表示第
n
次迭代过程，
n
‑1表示第
n
‑1次迭代过程，为当前迭代过程中所述代价函数的变化率，
J(n)
为当前迭代过程中的代价函数的值，
J(n
‑
1)
为上一迭代过程中的目标函数的值
。
[0008]在一种实施例中，所述代价函数为：；其中，
x
为图像数据，
w
为所述神经网络模型中各个神经元的权值，表示基于
x
和
w
的代价函数，为基于
x
和
w
的预测值，为
x
对应的真值，为正则化系数，
m
为图像数据的数量，为第
i
个神经元的权值，为正则化项
。
[0009]在一种实施例中，所述代价函数为：；其中，
x
为图像数据，
w
为所述神经网络模型中各个神经元的权值，
b
为各个神经元的偏置，为基于
x、w
和
b
的代价函数，为基于
x、w
和
b
的预测值，为
x
对应的真值，为正则化系数，
m
为图像数据的数量，为第
i
个神经元的权值，为正则化项
。
[0010]在一种实施例中，所述模型参数包括各个神经元的权值时，根据所述目标学习率更新所述神经网络模型的模型参数，包括：根据所述目标学习率
、
当前迭代过程中的权值和代价函数确定下一迭代过程中的权值
。
[0011]在一种实施例中，根据所述目标学习率
、
当前迭代过程中的权值和代价函数确定下一迭代过程中的权值，包括：根据所述目标学习率
、
当前迭代过程中的权值和代价函数利用第二公式确定下一迭代过程中的权值，所述第二公式为：；其中，
n
表示第
n
次迭代过程，
n+1
表示第
n+1
次迭代过程，
x
为图像数据，为下一迭代过程中的权值，为当前迭代过程中的权值，为基于
x
和
w
的代价函数的值，为当前迭代过程中确定的目标学习率，
m
为图像数据的数量，为正则化系数
。
[0012]在一种实施例中，所述模型参数包括各个神经元的偏置时，根据所述目标学习率更新所述神经网络模型的模型参数，包括：根据所述目标学习率
、
当前迭代过程中的偏置和代价函数确定下一迭代过程中的偏置
。
[0013]在一种实施例中，根据所述目标学习率
、
当前迭代过程中的偏置和代价函数确定下一迭代过程中的偏置，包括：根据所述目标学习率
、
当前迭代过程中的偏置和代价函数利用第三公式确定下一迭代过程中的偏置，所述第三公式为：；其中，
n
表示第
n
次迭代过程，
n+1
表示第
n+1
次迭代过程，
x
为图像数据，为下一迭代过程中的偏置，为当前迭代过程中的偏置，为基于
x、w
和
b
的代价函数的值，为当前迭代过程中确定的目标学习率
。
[0014]在一种实施例中，所述模型参数包括各个神经元的权值时，根据所述目标学习率更新所述神经网络模型的模型参数，包括：根据所述代价函数计算当前迭代过程中的各个权值的梯度；根据各个所述权值的梯度计算一阶动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种数据优化方法，其特征在于，包括：获取图像数据集，根据所述图像数据集构建神经网络模型；根据当前迭代过程中代价函数的变化率及变化率与学习率的预设关系确定目标学习率；根据所述目标学习率更新所述神经网络模型的模型参数；若更新后的所述模型参数满足预设条件，则将满足所述预设条件的模型参数作为所述神经网络模型的最终模型参数，否则进入下一次迭代过程；使用模型参数为所述最终模型参数的神经网络模型对目标图像数据进行处理；所述变化率与学习率的预设关系为：；或，；其中，
n
表示第
n
次迭代过程，
n
‑1表示第
n
‑1次迭代过程，为当前迭代过程中的代价函数的变化率，为上一迭代过程中的代价函数的变化率，为上一迭代过程中确定的目标学习率，
L
n
为当前迭代过程中确定的目标学习率，，为均匀分布函数，
c
为加剧系数
。2.
如权利要求1所述的数据优化方法，其特征在于，所述代价函数的变化率的确定过程包括：根据当前迭代过程中的代价函数的值
、
上一迭代过程中的代价函数的值和第一公式确定所述代价函数的变化率；所述第一公式为：，其中，
n
表示第
n
次迭代过程，
n
‑1表示第
n
‑1次迭代过程，为当前迭代过程中所述代价函数的变化率，
J(n)
为当前迭代过程中的代价函数的值，
J(n
‑
1)
为上一迭代过程中的目标函数的值
。3.
如权利要求2所述的数据优化方法，其特征在于，所述代价函数为：；其中，
x
为图像数据，
w
为所述神经网络模型中各个神经元的权值，表示基于
x
和
w
的代价函数，为基于
x
和
w
的预测值，为
x
对应的真值，为正则化系数，
m
为
图像数据的数量，为第
i
个神经元的权值，为正则化项
。4.
如权利要求2所述的数据优化方法，其特征在于，所述代价函数为：；其中，
x
为图像数据，
w
为所述神经网络模型中各个神经元的权值，
b
为各个神经元的偏置，为基于
x、w
和
b
的代价函数，为基于
x、w
和
b
的预测值，为
x
对应的真值，为正则化系数，
m
为图像数据的数量，为第
i
个神经元的权值，为正则化项
。5.
如权利要求1所述的数据优化方法，其特征在于，所述模型参数包括各个神经元的权值时，根据所述目标学习率更新所述神经网络模型的模型参数，包括：根据所述目标学习率
、
当前迭代过程中的权值和代价函数确定下一迭代过程中的权值
。6.
如权利要求5所述的数据优化方法，其特征在于，根据所述目标学习率
、
当前迭代过程中的权值和代价函数确定下一迭代过程中的权值，包括：根据所述目标学习率
、
当前迭代过程中的权值和代价函数利用第二公式确定下一迭代过程中的权值，所述第二公式为：；其中，
n
表示第
n
次迭代过程，
n+1
表示第
n+1
次迭代过程，
x
为图像数据，为下一迭代过程中的权值，为当前迭代过程中的权值，为基于
x
和
w
的代价函数的值，为当前迭代过程中确定的目标学习率，
m
为图像数据的数量，为正则化系数
。7.
如权利要求5所述的数据优化方法，其特征在于，所述模型参数包括各个神经元的偏置时，根据所述目标学习率更新所述神经网络模型的模型参数，包括：根据所述目标学习率
、
当前迭代过程中的偏置和代价函数确定下一迭代过程中的偏置
。8.
如权利要求7所述的数据优化方法，其特征在于，根据所述目标学习率
、
当前迭代过程中的偏置和代价函数确定下一迭代过程中的偏置，包括：根据所述目标学习率
、
当前迭代过程中的偏置和代价函数利用第三公式确定下一迭代过程中的偏置，所述第三公式为：；其中，
n
表示第
n
次迭代过程，
n+1
表示第
n+1
次迭代过程，
x
为图像数据，为下一迭
代过程中的偏置，为当前迭代过程中的偏置，...

【专利技术属性】
技术研发人员：邹德强，满宏涛，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：