本发明专利技术涉及神经网络算法，目的是为解决现有的神经网络在整个结构设计和计算过程中有大量的时间消耗在样本采集和训练过程上的问题。本发明专利技术提供一种新型卷积神经网络的样本训练方法，该方法包括如下步骤：确定一定数量的样本集合作为训练的基准数据集合，对训练权值进行适度的扭曲，设置训练的初始学习率和最终学习率；以初始学习率为基础，使用二阶反向传播学习算法对样本集合进行训练，当学习率达到最终学习率时，结束训练。本发明专利技术适用于神经网络模型的样本训练。
【技术实现步骤摘要】
本专利技术涉及神经网络算法，特别涉及。
技术介绍
卷积神经网络是计算机视觉和模式识别一个重要的研究领域，它是指计算机仿照 生物大脑思维启发进行类似人类对特定对象的信息处理系统。其应用广泛，快速而准确的 对象检测与识别技术是现代信息处理技术中的重要组成部分。由于信息量近年来急剧地增 长，我们也迫切的需要有合适的对象检测以及识别技术能够让人们从大量的信息中寻找出 自己所需要的信息。图像检索及文字识别都属于这一类别，而文字的检测与识别系统则是 进行信息检索的基本条件。检测与识别技术是计算机视觉和人机交互领域重要组成部分。 卷积神经网络是最近广泛应用于模式识别和计算机视觉等领域的一种算法模型， 为增加算法针对真实数据的实际性能测试，进而对应用程序的泛化性提出了更高的要求。 特别涉及在泛化性的性能上，神经网络在整个结构设计和计算过程中有大量的时间消耗在 样本采集和训练过程上，在实际的应用中，训练的效果在样本集上有很大的体现，可是在实 际的无指导神经网络的训练模型中，根据来自输出节点的外部反馈，就是期望输出的调整 连接权值，使得网络输出节点的实际输出与外部的期望输出一致。相对于卷积神经网络的 整体构架，激活函数，拓扑结构和选择训练的方式等方面相比样本的采集和整理可能不被 重视，几乎任何可以训练的神经网络都存在包含错误样本的训练集，在这样存差样本集的 实际错误被当作正确的数值传入网络训练的过程而不被网络纠错和判别。对于训练集的的 样本而言。真正的问题是如何将神经网络执行对现实世界中的分类和识别模式而又不是只 对仅有的一部分实验数据集做验证。
技术实现思路
本专利技术的目的是为了提供一种快速神经网络的样本训练方法，以解决现有的神经 网络在整个结构设计和计算过程中有大量的时间消耗在样本采集和训练过程上的问题。 为达到上述目的，本专利技术提供，包括如下 步骤： 确定一定数量的样本集合作为训练的基准数据集合，对训练权值进行适度的扭 曲，设置训练的初始学习率和最终学习率； 以初始学习率为基础，使用二阶反向传播学习算法对样本集合进行训练，当学习 率达到最终学习率时，结束训练。 具体地，使用二阶反向传播算法过程中会产生误差，误差的偏导数等于后一层网 络实际输出值与后一层网络目标输出值的差值，利用所述差值对权重值进行更新。 具体地，更新权重值的具体方法为:新的权重值等于更新前的权重值减去学习率 与所述差值的乘积。 具体地，所述初始学习率为0.001，最终学习率为0.00005。 可选地，对训练权值进行扭曲的方法包括缩放因子，反转和弹性形变。 具体地，网络神经元节点对权重值进行校验，当权重值远大于或者远小于学习率 下降的范围时，丢弃该权重值。 本专利技术的有益效果是:通过本专利技术的方法，可以在不占用大量计算资源的情况下， 最大程度上提升卷积神经网络的训练效果，在训练算法提升和学习率和迭代回数等优化参 数配置并保持足够数量训练和测试样本的情况下可以在后续的实验和模拟中针对手写数 字做分类和识别工作。基于优化的卷积神经网络模型在字符集样本模式变形，采样不完全 或受干扰样本模式等高噪音环境下实现高精度识别。而且在适应性能大幅提升的情况下， 也可以促进更加广泛的模式识别和计算机视觉领域针对目标检测和对象识别的使用范围， 基于这种新型卷积神经网络的无指导网络学习训练及样本采集的优化方法的基础设计技 术提升智能家电产品的性能，提高了家电在视觉交互方面的智能性和泛化性，以实际产品 使用过程中获得更好的用户体验。【具体实施方式】 以下对本专利技术的技术方案作进一步详细描述。 本专利技术为解决现有的神经网络在整个结构设计和计算过程中有大量的时间消耗 在样本采集和训练过程上的问题，提供，该方法包 括如下步骤：确定一定数量的样本集合作为训练的基准数据集合，对训练权值进行适度的扭 曲，设置训练的初始学习率和最终学习率； 以初始学习率为基础，使用二阶反向传播学习算法对样本集合进行训练，当学习 率达到最终学习率时，结束训练。 使用二阶反向传播算法过程中会产生误差，误差的偏导数等于后一层网络实际输 出值与后一层网络目标输出值的差值，利用所述差值对权重值进行更新。更新权重值的具 体方法为:新的权重值等于更新前的权重值减去学习率与所述差值的乘积。对训练权值进 行扭曲的方法包括缩放因子，反转和弹性形变。 初始学习率为0.001，最终学习率为0.00005。网络神经元节点对权重值进行校验， 当权重值远大于或者远小于学习率下降的范围时，丢弃该权重值。 本专利技术采用的技术方案是： 首先我们用一个含有10000个模式的样本集作为训练的基准数据集合。在一个随 机序列中连续处理反向传播算法，其中每一个通过10000种模式的Epoch我们简单称作一个 迭代。训练的目的是努力提高神经网络的泛化性能，在本专利阐述的例子中训练算法浅显 的表达是使权重在浮动范围内跳变更大一些，最大程度上避免了错误样本的权重属性，特 别是在输入的训练集模式，数据采集即使再规整，再投入时间人力做大量的准备工作，但样 本也不可能完全与现实世界中的属性特征相同。为提高泛化性更为重要的技术就是适度的 改变训练权值，使权值适度的扭曲：用于在网络反向传播之前训练模式被轻微的扭曲。而神 经网络每次迭代运行权重的计算。从另一个角度看这是扭曲被放大的训练集，通过一次又 一次的迭代反馈计算，人为地从现有的模式创造新的训练模式。适当的扭曲权值计算权重 使每个模式再随机反向传播。扭曲权值的三种不同类型的应用有:缩放因子，反转和弹性形 变。 其次，在适当的改变训练权值后，为保障训练的更优化结果还需设置其他参数，核 心的内容是学习率的设置。网络的训练过程必须指定一个初始学习率和最终的学习率。一 般来说，学习率在没有训练神经网络时初始值应该更大，由于大的学习率在反复的回馈计 算中将发生变化。学习率在训练的过程中缓慢梯度下降，由于神经网络的学习机制，从而使 权重收敛于最后数值。但它从来没有真正让当前第1页1 2 本文档来自技高网...
【技术保护点】
一种新型卷积神经网络的样本训练方法，其特征在于，包括如下步骤：确定一定数量的样本集合作为训练的基准数据集合，对训练权值进行适度的扭曲，设置训练的初始学习率和最终学习率；以初始学习率为基础，使用二阶反向传播学习算法对样本集合进行训练，当学习率达到最终学习率时，结束训练。
【技术特征摘要】
【专利技术属性】
技术研发人员：游萌，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川;51
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。