【技术实现步骤摘要】
【国外来华专利技术】促进神经网络效率
本专利技术一般涉及促进神经网络内的效率。
技术介绍
神经网络(有时被称为人工神经网络或深度神经网络)通常是试图模仿大脑的计算机系统。神经网络可以以各种方式使用，诸如通过被训练以识别图像中人脸的存在，或者将口语语音从第一语言翻译成第二语言。
技术实现思路
以下呈现了概述以提供对本专利技术的一个或多个实施例的基本理解。本概述不是旨在标识关键或重要元素，或描绘特定实施例的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在一个或多个实施方式中，系统、计算机实现的方法、装置和/或计算机程序产品促进神经网络效率。根据实施例，提供了一种系统，所述系统可以包括存储计算机可执行组件的存储器和执行存储在存储器中的计算机可执行组件的处理器。在一个或多个实现方式中，计算机可执行组件包括选择输出限制的初始值的初始化组件，其中输出限制指示神经网络的激活函数的输出的范围。计算机可执行组件还包括训练组件，所述训练组件在训练期间将输出限制的初始值修改为输出限制的第二值...
【技术保护点】
1.一种系统，包括：/n存储器，所述存储器存储计算机可执行组件；以及/n处理器，所述处理器执行存储在所述存储器中的所述计算机可执行组件，其中所述计算机可执行组件包括：/n初始化组件，所述初始化组件选择输出限制的值，其中所述输出限制包括神经网络的激活函数的输出的范围，所述输出限制的值经由训练来确定；以及/n激活函数组件，所述激活函数组件在给定所述输出限制的值作为所述激活函数的参数的情况下确定所述激活函数的输出。/n
【技术特征摘要】
【国外来华专利技术】20171024 US 15/792,7331.一种系统，包括：
存储器，所述存储器存储计算机可执行组件；以及
处理器，所述处理器执行存储在所述存储器中的所述计算机可执行组件，其中所述计算机可执行组件包括：
初始化组件，所述初始化组件选择输出限制的值，其中所述输出限制包括神经网络的激活函数的输出的范围，所述输出限制的值经由训练来确定；以及
激活函数组件，所述激活函数组件在给定所述输出限制的值作为所述激活函数的参数的情况下确定所述激活函数的输出。
2.如权利要求1所述的系统，其中：
所述初始化组件选择输出限制的初始值，所述计算机可执行组件还包括：
训练组件，所述训练组件在训练期间将所述输出限制的初始值修改为所述输出限制的第二值，所述输出限制的第二值被提供为所述激活函数的参数。
3.如权利要求1所述的系统，其中，所述激活函数的输出的范围在零与所述输出限制之间，包括零与所述输出限制；并且其中，所述激活函数的输出是基于所述激活函数的输出在零与所述输出限制之间的线性函数。
4.如权利要求2所述的系统，其中，所述训练组件采用比所述激活函数组件的精确度更大的精确度。
5.如权利要求4所述的系统，其中，所述训练组件采用具有比所述激活函数组件的精确度更大的精确度的分辨率参数，并且其中所述训练组件采用指示亚分辨率范围内的斜率的分辨率斜率参数。
6.如权利要求5所述的系统，其中，所述训练组件在训练期间朝向无穷大增加所述分辨率斜率参数的值。
7.如权利要求2所述的系统，其中，所述计算机可执行组件还包括：
裁剪组件，所述裁剪组件在利用所述训练组件进行训练期间执行裁剪，以减少由于量化而导致的精确度劣化。
8.如权利要求2所述的系统，其中，所述计算机可执行组件还包括：
反向传播组件，所述反向传播组件在利用所述训练组件进行训练期间执行反向传播。
9.如权利要求2所述的系统，其中，所述计算机可执行组件还包括：
激活函数选择组件，所述激活函数选择组件确定在全精确度的情况下使用修正线性单元作为所述激活函数，并且其中交叉熵损失随着所述输出限制的增加而收敛。
10.如权利要求2所述的系统，其中，所述计算机可执行组件还包括：
激活函数选择组件，所述激活函数选择组件确定随着所述输出限...
【专利技术属性】
技术研发人员：王洲，崔正旭，K·高帕拉克里斯南，S·温卡塔拉玛尼，C·萨卡尔，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。