本发明专利技术实施例公开了一种非线性激活函数、训练方法、装置、电子设备及存储介质。其中，非线性激活函数，包括光电探测器、激光器及半导体光放大器；光电探测器与光学神经网络的上一层神经元及半导体光放大器连接，半导体光放大器与光学神经网络的下一层神经元、光电探测器以及激光器连接；光电探测器用于接收上一层神经元输出的目标信号，对目标信号进行处理，得到输出信号，并将输出信号传输至半导体光放大器；激光器用于向半导体光放大器发送光信号；半导体光放大器用于接收光电探测器发送的输出信号以及激光器发送的光信号，并将输出光信号发送至光学神经网络的下一层神经元。本发明专利技术实施例的方案，提升了光学神经网络的训练速度以及精度。以及精度。以及精度。
【技术实现步骤摘要】
非线性激活函数、训练方法、装置、电子设备及存储介质
[0001]本专利技术实施例涉及机器学习
，尤其涉及一种非线性激活函数、训练方法、装置、电子设备及存储介质。
技术介绍
[0002]激活函数，指的是在多层神经网络中，上层神经元的输出和下层神经元的输入存在一个函数关系，这个函数就是激活函数。引入激活函数可以提高神经网络模型的非线性拟合能力，增强模型的表达能力。如果不用激活函数，每一层节点的输入都是上一层的输出，那么无论神经网络的隐藏层有多少层，最后输出的结果都是原始输入的线性组合，即隐藏层没有发挥作用。因此，神经网络模型中引入非线性激活函数来执行更加有趣的函数计算。
[0003]深度学习和神经网络最近成为了非常有前途的替代计算平台，提高了人们对打破传统计算机中摩尔定律在计算效率方面的障碍的期望。利用数以百万计的基于电子的人工神经元与神经形态处理器，已经被证实具有巨大的效率。而光子可以克服传统电子布局的缺点，达到高达100GHz的工作频率，并且已经被证实可以执行光矩阵乘法。因此，光子在构建超快速和高效的光子深度学习处理平台方面具有相当大的潜力。然而，与神经网络中应用到的典型非线性激活函数相比，目前已经证明的光神经元非线性处理函数却是非常有限。
[0004]如何得到一种可以应用于光学神经网络的非线性函数，以提升光学神经网络的训练速度以及精度是业内研究的重点问题。
技术实现思路
[0005]本专利技术实施例提供了一种非线性激活函数、训练方法、装置、电子设备及存储介质，以应用于光学神经网络，提升了光学神经网络的训练速度以及精度。
[0006]根据本专利技术实施例的一方面，提供了一种非线性激活函数，应用于光学神经网络，所述非线性激活函数包括：光电探测器、激光器以及半导体光放大器；所述光电探测器分别与所述光学神经网络的上一层神经元以及所述半导体光放大器连接，所述半导体光放大器分别与所述光学神经网络的下一层神经元、所述光电探测器以及所述激光器连接；
[0007]所述光电探测器，用于接收所述上一层神经元输出的目标信号，对所述目标信号进行处理，得到输出信号，并将所述输出信号传输至所述半导体光放大器；
[0008]所述激光器，用于向所述半导体光放大器发送光信号；
[0009]所述半导体光放大器，用于接收所述光电探测器发送的输出信号以及所述激光器发送的光信号，根据所述输出信号以及所述光信号得到输出光信号，并将所述输出光信号发送至所述光学神经网络的下一层神经元。
[0010]根据本专利技术实施例的另一方面，提供了一种光学字符识别模型的训练方法，所述光学字符识别模型激活函数为如本专利技术实施例中任一实施例所述的非线性激活函数，所述
方法包括：
[0011]将目标训练集输入至光学字符识别网络的第一输入层，得到第一光学输出结果，并将所述第一光学输出结果传输至所述非线性激活函数；
[0012]通过所述非线性激活函数对所述第一光学输出结果进行处理，得到激活结果，并将所述激活结果传输至所述光学字符识别网络的下一输入层；
[0013]继续执行将下一光学输出结果传输至所述非线性激活函数的操作，直至所述光学字符识别网络的最后一层。
[0014]根据本专利技术实施例的另一方面，提供了光学字符识别模型的训练装置，所述光学字符识别模型激活函数为如本专利技术实施例中任一实施例所述的非线性激活函数，其特征在于，所述装置包括：
[0015]第一训练模块，用于将目标训练集输入至光学字符识别网络的第一输入层，得到第一光学输出结果，并将所述第一光学输出结果传输至所述非线性激活函数；
[0016]第二训练模块，用于通过所述非线性激活函数对所述第一光学输出结果进行处理，得到激活结果，并将所述激活结果传输至所述光学字符识别网络的下一输入层；
[0017]第三训练模块，用于继续执行将下一光学输出结果传输至所述非线性激活函数的操作，直至所述光学字符识别网络的最后一层。
[0018]根据本专利技术实施例的另一方面，提供了一种电子设备，所述电子设备包括：
[0019]至少一个处理器；以及
[0020]与所述至少一个处理器通信连接的存储器；其中，
[0021]所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术实施例任一实施例所述的光学字符识别模型的训练方法。
[0022]根据本专利技术实施例的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本专利技术实施例任一实施例所述的光学字符识别模型的训练方法。
[0023]本专利技术实施例的技术方案，可以应用于光学神经网络，所述非线性激活函数包括：光电探测器、激光器以及半导体光放大器；所述光电探测器分别与所述光学神经网络的上一层神经元以及所述半导体光放大器连接，所述半导体光放大器分别与所述光学神经网络的下一层神经元、所述光电探测器以及所述激光器连接；所述光电探测器，用于接收所述上一层神经元输出的目标信号，对所述目标信号进行处理，得到输出信号，并将所述输出信号传输至所述半导体光放大器；所述激光器，用于向所述半导体光放大器发送光信号；所述半导体光放大器，用于接收所述光电探测器发送的输出信号以及所述激光器发送的光信号，根据所述输出信号以及所述光信号得到输出光信号，并将所述输出光信号发送至所述光学神经网络的下一层神经元，可以应用于光学神经网络，提升了光学神经网络的训练速度以及精度。
[0024]应当理解，本部分所描述的内容并非旨在标识本专利技术实施例的实施例的关键或重要特征，也不用于限制本专利技术实施例的范围。本专利技术实施例的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0025]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术实施例的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0026]图1是根据本专利技术实施例一提供的一种非线性激活函数的结构示意图；
[0027]图2是根据本专利技术实施例一提供的一种半导体光放大器增益与注入电流的关系的示意图；
[0028]图3是根据本专利技术实施例一提供的一种输出光功率与输入光功率的关系的示意图；
[0029]图4是根据本专利技术实施例一提供的一种光学字符识别模型的训练方法的流程图；
[0030]图5是根据本专利技术实施例三提供的一种光学字符识别模型的训练装置的结构示意图；
[0031]图6是实现本专利技术实施例的光学字符识别模型的训练方法的电子设备的结构示意图。
具体实施方式
[0032]为了使本
的人员更好地理解本专利技术实施例方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术实施例本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种非线性激活函数，应用于光学神经网络，其特征在于，所述非线性激活函数包括：光电探测器、激光器以及半导体光放大器；所述光电探测器分别与所述光学神经网络的上一层神经元以及所述半导体光放大器连接，所述半导体光放大器分别与所述光学神经网络的下一层神经元、所述光电探测器以及所述激光器连接；所述光电探测器，用于接收所述上一层神经元输出的目标信号，对所述目标信号进行处理，得到输出信号，并将所述输出信号传输至所述半导体光放大器；所述激光器，用于向所述半导体光放大器发送光信号；所述半导体光放大器，用于接收所述光电探测器发送的输出信号以及所述激光器发送的光信号，根据所述输出信号以及所述光信号得到输出光信号，并将所述输出光信号发送至所述光学神经网络的下一层神经元。2.根据权利要求1所述的非线性激活函数，其特征在于，所述光电探测器，具体用于将所述目标信号转换为光电流，并将所述光电流传输至所述半导体光放大器；所述目标信号为光功率。3.根据权利要求1所述的非线性激活函数，其特征在于，所述激光器，具体用于每间隔设定时间间隔，和/或响应于所述光电探测器的输出信号的传输指令，向所述半导体光放大器发送光信号。4.根据权利要求1所述的非线性激活函数，其特征在于，所述半导体光放大器，具体用于将所述光电探测器发送的输出信号确定为控制信号，将所述激光器发送的光信号确定为输入光信号；当所述控制信号大于设定电流阈值时，对所述输入光信号进行放大处理，得到所述输出光信号。5.根据权利要求1所述的非线性激活函数，其特征在于，所述光学神经网络的上一层神经元为卷积层，所述光学神经网络的下一层神经元为卷积层或者全连接层。6.一种光学字符识别模型的训练方法，所述光学字符识别模型激活函数为如权利要求1
‑
5中任一项所述的非线性激活函...
【专利技术属性】
技术研发人员：陈锦华，潘炜炜，徐廷廷，吉晨，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。