神经网络激活函数的实现方法、结构、计算机设备及介质技术

本发明专利技术实施例公开了一种神经网络激活函数的实现方法、结构、计算机设备及介质。该方法包括：预先在AI芯片中存储待用激活函数对应的查找表，待用激活函数以分段函数进行近似，并根据分段函数确定查找表的输入值及对应的输出值；获取待用激活函数的输入数据，并根据输入数据确定查找表的目标输入值；根据目标输入值进行查表，以获得对应的目标输出值，并根据目标输出值确定待用激活函数的输出数据。通过使用分段函数来近似待用激活函数，并生成相应的查找表，以在使用该待用激活函数进行计算时，通过查表的方式确定计算结果，简单快速的实现了神经网络激活函数的功能，避免了多次运算和存储，从而提升了AI芯片的性能，并节省了功耗。功耗。功耗。

【技术实现步骤摘要】
神经网络激活函数的实现方法、结构、计算机设备及介质


[0001]本专利技术实施例涉及深度学习
，尤其涉及一种神经网络激活函数的实现方法、结构、计算机设备及介质。

技术介绍

[0002]以深度学习为代表的人工智能(AI)算法广泛的应用于各行各业以及人们的日常生活中，这些算法普遍具有计算量大，任务复杂和精度高等特点。AI算法的这些特点促进了AI加速定制化芯片的快速发展，AI加速芯片通常会针对AI算法中的各种操作进行针对性的优化来达到更高的性能。深度学习的原理是模拟神经网络，其基本单元是神经元。激活函数(Activation function)是神经元的基本功能，其对神经元的输入产生一个非线性的输出，从而将各层神经元的作用进行叠加，达到捕捉pattern的效果。深度学习中常见的activation function有很多种，最常用的有ReLU(Rectified Linear Unit)，Sigmoid，tanh，ReLU6以及leaky ReLU，除此之外还有ELU(Exponential Linear Units)，Mish，Exponen本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络激活函数的实现方法，其特征在于，包括：预先在AI芯片中存储待用激活函数对应的查找表，所述待用激活函数以分段函数进行近似，并根据所述分段函数确定所述查找表的输入值及对应的输出值；获取所述待用激活函数的输入数据，并根据所述输入数据确定所述查找表的目标输入值；根据所述目标输入值进行查表，以获得对应的目标输出值，并根据所述目标输出值确定所述待用激活函数的输出数据。2.根据权利要求1所述的神经网络激活函数的实现方法，其特征在于，所述查找表复制有多个并分别进行存储；相应的，所述获取所述待用激活函数的输入数据，并根据所述输入数据确定所述查找表的目标输入值，包括：根据预设并行度同时获取多个所述输入数据，并分别确定多个所述目标输入值；相应的，所述根据所述目标输入值进行查表，以获得对应的目标输出值，包括：根据多个所述目标输入值同时并发在不同的所述查找表中进行查表，以获得各自对应的所述目标输出值。3.根据权利要求2所述的神经网络激活函数的实现方法，其特征在于，所述预先在AI芯片中存储待用激活函数对应的查找表，包括：复用所述AI芯片的原始RAM存储空间，所述原始RAM存储空间设计用于存储所述输入数据和所述输出数据，将所述原始RAM存储空间切分为数据RAM存储空间和查找表RAM存储空间，并将所述查找表存储在所述查找表RAM存储空间中；相应的，在所述获取所述待用激活函数的输入数据之前，还包括：将所述输入数据缓存到所述数据RAM存储空间中。4.根据权利要求3所述的神经网络激活函数的实现方法，其特征在于，所述输入数据及所述查找表的数据格式为int16，所述查找表RAM存储空间为分bank结构，所述根据所述输入数据确定所述查找表的目标输入值，包括：将所述输入数据的低段部分作为所述目标输入值；所述根据所述目标输入值进行查表，以获得对应的目标输出值，包括：根据所述查找表RAM存储空间的bank数对所述目标输入值进行复制，并分别使用所述目标输入值对所述查找表RAM存储空间的各个bank进行读取，以同时得到多个待选输出值；将所述输入数据的高段部分作为输出选择信号，并根据所述输出选择信号在各个所述待选输出值中确定所述目标输出值。5.根据权利要求3所述的神经网络激活函数的实现方法，其特征在于，在所述根据预设并行度同时获取多个所述输入数据，并分别确定多个所述目标输入值之前，还包括：根据所述原始RAM存储空间的大小确定所述预设并行度。6.一种神经网络激活函数的实现结构，应用如权利要求1
‑
5任一...

【专利技术属性】
技术研发人员：焦黎，蔡权雄，牛昕宇，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：