将三元矩阵合并到神经网络中制造技术

本发明专利技术公开了将三元矩阵合并到神经网络中。人工神经网络(ANN)是受人脑启发的计算系统，它通过考虑示例来学习执行任务。这些ANN通常是通过使用连接来连接几层人工神经元而创建的，其中每个人工神经元直接或间接地连接到每个其他人工神经元，以在ANN内创建全连接层。通过用三元矩阵代替ANN内的一个或更多个全连接层，可以降低ANN的复杂性和资源使用，同时提高ANN的性能。高ANN的性能。高ANN的性能。

【技术实现步骤摘要】
将三元矩阵合并到神经网络中
[0001]相关申请的交叉引用
[0002]本申请主张2020年10月27日提交的标题为“随机三元矩阵卷积”的第63/106287号美国临时申请(代理人卷宗编号NVIDP1323+/20
‑
BR
‑
0460US01)的权益，其全部内容通过引用并入本文。


[0003]本专利技术涉及人工神经网络，更具体地涉及将一个或更多个三元矩阵(ternary matrix)合并到神经网络中。

技术介绍

[0004]人工神经网络(ANN)是处理各种任务的常用计算系统，例如分类、图像识别、回归、函数逼近、根据学习分布的数据样本等。然而，ANN实现通常包括全连接层(1x1卷积)，这些层的实现、训练和操作计算量大且耗时。需要更简单、更快且资源密集度更低的人工神经网络来实施、训练和操作。
附图说明
[0005]图1示出了根据实施例的用于将三元矩阵并入神经网络的方法的流程图。
[0006]图2示出了根据实施例的并行处理单元。
[0007]图3A示出了根据实施例的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：在一个或更多个设备上：通过所述一个或更多个设备创建包括多个层的人工神经网络(ANN)，所述多个层包括至少一个三元矩阵。2.如权利要求1所述的方法，还包括训练所述ANN，其中所述至少一个三元矩阵在所述ANN的训练期间保持恒定。3.如权利要求1所述的方法，其中所述至少一个三元矩阵中的每一个仅包括值
‑
1、0和1。4.如权利要求1所述的方法，其中所述至少一个三元矩阵代替所述ANN内的一个或更多个全连接层。5.如权利要求1所述的方法，其中在所述ANN内的至少一层中，使用所述至少一个三元矩阵中的每一个来代替1x1卷积。6.根据权利要求1所述的方法，其中通过使用至少一个深度方向可分离卷积，在所述ANN的至少一个残差层中，使用所述至少一个三元矩阵中的每一个来代替1x1卷积。7.如权利要求6所述的方法，其中所述至少一个深度方向可分离卷积包括时间通道可分离卷积。8.如权利要求6所述的方法，其中所述ANN的所述至少一个残差层的至少一个跳跃链接被单元矩阵代替。9.如权利要求1所述的方法，其中在使用所述ANN进行推理期间，使用所述至少一个三元矩阵中的每一个执行的乘法操作作为两个和的差来执行，其中第一和是由值1加权的所有输入的和，第二和是由值
‑
1加权的所有输入的和。10.如权利要求1所述的方法，其中所述至少一个三元矩阵的所有元素都是在芯片上生成的。11.如权利要求1所述的方法，其中所述至少一个三元矩阵中的每一个包括利用低差异序列生成的路径。12.如权利要求1所述的方法，其中所述至少一个三元矩阵中的每一个都是使用伪随机数生成器生成的。13.如权利要求1所述的方法，还包括对于所述至少一个三元矩阵中的每一个：存储基于硬件的伪随机数生成器的初始状态，所述伪随机数生成器用...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：辉达公司，
类型：发明
国别省市：