循环神经网络中的勒让德存储器单元制造技术

训练具有使用勒让德存储器单元方程确定的连接权重的神经网络架构，同时可选地保持所确定的权重固定。网络可使用尖峰或非尖峰激活函数，可与其他神经网络架构堆叠或循环地耦合，并且可在软件和硬件中实现。本发明专利技术的实施方案提供了用于模式分类、数据表示和信号处理的系统，其使用跨越滑动时间窗口的正交多项式基函数进行计算。基函数进行计算。基函数进行计算。

【技术实现步骤摘要】
【国外来华专利技术】循环神经网络中的勒让德存储器单元


[0001]本专利技术总体涉及人工智能和深度学习，并且更特别地涉及可在软件和硬件中实现的循环神经网络架构。本申请要求2019年3月6日提交的临时申请号62/814,767和2019年5月6日提交的临时申请号62/844,090的优先权，上述的临时申请的内容以引用的方式并入本文。

技术介绍

[0002]深度学习确实地为人工智能的领域带来了许多快速且深刻的进步。由于该深度学习的黑盒性质，为了在大量的重要问题上达到现有技术表现，既不需要具有领域专业知识，也不需要理解神经网络的内部功能，包括：图像辨识、语音辨识、自然语言理解、问答和语言翻译(参见Y.LeCun、Y.Bengio和G.Hinton,Deep learning.Nature,第521卷,第7553期,第436至444页，2015年5月)。基本配方如下：安装用于深度学习的软件库、选择网络架构、设定其超参数，并且然后可使用与硬件(例如，图形处理单元)一样多的数据训练。
[0003]深度学习架构，诸如多层感知器，擅长构建静态矢量函数，该静态矢量函数通过自本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成具有勒让德存储器单元(LMU)单元的循环神经网络的方法，包括：定义所述循环神经网络中的每个节点的节点响应函数，所述节点响应函数表示随时间的状态，其中所述状态被编码为二进制事件或实值中的一者；每个节点具有节点输入和节点输出；定义每个节点输入的一组连接权重；定义每个节点输出的一组连接权重；定义一个或多个LMU单元，所述一个或多个LMU单元具有被定义为基于以下公式来确定节点连接权重的矩阵的一组循环连接：，其中其中q是由用户确定的整数，i和j大于或等于0。2.根据权利要求1所述的方法，其中所述一组输入连接权重被定义为基于以下公式来确定节点连接权重的矩阵：其中b
i
＝(2i+1)(
‑
1)
i
。3.根据权利要求1所述的方法，其中所述LMU节点连接权重基于以下方程来确定：f(A；θ，t)其中f是A的函数，θ是预定参数，并且t是时间。4.根据权利要求3所述的方法，其中所述预定参数是由用户选择的或使用所述神经网络中的节点的所述输出确定的中的一者。5.根据权利要求1所述的方法，其中所述LMU节点连接权重基于以下方程来确定：其中是A的函数，是θ预定参数，t是时间，并且Δt是预定参数。6.根据权利要求5所述的方法，其中所述预定参数中的每者是由用户选择的或使用所述神经网络中的节点的所述输出确定的中的一者。7.根据权利要求1所述的方法，其中来自节点输出的一个或多个连接权重是通过估计勒让德多项式确定的。8.根据权利要求1所述的方法，其中所述LMU单元是堆叠...

【专利技术属性】
技术研发人员：亚伦，
申请(专利权)人：应用智慧研究公司，
类型：发明
国别省市：