一种基于多模态类脑主动感知的边缘计算装置制造方法及图纸

本发明专利技术涉及一种基于多模态类脑主动感知的边缘计算装置，包括：感知神经元模块，用于获取不同模态的感知信息，并将所述感知信息预处理编码为具有设定格式的脉冲序列；传递神经模块，用于对不同模态的所述脉冲序列进行并行存储和处理，提取相应模态的特征向量；类脑多模处理模块，用于对不同模态的所述特征向量进行选择调配，并进行信息融合与场景理解处理，获取决策信息。与现有技术相比，本发明专利技术具有运算效率高、多模信息融合准确性高等优点，进而实现更加可靠的场景理解。现更加可靠的场景理解。现更加可靠的场景理解。

【技术实现步骤摘要】
一种基于多模态类脑主动感知的边缘计算装置


[0001]本专利技术属于AI计算领域，涉及一种类脑智能终端，尤其是涉及一种基于多模态类脑主动感知的边缘计算装置。

技术介绍

[0002]算力、算法、数据是人工智能的三要素，近年来，传统冯诺依曼架构的算力系统以及单任务单模态的AI算法已经无法满足海量多模态数据增长速度及处理需求。一些学者提出从脑科学研究中寻找改进模型的方法，类脑智能已成为人工智能重要的发展方向之一。虽然人类大脑的结构和功能机制中尚有大量机理未揭示，但人脑神经系统的基本单元兼顾信息存储与计算推理的功能，有望成为打破冯
·
诺伊曼架构束缚的技术途径之一，近年来随着脑科学与计算技术、人工智能、纳米材料、认知心理等学科的交叉融合，为类脑智能计算系统研制奠定了理论与技术基础，尤其是忆阻器、神经拟态计算等关键器件与技术的突破，使得对大脑神经系统的结构与处理机制模拟成为可能。
[0003]但现有类脑系统还存在多模态信息融合与感知计算效率低、能耗高的问题。

技术实现思路

[0004]本专利技术的目的就是为了克服上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态类脑主动感知的边缘计算装置，其特征在于，包括：感知神经元模块，用于获取不同模态的感知信息，并将所述感知信息预处理编码为具有设定格式的脉冲序列；传递神经模块，用于对不同模态的所述脉冲序列进行并行存储和处理，提取相应模态的特征向量；类脑多模处理模块，用于对不同模态的所述特征向量进行选择调配，并进行信息融合与场景理解处理，获取决策信息。2.根据权利要求1所述的基于多模态类脑主动感知的边缘计算装置，其特征在于，所述感知神经元模块包括相连接的传感芯片和预处理单元，所述传感芯片包括光波传感器、微波传感器、声波传感器、模电专用传感器中的至少两种，所述预处理单元包括分别与所述微波传感器、声波传感器或模电专用传感器连接的第一单元和与所述光波传感器的第二单元，所述第一单元基于忆阻器采集对应传感芯片的脉冲序列，所述第二单元采集光波传感器的光波数据后经序列转换获得对应的脉冲序列。3.根据权利要求2所述的基于多模态类脑主动感知的边缘计算装置，其特征在于，与所述模电专用传感器对应连接的第一单元还执行：对采集的脉冲序列进行频率统一调整。4.根据权利要求1所述的基于多模态类脑主动感知的边缘计算装置，其特征在于，所述传递神经模块包括并行设置的、针对不同模态的多个存储处理单元，每一存储处理单元均包括相连接的忆阻器阵列和类脑芯片，其中，所述忆阻器阵列用于对所获取的脉冲序列进行存储；所述类脑芯片模拟大脑不同功能区域中的神经元对刺激的计算机理，对接收到的脉冲序列进行特征提取，获得相应模态的特征向量。5.根据权利要求4所述的基于多模态类脑主动感知的边缘计算装置...

【专利技术属性】
技术研发人员：朱忠攀，陈明初，何斌，李刚，陆萍，王志鹏，周艳敏，张朋朋，
申请(专利权)人：同济大学，
类型：发明
国别省市：