【技术实现步骤摘要】
本专利技术涉及计算机视觉，尤其涉及一种面向硬件实现的脉冲驱动元脉冲神经网络建立及应用方法。
技术介绍
1、脉冲神经网络(spiking neuron networks，snn)以其低能耗、事件驱动，天然包含时域信息处理等特性在近些年来备受关注，尤其是与传统的卷积神经网络(convolutionalneural networks，cnn)相结合后展现出了很好的性能，并推动了许多基于cnn的snn架构芯片的设计与发展，从硬件上展现出了snn的优越性。但snn自身二值化的输出会导致信息的丢失，从而影响网络性能，以计算机视觉领域来说，snn始终难以在图像分类任务上达到一个足以与传统神经网络相匹敌的精度，在目标检测和分割领域所作的尝试也很少，极大地限制了脉冲神经网络的实际应用。
技术实现思路
1、本专利技术提供一种面向硬件实现的脉冲驱动元脉冲神经网络建立及应用方法，用以解决现有技术中脉冲神经网络的输出容易出现信息丢失，且在计算机视觉领域精度不高的缺陷。
2、本专利技术提供一种面向硬件实现的脉冲驱动元脉冲神经网络建立方法，包括：
3、根据待处理图像的视觉任务构建基于卷积的第一脉冲神经网络块、基于卷积的第二脉冲神经网络块、基于transformer的第一卷积神经网络块、基于transformer的第二卷积神经网络块、第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块以及输出层；所述视觉任务包括图像分类、图像检测和图像分割；
4、将所述第一下采样模块
5、可选地，所述基于卷积的第一脉冲神经网络块包括第一深度可分离卷积和第一通道卷积；所述基于卷积的第二脉冲神经网络块包括第二深度可分离卷积和第二通道卷积。
6、可选地，基于transformer的第一卷积神经网络块包括脉冲驱动的第一自注意力层和通道维度的第一线性层；基于transformer的第二卷积神经网络块包括脉冲驱动的第二自注意力层和通道维度的第二线性层。
7、可选地，所述第一下采样模块采用7x7的卷积结构，所述第二下采样模块、第三下采样模块以及第四下采样模块均采用3x3的卷积结构。
8、本专利技术还提供一种面向硬件实现的脉冲驱动元脉冲神经网络应用方法，包括：
9、获取待分类图像的rgb图像；
10、将所述rgb图像输入所述的脉冲驱动元脉冲神经网络，输出各个类别的概率值；
11、根据所述各个类别的概率值中的最大值确定分类结果。
12、本专利技术还提供一种面向硬件实现的脉冲驱动元脉冲神经网络建立系统，包括：
13、网络单元构建模块，用于根据待处理图像的视觉任务构建基于卷积的第一脉冲神经网络块、基于卷积的第二脉冲神经网络块、基于transformer的第一卷积神经网络块、基于transformer的第二卷积神经网络块、第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块以及输出层；所述视觉任务包括图像分类、图像检测和图像分割；
14、网络主体连接模块，用于将所述第一下采样模块、基于卷积的第一脉冲神经网络块、第二下采样模块、基于卷积的第二脉冲神经网络块、第三下采样模块、基于transformer的第一卷积神经网络块、第四下采样模块、基于transformer的第二卷积神经网络块以及输出层依次连接，得到脉冲驱动元脉冲神经网络，所述脉冲驱动元脉冲神经网络用于进行视觉任务识别。
15、可选地，所述基于卷积的第一脉冲神经网络块包括第一深度可分离卷积和第一通道卷积；所述基于卷积的第二脉冲神经网络块包括第二深度可分离卷积和第二通道卷积。
16、本专利技术还提供一种面向硬件实现的脉冲驱动元脉冲神经网络应用系统，包括：
17、待分类图像获取模块，用于获取待分类图像的rgb图像；
18、输入模块，用于将所述rgb图像输入所述的脉冲驱动元脉冲神经网络，输出各个类别的概率值；
19、分类模块，用于根据所述各个类别的概率值中的最大值确定分类结果。
20、本专利技术还提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现所述面向硬件实现的脉冲驱动元脉冲神经网络建立方法，或所述面向硬件实现的脉冲驱动元脉冲神经网络应用方法。
21、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述面向硬件实现的脉冲驱动元脉冲神经网络建立方法，或所述面向硬件实现的脉冲驱动元脉冲神经网络应用方法。
22、本专利技术提供的面向硬件实现的脉冲驱动元脉冲神经网络建立及应用方法，通过根据待处理图像的视觉任务构建基于卷积的第一脉冲神经网络块、基于卷积的第二脉冲神经网络块、基于transformer的第一卷积神经网络块、基于transformer的第二卷积神经网络块、第一下采样模块、第二下采样模块、第三下采样模块、第四下采样模块以及输出层；所述视觉任务包括图像分类、图像检测和图像分割；将所述第一下采样模块、基于卷积的第一脉冲神经网络块、第二下采样模块、基于卷积的第二脉冲神经网络块、第三下采样模块、基于transformer的第一卷积神经网络块、第四下采样模块、基于transformer的第二卷积神经网络块以及输出层依次连接，得到脉冲驱动元脉冲神经网络，所述脉冲驱动元脉冲神经网络用于进行视觉任务识别。即本专利技术根据待处理图像的视觉任务构建了脉冲驱动元脉冲神经网络，能够保证脉冲神经网络的输出信息的完整性，并且提高在计算机视觉领域的检测或识别精度。
本文档来自技高网...【技术保护点】
1.一种面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，包括：
2.根据权利要求1所述的面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，所述基于卷积的第一脉冲神经网络块包括第一深度可分离卷积和第一通道卷积；所述基于卷积的第二脉冲神经网络块包括第二深度可分离卷积和第二通道卷积。
3.根据权利要求1或2所述的面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，基于Transformer的第一卷积神经网络块包括脉冲驱动的第一自注意力层和通道维度的第一线性层；基于Transformer的第二卷积神经网络块包括脉冲驱动的第二自注意力层和通道维度的第二线性层。
4.根据权利要求1所述的面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，所述第一下采样模块采用7x7的卷积结构，所述第二下采样模块、第三下采样模块以及第四下采样模块均采用3x3的卷积结构。
5.一种面向硬件实现的脉冲驱动元脉冲神经网络应用方法，其特征在于，包括：
6.一种面向硬件实现的脉冲驱动元脉冲神经网络建立系统，其特征在于，包括：>
7.根据权利要求6所述的面向硬件实现的脉冲驱动元脉冲神经网络建立系统，其特征在于，所述基于卷积的第一脉冲神经网络块包括第一深度可分离卷积和第一通道卷积；所述基于卷积的第二脉冲神经网络块包括第二深度可分离卷积和第二通道卷积。
8.一种面向硬件实现的脉冲驱动元脉冲神经网络应用系统，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至4任一项所述面向硬件实现的脉冲驱动元脉冲神经网络建立方法，或权利要求5所述面向硬件实现的脉冲驱动元脉冲神经网络应用方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述面向硬件实现的脉冲驱动元脉冲神经网络建立方法，或权利要求5所述面向硬件实现的脉冲驱动元脉冲神经网络应用方法。
...【技术特征摘要】
1.一种面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，包括：
2.根据权利要求1所述的面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，所述基于卷积的第一脉冲神经网络块包括第一深度可分离卷积和第一通道卷积；所述基于卷积的第二脉冲神经网络块包括第二深度可分离卷积和第二通道卷积。
3.根据权利要求1或2所述的面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，基于transformer的第一卷积神经网络块包括脉冲驱动的第一自注意力层和通道维度的第一线性层；基于transformer的第二卷积神经网络块包括脉冲驱动的第二自注意力层和通道维度的第二线性层。
4.根据权利要求1所述的面向硬件实现的脉冲驱动元脉冲神经网络建立方法，其特征在于，所述第一下采样模块采用7x7的卷积结构，所述第二下采样模块、第三下采样模块以及第四下采样模块均采用3x3的卷积结构。
5.一种面向硬件实现的脉冲驱动元脉冲神经网络应用方法，其特征在于，包括：
6....
【专利技术属性】
技术研发人员：李国齐，胡天翔，徐波，姚满，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。