System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请实施例涉及计算机领域,具体而言,涉及一种脉冲神经网络模型的获取方法及装置。
技术介绍
1、目前,脉冲神经网络的结构设计有多种思路,其中一种思路就是先训练人工神经网络,然后设计一种从人工神经网络向脉冲神经网络转化的方法,一般都是将激活函数relu视作脉冲神经元的发放频率;但在基于转化的方法当中,设计人工神经网络的时候,尽管中间结构有很多变形,但是最终的输出层,输出层的神经元的个数是和输出类别的数目一样。这在实际操作中,会存在死神经元的问题,因为脉冲神经元的发射的条件是当前脉冲神经元的膜电压超过给定的阈值电压,但是在转化过程中,对某些样本,最后的输出层的脉冲神经元膜电压无法超过膜电压,也就是最终的输出脉冲神经元根本就没有输出,进而对于当前样本来说,就是一个死神经元。
2、针对相关技术中,在基于转化的方法得到脉冲神经网络时,容易出现死神经元,进而导致脉冲神经网络失效的问题,目前尚未提出有效的解决方案。
3、因此,有必要对相关技术予以改良以克服相关技术中的所述缺陷。
技术实现思路
1、本申请实施例提供了一种脉冲神经网络模型的获取方法及装置,以至少解决在基于转化的方法得到脉冲神经网络时,容易出现死神经元,进而导致脉冲神经网络失效的问题。
2、根据本申请的一个实施例,提供了一种脉冲神经网络模型的获取方法,包括:获取训练数据,并使用所述训练数据对待训练的人工神经网络模型进行训练,得到训练好的人工神经网络模型,其中,所述人工神经网络模型的输出层中具有m个神
3、在一个示例性的实施例中,在所述使用所述训练数据对待训练的人工神经网络模型进行训练之前,所述方法还包括:构建所述待训练的人工神经网络模型,其中,构建好的所述待训练的人工神经网络模型包括:一维卷积层、一维归一化层、relu激活函数、二维卷积层、二维归一化层、平均池化层、全连接层、输出层。
4、在一个示例性的实施例中,所述使用所述训练数据对待训练的人工神经网络模型进行训练,包括:使用预训练词向量对所述训练数据中的文本进行处理,得到文本特征矩阵集合;通过所述文本特征矩阵集合,使用反向传播的算法对所述待训练的人工神经网络模型进行训练。
5、在一个示例性的实施例中,所述将所述训练好的人工神经网络模型转化为脉冲神经网络模型,包括:将所述训练好的人工神经网络模型中的relu激活函数替换为if神经元,得到脉冲神经网络模型的基本拓扑;对所述基本拓扑进行参数吸收和模型归一化,得到所述脉冲神经网络模型。
6、在一个示例性的实施例中,在所述将所述训练好的人工神经网络模型转化为脉冲神经网络模型之后,所述方法还包括:获取待进行分类预测的目标文本,并确定目标神经元数量集合,其中,所述目标神经元数量集合中包括n个数量,所述n个数量与n个分类类别一一对应,所述n个数量之和小于或等于m,所述n个数量的每个数量为所述脉冲神经网络模型进行对应分类类别的分类概率计算的时候在输出层中所使用的神经元的数量;在通过所述脉冲神经网络模型对所述n个分类类别中的第i个分类类别进行分类概率计算的情况下,从所述脉冲神经网络模型的输出层中确定与所述第i个分类类别对应的p个神经元;根据所述目标神经元数量集合从所述对应的p个神经元中选取x个神经元,其中,x为所述目标神经元数量集合中与所述第i个分类类别对应的数量,x为大于或等于2、小于或等于p的正整数;获取所述x个神经元的输出,并使用所述x个神经元的输出计算所述目标文本为所述第i个分类类别的分类概率;在所述第i个分类类别的分类概率在所述n个分类类别中最大的情况下,确定所述目标文本的类别为所述第i个分类类别。
7、在一个示例性的实施例中,所述确定目标神经元数量集合,包括:确定使用所述脉冲神经网络模型进行分类预测的目标设备的硬件资源;根据所述硬件资源确定所述目标神经元数量集合。
8、在一个示例性的实施例中,所述确定目标神经元数量集合,包括:在目标设备对应的交互组件上显示提示信息,其中,所述目标设备为使用所述脉冲神经网络模型进行分类预测的设备,所述提示信息用于提示输入神经元数量集合;获取目标对象在所述交互组件上输入的所述目标神经元数量集合。
9、根据本申请的另一个实施例,提供了一种脉冲神经网络模型的获取装置,包括:训练模块,用于获取训练数据,并使用所述训练数据对待训练的人工神经网络模型进行训练,得到训练好的人工神经网络模型,其中,所述人工神经网络模型的输出层中具有m个神经元,m为大于或等于2n的正整数;转化模块,用于将所述训练好的人工神经网络模型转化为脉冲神经网络模型,其中,n为所述脉冲神经网络模型的分类类别的个数,所述脉冲神经网络模型进行每个分类类别的分类概率计算的时候至少使用所述输出层中的两个神经元。
10、根据本申请的又一个实施例,还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
11、根据本申请的又一个实施例,还提供了一种电子设备,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
12、通过本申请,将人工神经网络的输出层的神经元的数量设置为m个,并使得基于人工神经网络模型转化得到的脉冲神经网络模型进行每个分类类别的分类概率计算的时候至少使用输出层中的两个神经元,进而减少了脉冲神经网络模型无法发射脉冲的现象,解决了在基于转化的方法得到脉冲神经网络时,容易出现死神经元,进而导致脉冲神经网络失效的问题。
本文档来自技高网...【技术保护点】
1.一种脉冲神经网络模型的获取方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求1所述的方法,其特征在于,
4.根据权利要求1所述的方法,其特征在于,
5.根据权利要求1所述的方法,其特征在于,
6.根据权利要求5所述的方法,其特征在于,
7.根据权利要求5所述的方法,其特征在于,
8.一种脉冲神经网络模型的获取装置,其特征在于,
9.一种计算机可读存储介质,其特征在于,
10.一种电子设备,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,
【技术特征摘要】
1.一种脉冲神经网络模型的获取方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,
3.根据权利要求1所述的方法,其特征在于,
4.根据权利要求1所述的方法,其特征在于,
5.根据权利要求1所述的方法,其特征在于,
6.根据权利要求5所述...
【专利技术属性】
技术研发人员:赵雅倩,王斌强,董刚,蒋东东,曹其春,
申请(专利权)人:苏州元脑智能科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。