一种二进制神经网络的简化推理方法、系统、介质及设备技术方案

技术编号:41385339 阅读:35 留言:0更新日期:2024-05-20 19:06
本发明专利技术公开了一种二进制神经网络的简化推理方法、系统、介质及设备,包括:从神经网络的系统配置文件中读取神经网络计算图和权重相关数据,将输入数据和对应权值转化为二进制的矩阵。再按照所述推理流向控制所述输入矩阵和所述权值矩阵在所述神经网络计算图中的推理计算。尤其是在卷积计算节点的推理计算中,利用逻辑同或运算消除乘法运算,使用逻辑与运算和字符统计方法消除加法运算,能够实现二进制神经网络模型的高效推理,提升推理速度,并且所占用的计算资源很少,不会和低配置设备上产生算力冲突,可以大规模布局在低配设备上使用。

【技术实现步骤摘要】

本申请涉及电子,尤其涉及一种二进制神经网络的简化推理方法、系统、介质及设备


技术介绍

1、近年来,深度学习技术已经渗透到各个行业和领域,移动设备、可穿戴设备等低配设备对深度学习技术的需求也愈加旺盛。由于深度学习模型需要耗费大量的计算和存储资源,直接应用在低配置设备上会产生算力冲突,因此通常采用二进制神经网络模型(bnn)来应对在低配置设备上应用深度学习模型的难题。

2、但申请人在研究中发现,虽然二进制神经网络模型采用单比特位表示输入张量、权重的方式能够实现模型的最大化压缩,但在网络模型推理计算时,仍旧需要将二进制数据展开为整型或浮点型数据进行乘累加计算,削弱了二进制神经网络模型的推理速度。


技术实现思路

1、本专利技术提供了一种二进制神经网络的简化推理方法、系统、介质及设备,以解决或者部分解决二进制神经网络推理速度较慢的技术问题。

2、为解决上述技术问题,本专利技术的第一方面,公开了一种二进制神经网络的简化推理方法,其特征在于,所述方法包括:

3、从神经网络的系统配置文件本文档来自技高网...

【技术保护点】

1.一种二进制神经网络的简化推理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述权值为四维张量,分别是:个数,通道数,高,宽;所述基于所述矩阵量化信息将所述权值量化为二进制的权值矩阵,具体包括:

3.如权利要求1或2所述的方法,其特征在于,所述输入数据的维度为:IH×IW×IC;其中,IH表示所述输入数据的高度,IW表示所述输入数据的宽度,IC表示所述输入数据的通道数;所述基于所述矩阵量化信息将输入数据量化为二进制的输入矩阵,具体包括:

4.如权利要求1所述的方法,其特征在于,所述对隶属于所述卷积计算节点的节点输入矩阵的符...

【技术特征摘要】

1.一种二进制神经网络的简化推理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述权值为四维张量,分别是:个数,通道数,高,宽;所述基于所述矩阵量化信息将所述权值量化为二进制的权值矩阵,具体包括:

3.如权利要求1或2所述的方法,其特征在于,所述输入数据的维度为:ih×iw×ic;其中,ih表示所述输入数据的高度,iw表示所述输入数据的宽度,ic表示所述输入数据的通道数;所述基于所述矩阵量化信息将输入数据量化为二进制的输入矩阵,具体包括:

4.如权利要求1所述的方法,其特征在于,所述对隶属于所述卷积计算节点的节点输入矩阵的符号位和节点权值矩阵的符号位执行逻辑同或运算,得到第一输出矩阵,具体包括:

5.如权利要求1或4所述的方法,其特征...

【专利技术属性】
技术研发人员:李威君李元振尚德龙周玉梅
申请(专利权)人:中科南京智能技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1