一种执行神经网络操作的装置、方法和设备制造方法及图纸

本申请提供一种用于执行神经网络操作的装置、方法和设备。本申请提供的装置，包括控制器、包含多个乘加单元的乘加器、综合加法器和累加器；其中，所述控制器，用于根据待处理的第一张量和第二张量的数据类型，选择与所述数据类型匹配的数据处理路径；所述乘加器中的每个乘加单元，用于按照所述数据处理路径对所述第一张量和所述第二张量中相关联的至少一对元素对执行乘加处理，得到乘加结果；所述综合加法器，用于按照所述数据处理路径将所述乘加器输出的多个乘加结果进行相加，得到第二计算结果；所述累加器，用于将所述第二计算结果与输入的累加和进行累加，得到第三计算结果。本申请提供的装置、方法和设备，可以提高输入数据的处理性能。

【技术实现步骤摘要】

本申请涉及人工智能，尤其涉及一种执行神经网络操作的装置、方法和设备。

技术介绍

1、深度神经网络在现代计算机视觉、自然语言处理和推荐系统等人工智能任务中显示出了巨大的成功。但是，深度神经网络的成功是以巨大的计算成本以及执行时间为基础的。因此，需要一种能够有效执行神经网络操作的技术，以提高输入数据的处理性能。

技术实现思路

1、有鉴于此，本申请提供一种用于执行神经网络操作的装置、方法和设备，用以提高输入数据的处理性能。

2、具体地，本申请是通过如下技术方案实现的：

3、本申请第一方面提供一种执行神经网络操作的装置，所述装置包括控制器、包含多个乘加单元的乘加器、综合加法器和累加器；其中，

4、所述控制器，用于根据待处理的第一张量和第二张量的数据类型，选择与所述数据类型匹配的数据处理路径；其中，所述数据处理路径用于执行点积运算，以在所述数据路径的输出处生成本次点积运算的结果；

5、所述乘加器中的每个乘加单元，用于按照所述数据处理路径对所述第一张量和所述第二张量中相关联本文档来自技高网...

【技术保护点】

1.一种执行神经网络操作的装置，其特征在于，所述装置包括控制器、包含多个乘加单元的乘加器、综合加法器和累加器；其中，

2.根据权利要求1所述的装置，其特征在于，所述乘加单元包括四个布斯乘法模块和两个加法模块，所述四个布斯乘法模块中的第一布斯乘法模块为8b*8b的乘法器、所述四个布斯乘法模块中的第二布斯乘法模块和第四布斯乘法模块为8b*4b的乘法器，所述四个布斯乘法模块中的第三布斯乘法模块为4b*4b的乘法器；

3.根据权利要求2所述的装置，其特征在于，所述装置还包括移位器，所述移位器，具体用于在所述数据类型为FP16时，对所述每个乘加单元输出的乘加结果进行对齐移位...

【技术特征摘要】

1.一种执行神经网络操作的装置，其特征在于，所述装置包括控制器、包含多个乘加单元的乘加器、综合加法器和累加器；其中，

2.根据权利要求1所述的装置，其特征在于，所述乘加单元包括四个布斯乘法模块和两个加法模块，所述四个布斯乘法模块中的第一布斯乘法模块为8b*8b的乘法器、所述四个布斯乘法模块中的第二布斯乘法模块和第四布斯乘法模块为8b*4b的乘法器，所述四个布斯乘法模块中的第三布斯乘法模块为4b*4b的乘法器；

3.根据权利要求2所述的装置，其特征在于，所述装置还包括移位器，所述移位器，具体用于在所述数据类型为fp16时，对所述每个乘加单元输出的乘加结果进行对齐移位。

4.根据权利要求3所述的装置，其特征在于，所述数据类型为fp16时，所述乘加单元，具体用于利用所述第一布斯乘法模块计算一对fp16元素对的指定位中低8位部分的点积、利用所述第三布斯乘法模块计算所述一对fp16元素对的指定位中低3位部分的点积、利用所述第二布斯乘法模块计算第一元素的指定位中高3位部分与第二元素的指定位中低8位部分的点积、以及利用所述第四布斯乘法模块计算所述第一元素的指定位中低8位部分与所述第二元素的指定位中高3位部分的...

【专利技术属性】
技术研发人员：商海洋，蒋文，王和国，周高财，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：