数据处理装置、数据处理方法及相关产品制造方法及图纸

本披露公开了一种数据处理装置、数据处理方法及相关产品。该数据处理装置可以实现为计算装置包括在组合处理装置中，该组合处理装置还可以包括接口装置和其他处理装置。该计算装置与其他处理装置进行交互，共同完成用户指定的计算操作。组合处理装置还可以包括存储装置，该存储装置分别与计算装置和其他处理装置连接，用于存储该计算装置和其他处理装置的数据。本披露的方案提供了用于与结构化稀疏相关操作的专用指令，其可以简化处理，提高机器的处理效率。处理效率。处理效率。

【技术实现步骤摘要】
数据处理装置、数据处理方法及相关产品


[0001]本披露一般地涉及处理器领域。更具体地，本披露涉及数据处理装置、数据处理方法、芯片和板卡。

技术介绍

[0002]近年来，随着深度学习的迅猛发展，使得计算机视觉、自然语言处理等一系列领域的算法性能都有了跨越式的进展。然而深度学习算法是一种计算密集型和存储密集型的工具，随着信息处理任务的日趋复杂，对算法实时性和准确性要求不断增高，神经网络往往会被设计得越来越深，使得其计算量和存储空间需求越来越大，导致现存的基于深度学习的人工智能技术难以直接应用在硬件资源受限的手机、卫星或嵌入式设备上。
[0003]因此，深度神经网络模型的压缩、加速、优化变得格外重要。大量的研究试着在不影响模型精度的前提下，减少神经网络的计算和存储需求，对深度学习技术在嵌入端、移动端的工程化应用具有十分重要的意义。稀疏化正是模型轻量化方法之一。
[0004]网络参数稀疏化是通过适当的方法减少较大网络中的冗余成分，以降低网络对计算量和存储空间的需求。现有的硬件和/或指令集不能有效地支持稀疏化处理。<br/>
技术实现思路
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，包括：控制电路，其配置用于解析稀疏指令，所述稀疏指令指示与结构化稀疏相关的操作；存储电路，其配置用于存储稀疏化前和/或稀疏化后的信息；以及运算电路，其配置用于根据所述稀疏指令执行相应的操作。2.根据权利要求1所述的数据处理装置，其中所述稀疏指令指示第一操作模式，并且所述稀疏指令的操作数包括待稀疏化数据，所述运算电路配置用于根据所述稀疏指令，对所述待稀疏化数据执行结构化稀疏处理，并向所述存储电路输出稀疏化处理后的结构体，所述结构体包括相互绑定的数据部分和索引部分，所述数据部分包括所述待稀疏化数据经稀疏化处理后的数据，所述索引部分用于指示稀疏化后的数据在所述待稀疏化数据中的位置。3.根据权利要求1所述的数据处理装置，其中所述稀疏指令指示第二操作模式，并且所述稀疏指令的操作数包括待稀疏化数据，所述运算电路配置用于根据所述稀疏指令，对所述待稀疏化数据执行结构化稀疏处理，并向所述存储电路输出稀疏化处理后的数据部分，所述数据部分包括所述待稀疏化数据经稀疏化处理后的数据。4.根据权利要求1所述的数据处理装置，其中所述稀疏指令指示第三操作模式，并且所述稀疏指令的操作数包括待稀疏化数据，所述运算电路配置用于根据所述稀疏指令，对所述待稀疏化数据执行结构化稀疏处理，并向所述存储电路输出稀疏化处理后的索引部分，所述索引部分指示稀疏化后的数据在所述待稀疏化数据中的位置。5.根据权利要求1所述的数据处理装置，其中所述稀疏指令指示第四操作模式，并且所述稀疏指令的操作数包括待稀疏化数据和稀疏索引，所述稀疏索引指示将要执行的结构化稀疏中有效数据元素的位置，所述运算电路配置用于根据所述稀疏指令，按照所述稀疏索引指示的位置，对所述待稀疏化数据执行结构化稀疏处理，并向所述存储电路输出稀疏化处理后的结构体或稀疏化处理后的数据部分，所述结构体包括相互绑定的数据部分和索引部分，所述数据部分包括所述待稀疏化数据经稀疏化处理后的数据，所述索引部分用于指示稀疏化后的数据在所述待稀疏化数据中的位置。6.根据权利要求1所述的数据处理装置，其中所述稀疏指令指示第五操作模式，并且所述稀疏指令的操作数包括经稀疏化处理后的数据部分和对应的索引部分，所述索引部分指示所述数据部分在稀疏化处理前的数据中的位置，所述运算电路配置用于根据所述稀疏指令，将所述数据部分与所述索引部分绑定成结构体，并向所述存储电路输出所述结构体。7.根据权利要求1所述的数据处理装置，其中所述稀疏指令指示第六操作模式，并且所述稀疏指令的操作数包括经稀疏化处理后的数据部分和对应的索引部分，所述索引部分指示所述数据部分在稀疏化处理前的数据中的位置，所述运算电路配置用于根据所述稀疏指令，按照所述索引部分指示的位置，对所述数据部分执行反稀疏化处理，以生成具有稀疏化处理前的数据格式的恢复数据，并向所述存储电路输出所述恢复数据。
8.根据权利要求2
‑
5任一所述的数据处理装置，其中所述结构化稀疏处理包括从每m个数据元素中选择n个数据元素作为有效数据元素，其中m&gt;n。9.根据权利要求8所述的数据处理装置，其中所述运算电路进一步包括：至少一个多级流水运算电路，其包括逐级布置的多个运算器并且配置成根据所述稀疏指令来执行从m个数据元素中选择n个绝对值较大的数据元素作为有效数据元素的结构化稀疏处理。10.根据权利要求9所述的数据处理装置，其中所述多级流水运算电路包括四个流水级，其中：第一流水级包括m个求绝对值运算器，用于分别对待稀疏化的m个数据元素取绝对值，以生成m个绝对值；第二流水级包括排列组合电路，用于对所述m个绝对值进行排列组合，以生成m组数据，其中每组数据均包括所述m个绝对值并且所述m个绝对值在各组数据中的位置互不相同；第三流水级包括m路比较电路，用于对所述m组数据中的绝对值进行比较并生成比较结果；以及第四流水级包括筛选电路，用于根据所述比较结果选择n个绝对值较大的数据元素作为有效数据元素，以及输出所述有效数据元素及对应的索引，所述索引指示所述有效数据元素在所述m个数据元素中的位置。11.根据权利要求10所述的数据处理装置，其中所述第三流水级中每路比较电路包括m
‑
1个比较器，第i路比较电路中的m
‑
1个比较器用于将第i组数据中的一个绝对值与其他三个绝对值依次比较并生成比较结果，1≤i≤m。12.根据权利要求10
‑
11任一所述的数据处理装置，其中所述筛选电路进一步配置用于，当存在绝对值相同的数据元素时，按照指定的优先级顺序进行选择。13.根据权利要求7所述的数据处理装置，其中所述反稀疏化处理包括：根据所述索引部分指示的位置，按照稀疏化处理前的数据格式，将所述数据部分中的各个数据元素分别放置在稀疏化处理前的数据格式的对应位置，以及在所述数据格式的其余位置处填充预定信息以生成所述恢复数据。14.根据权利要求2、5或6所述的数据处理装置，其中，所述结构体中的索引部分中每1比特对应N比特数据的位置，N至少部分基于硬件配置确定；和/或所述结构体中的数据部分按照第一对齐要求对齐，所述结构体中的索引部分按照第二对齐要求对齐。15.根据权利要求1
‑
14任一所述的数据处理装置，其中所述稀疏指令用于神经网络中多维数据的至少一个维度的结构化稀疏处理。16.根据权利要求15所述的数据处理装置，其中所述至少一个维度选自输入通道维度和输出通道维度。17.根据权利要求1
‑
16任一所述的数据处理装置，其中所述稀疏指令中包括操作模式位来指示所述稀疏指令的操作模式，或者所述稀疏指令包括多条指令，每条指令对应一种或多种不同的操作模式。18.一种芯片，包括根据权利要求1
‑
17任一...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：中科寒武纪科技股份有限公司，
类型：发明
国别省市：