线内数据检查以进行工作量简化制造技术

公开了一种用于线内数据检查的方法、计算机可读介质和系统。该方法包括以下步骤：由加载/存储单元接收加载指令，并通过耦合到加载/存储单元的检查电路获得由加载指令指定的数据。附加步骤包括确定数据等于零并将数据和谓词信号发送到加载/存储单元，其中谓词信号指示数据等于零。可选附加步骤包括基于数据和阈值之间的比较来计算谓词值，以及将数据和谓词值发送到加载/存储单元，其中当数据小于阈值时断言谓词值并且当数据不小于阈值时否定谓词值。

In-line data checking for workload simplification

A method, a computer readable medium and a system for in-line data checking are disclosed. The method includes the following steps: the loading instruction is received by the loading/storage unit, and the data specified by the loading instruction is obtained by the checking circuit coupled to the loading/storage unit. Additional steps include determining that the data is equal to zero and sending the data and predicate signals to the load/storage unit, where the predicate signal indicates that the data is equal to zero. Optional additional steps include calculating predicate values based on comparisons between data and thresholds, and sending data and predicate values to load/storage units, where predicate values are asserted when data is less than a threshold and predicate values are negated when data is not less than a threshold.

【技术实现步骤摘要】
线内数据检查以进行工作量简化
本专利技术涉及数据检查，并且更具体地，涉及程序指令执行期间的数据检查。
技术介绍
对于深度学习应用程序，卷积核通常对稀疏的数据进行操作，这意味着数据中的许多值等于零。稀疏性可以在激活中或在权重中。激活中的稀疏性源自神经网络的前一层中的修正线性单元(ReLU)激活函数。当修剪神经网络以提高精确度或减小模型尺寸时，出现权重中的稀疏性。对具有零值的元素执行算术运算在处理时间和性能方面是浪费的，因为算术运算对输出没有贡献。需要解决与现有技术相关的这些问题和/或其他问题。
技术实现思路
公开了一种用于线内(inline)数据检查的方法、计算机可读介质和系统。该方法包括以下步骤：由加载/存储单元接收加载指令，并由耦合到加载/存储单元的检查电路获得由加载指令指定的数据。附加步骤包括确定数据等于零并将数据和谓词(predicate)信号发送到加载/存储单元，其中谓词信号指示数据等于零。可选的附加步骤包括基于数据和阈值之间的比较来计算谓词值，以及将数据和谓词值发送到加载/存储单元，其中当数据小于阈值时断言谓词值并且当数据不小于阈值时否定谓词值。附图说明图1A示出了根据一个实施本文档来自技高网...

【技术保护点】
1.一种并行处理单元，包括：加载/存储单元，被配置为执行加载指令；以及检查电路，其耦合到所述加载/存储单元，并被配置为：获取由所述加载指令指定的数据；确定所述数据是否等于零；以及将所述数据和谓词信号发送到所述加载/存储单元，其中当所述数据等于零时断言所述谓词信号，并且当所述数据不等于零时否定所述谓词信号。

【技术特征摘要】
2017.08.31 US 15/693,3451.一种并行处理单元，包括：加载/存储单元，被配置为执行加载指令；以及检查电路，其耦合到所述加载/存储单元，并被配置为：获取由所述加载指令指定的数据；确定所述数据是否等于零；以及将所述数据和谓词信号发送到所述加载/存储单元，其中当所述数据等于零时断言所述谓词信号，并且当所述数据不等于零时否定所述谓词信号。2.如权利要求1所述的并行处理单元，其中所述加载/存储单元还被配置为将所述数据存储在由所述加载指令指定的寄存器中。3.如权利要求1所述的并行处理单元，其中所述加载/存储单元还被配置为当断言所述谓词信号时丢弃所述数据。4.如权利要求1所述的并行处理单元，其中所述数据包括用于算术运算的两个或更多个操作数。5.如权利要求1所述的并行处理单元，其中分支指令在用于由所述并行处理单元执行的指令序列中跟随所述加载指令，并且所述谓词信号控制所述分支指令的执行。6.如权利要求5所述的并行处理单元，其中当所述谓词信号指示所述数据等于零时，不执行紧接在所述分支指令之后的所述指令序列中的指令的一部分。7.一种并行处理单元，包括：加载/存储单元，被配置为执行加载指令；以及检查电路，其耦合到所述加载/存储单元，并被配置为：获取由所述加载指令指定的数据；基于所述数据和阈值之间的比较来计算谓词值；以及将所述数据和所述谓词值发送到所述加载/存储单元，其中当所述数据小于所述阈值时断言所述谓词值，并且当所述数据不小于所述阈值时否定所述谓词值。8.如权利要求7所述的并行处理单元，其中所述阈值由所述加载指令指定。9.如权利要求7所述的并行处理单元，其中所述阈值是可编程的并存储在寄存器中。10.如权利要求7所述的并行处理单元，其中...

【专利技术属性】
技术研发人员：J·M·普尔，A·克尔，J·特兰，M·Y·西乌，S·奥伯曼，
申请(专利权)人：辉达公司，
类型：发明
国别省市：美国,US