有损恢复的有损显著性压缩制造技术

描述了用于数据的有损压缩和恢复的系统和方法。原始数据首先被截断。然后，将截断的数据压缩。然后可以使用更少的位有效地存储和/或传输压缩的截断数据。为了恢复数据，然后对压缩的数据进行解压缩并链接恢复位。选择恢复位以补偿由截断引入的统计偏差。

【技术实现步骤摘要】
【国外来华专利技术】有损恢复的有损显著性压缩相关申请的交叉引用本申请要求2018年12月14日提交的美国非临时专利申请第16/220,540号的权益，其内容通过引用特此并入本文。
技术介绍
计算机存储器、缓存和链接被设计为无损的，以便精确地重现存储的信息。然而，在诸如机器学习的一些应用中，不需要精确的值。实际上，在许多这样的情况下，使用精确值会导致机器学习系统的性能下降，而没有任何其他好处。附图说明可从结合附图以举例的方式给出的以下描述中获得更详细的理解，在附图中：图1是其中可以实现一个或多个所公开的实现方式的示例装置的框图；图2A是根据一个示例的压缩单元的框图；图2B是根据一个示例的恢复单元的框图；图2C是用于压缩数据的技术的示例流程图；图2D是用于恢复压缩的数据的技术的示例流程图；图3是仅使用基于字典的频繁值压缩(FVC)实现的数据压缩的示例；图4是根据某些实现方式的数据压缩和恢复的示例；图5A是利用恢复单元进行评估的机器学习系统的框图；图5B是利用压缩单元和恢复单元进行训练的机器学习系统的框图；图6A是用于执行评估的机器学习技术的示例流程图；以及图6B是用于执行训练的机器学习技术的示例流程图。具体实施方式本公开涉及用于数据的有损压缩和恢复的技术。根据该技术，原始数据被截断。然后，将截断的数据压缩。然后可以使用更少的位有效地存储和传输压缩的截断数据。为了恢复数据，对压缩的数据进行解压缩。然后将恢复位添加到解压缩的数据。在一些实现方式中，选择恢复位以补偿由截断引入的统计偏差。所公开的用于数据的有损压缩和恢复的系统和方法可以应用于中央处理单元(CPU)、图形处理单元(GPU)、加速处理单元(APU)、现场可编程门阵列(FPGA)或利用存储器、高速缓存和互连件的任何其他处理装置。在一些情况下，用于数据的有损压缩和恢复的技术可以用于存储器压缩、高速缓存压缩、寄存器文件压缩、链接压缩以及数据传输和存储的其他情况。在许多机器学习系统中，工作负载受存储器瓶颈的影响。具体地，许多机器学习工作负载涉及使用人工神经网络基于一个或多个输入值来生成一个或多个预测分数。通过人工神经网络进行处理涉及计算每个神经元的传递函数，其中基于可调整的权重对每个神经元的输入偏差化。在大型神经网络系统中，大量的神经元且因而大量的权重导致在处理单元和存储器之间传输大量数据。具体地，在生成预测的过程中，可能在存储器和处理单元之间传输大量的神经元权重。该事实可能导致存储器带宽成为生成此类预测的速度的瓶颈。可以使用有效的压缩技术来减少在处理单元和存储器之间传输的数据量。该技术利用了神经元权重通常具有“令人满意”的精度这一事实。比该精度更精确的值几乎没有或根本没有为预测模型提供额外的精度。因此，该技术涉及将权重值截断到一定精度，然后压缩结果。用于压缩的有利技术是频繁值压缩技术。在该技术中，数据集中的相同值被字典中的键值替换。权重值截断到一定精度允许基于权重值的更高有效位来构建字典，这导致特定权重值实际上可以被字典值替换的可能性更高。权重值的恢复涉及对压缩的值进行解压缩，然后使用最低有效位中的恢复位来恢复解压缩的值。所使用的具体恢复位可以是固定位(诸如值0)、随机位，或者可以根据任何技术上可行的技术进行选择。随机位提供的一个益处在于随机位减少了对可能由固定位引入的某些值的偏差。固定位提供了易于实现的益处。进一步细节在以下提供。图1是其中实现本公开的一个或多个方面的示例装置100的框图。装置100包括例如计算机(诸如服务器、台式机或膝上型计算机)、游戏装置、手持式装置、机顶盒、电视机、移动电话或平板计算机。装置100包括处理器102、存储器104、存储装置106、一个或多个输入装置108以及一个或多个输出装置110。装置100可选地包括输入驱动器112和输出驱动器114。应理解，装置100可选地包括未在图1中示出的附加部件。处理器102包括以下中的一者或多者：中央处理单元(CPU)、图形处理单元(GPU)、位于相同的管芯上的CPU和GPU、或一个或多个处理器核心，其中每个处理器核心是CPU或GPU。存储器104与处理器102位于同一管芯上，或者与处理器102分开定位。存储器104包括易失性或非易失性存储器，例如随机存取存储器(RAM)、动态RAM或高速缓存。存储装置106包括固定或可移动存储装置，例如硬盘驱动器、固态驱动器、光盘或快闪驱动器。输入装置108包括相机、键盘、小键盘、触摸屏、触摸板、检测器、传声器、加速计、陀螺仪或生物扫描仪中的一者或多者。输出装置110包括显示器、扬声器、打印机、触觉反馈装置、一个或多个灯或天线中的一者或多者。输入驱动器112与处理器102和输入装置108通信，并且允许处理器102接收来自输入装置108的输入。输出驱动器114与处理器102和输出装置110通信，并且允许处理器102将输出发送到输出装置110。压缩单元105和恢复单元103以若干不同形式示出。压缩单元105接收数据并输出压缩的数据。恢复单元103接收压缩的数据并输出恢复的数据。在第一形式中，压缩单元105和恢复单元103是如图所示存储在存储器104中并且在处理器102上执行的软件。以该形式，当不被执行时，压缩单元105和/或恢复单元103可以被存储在存储装置106中。在第二形式中，压缩单元105和恢复单元103是驻留在输出驱动器114中的硬件引擎的至少一部分。在其他形式中，压缩单元105和恢复单元103是软件和硬件元件的组合，其中硬件驻留在例如输出驱动器114中，并且软件在例如处理器102上被执行。压缩单元105将压缩的数据存储在存储器中，诸如存储器104，或者诸如存储在压缩单元105的硬件实现方式中或与之相关联的缓冲器的任何其他存储器，或者任何其他存储器。类似地，恢复单元103从存储器检索压缩的数据、将数据恢复到恢复状态，并将恢复的数据提供给装置100内的其他部件。尽管在某些示例实现方式中描述了压缩单元105和恢复单元103，但应当理解，压缩和恢复的原理可以在此类压缩和/或恢复有意义的任何背景中使用。另外，在任何特定的实现方式中，可以实现本文所述的压缩、恢复或者压缩和恢复两者。在一些情况下，处理器102使用压缩单元105和/或恢复单元103实现一组指令以加载和存储数据。如果处理器102将有损存储以及要以有损方式存储的数据传输到压缩单元105，则压缩单元105执行本文所述的用于截断和压缩数据的技术，然后输出数据以进行存储。如果处理器102将有损加载指令传输到恢复单元103，指定要以有损方式加载的压缩数据，则恢复单元103提取压缩的数据、执行解压缩和恢复技术，并提供解压缩的恢复数据返回到处理器102以供使用。在另一个示例中，压缩和解压缩用于高速缓存压缩。在该示例中，当处理器102执行有损加载指令时(其针对一个或多个寄存器)，压缩单元105提取(例如，从后备存储器)、截断并压缩高速缓存行，并将压缩的高速缓存行存储在高速缓存中。本文档来自技高网...

【技术保护点】
1.一种数据存储和检索方法，其包括：/n接收数据；/n截断预定位数的所述数据以形成截断的数据；/n压缩所述截断的数据以形成压缩的数据；以及/n将所述压缩的数据存储在存储器中或将所述压缩的数据传输到接收系统。/n

【技术特征摘要】
【国外来华专利技术】20181214 US 16/220,5401.一种数据存储和检索方法，其包括：
接收数据；
截断预定位数的所述数据以形成截断的数据；
压缩所述截断的数据以形成压缩的数据；以及
将所述压缩的数据存储在存储器中或将所述压缩的数据传输到接收系统。


2.如权利要求1所述的方法，其还包括：
检索所述压缩的数据；
解压缩所述压缩的数据以形成解压缩的截断数据；以及
将恢复位链接到所述解压缩的截断数据以形成恢复的数据。


3.如权利要求2所述的方法，其中所述恢复位通过从统计分布中采样来选择。


4.如权利要求3所述的方法，其中所述统计分布是非参数化分布。


5.如权利要求4所述的方法，其中所述非参数化分布是基于先前恢复的数据确定的。


6.如权利要求3所述的方法，其中所述统计分布是参数化分布。


7.如权利要求6所述的方法，其中所述参数化分布是基于先前恢复的数据确定的。


8.如权利要求1所述的方法，其中所述预定位数是基于先前压缩的数据或噪声的期望水平确定的。


9.如权利要求1所述的方法，其还包括：
经由软件传递的参量接收所述预定位数。


10.一种数据存储和检索系统，其包括：
存储器；以及
处理器，其通信地耦合到所述存储器，其中所述处理器：
从所述存储器检索数据，
截断预定位数的所述数据以形成截断的数据；
压缩所述截断的数据以形成压缩的数据；以及
将所述压缩的数据存储在所述存储器中或将所述压缩的...

【专利技术属性】
技术研发人员：加布里埃尔·H·罗，
申请(专利权)人：超威半导体公司，
类型：发明
国别省市：美国;US