用于压缩数据流的方法和装置制造方法及图纸

本实施例涉及用于压缩数据流的方法和装置。在实施例中，一种方法包括计算矩阵数据的分解以生成特征矢量和相关联的特征值，基于对特征值进行加权来确定特征矢量的簇，针对每个簇计算特征矢量质心，以便生成质心的字典，并且分别用标签来标记特征矢量，标签针对每个特征矢量标识相关联的特征矢量质心。该方法还包括对与每个特征矢量质心相关联的特征矢量的数目进行计数以构建质心的概率分布函数(PDF)，将质心的PDF与PDF模板匹配以确定最接近匹配的PDF模板，确定与最接近匹配的PDF模板相对应的编码器，其中标识相对应的编码器标识符，利用编码器对标签进行编码以生成经编码的数据流，并且传输经编码的数据流、编码器标识符、质心的字典以及特征值。

Method and apparatus for compressing data stream

【技术实现步骤摘要】
用于压缩数据流的方法和装置相关申请的交叉引用本申请要求于2019年4月30日提交的名称为“经由概率分布函数(PDF)压缩传入数据流的方法和装置”的美国第62/841,207号临时申请，以及于2019年4月30日提交的名称为“使用硬件加速器块的压缩引擎来压缩传入数据流的方法和装置”的美国第62/841,202号临时申请的优先权，它们的全部内容通过整体引用并入本文。
本专利技术的示例性实施例涉及数据传输。更具体地，本专利技术的示例性实施例涉及压缩和解压缩数据流以用于数据传输。
技术介绍
随着通过高速通信网络(诸如LTE或5G蜂窝服务)的移动和远程数据访问的快速增长的趋势，准确地递送和解密数据流变得越来越具有挑战性并且越来越困难。能够递送信息的高速通信网络包括但不限于无线网络、蜂窝网络、无线个人局域网(WPAN)、无线局域网(WLAN)、或无线城域网(WMAN)。数据传输的问题和考虑不限于通过有线或无线系统互连进行数据传输，还甚至扩展到通过一个集成电路或片上系统(SOC)设备上的电路系统之间的互连来进行数据的传输。随着数据速率增加且通过系统互连流动的数据量增加，用于有效地传输数据的系统正变得越来越重要。因此，期望有一种机制，可以被用于通过系统互连有效地传输数据。
技术实现思路
在各种实施例中，提供了用于压缩和解压缩用于通过系统互连来传输的数据的方法和装置。例如，提供了实现数据压缩以减少通过系统互连的业务的数据压缩加速器(DCA)。该方法和装置还可以被用于压缩用于通过有线或无线连接传输的数据。在接收经压缩数据的接收器处，接收具有经压缩数据的标识符，该标识符被用于标识待被用于恢复原始数据的解压缩的类型。因此，实现了通过系统互连的有效数据传输。在一个实施例中，数据压缩加速器能够处理和压缩通过无线通信网络待被传输的传入信息。在接收信息流时，计算与信息流相关联的概率分布函数(PDF)。在将PDF与被存储在本地存储器中的一组预定义的PDF(模板)进行匹配之后，从该组预定义的PDF中选择最接近匹配的PDF。一方面，与最接近匹配的PDF相关联的编码器被用于压缩(编码)信息流。经编码的流和标识编码器的标识符被传输到接收电路或设备。接收电路或设备使用编码器标识符来标识被用于解压缩经编码的流的解码器。在一个实施例中，提供了一种用于对信息进行编码的方法。该方法包括计算针对标量数据的概率分布函数(PDF)，将PDF与PDF模板匹配以确定最接近匹配的PDF模板，以及确定与最接近匹配的PDF模板相对应的编码器，使得对应的编码器标识符被确定。该方法还包括利用编码器对该标量数据编码以生成经编码的流，并且传输经编码的流和编码器标识符。一方面，编码器是提供无损数据压缩的熵编码器。例如，一种类型的熵编码器创建唯一的无前缀代码并将其分配给在输入中出现的每个唯一的符号。然后，通过用对应的可变长度的无前缀输出代码字来替换每个固定长度的输入符号，以此来压缩数据。每个代码字的长度与概率的负对数近似成比例。因此，最常见的符号使用最短的代码。在一个实施例中，提供了一种用于对矢量信息进行编码的方法。该方法包括将接收到的矢量数据分区为多个区间，确定针对每个区间的质心(centroid)，形成质心的字典，对每个区间中的数据矢量进行计数，以构建质心的概率分布函数(PDF)，并且将质心的PDF与PDF模板进行匹配以确定最接近匹配的PDF模板。该方法还包括：确定与最接近匹配的PDF模板相对应的编码器，使得相对应的编码器标识符被标识；使用矢量标签将矢量量化到质心；利用编码器对矢量标签编码以生成经编码的数据流；以及发送经编码的流、编码器标识符和字典。一方面，编码器是提供无损数据压缩的编码器。在实施例中，提供了一种用于对信息进行编码的装置，其包括：计算与输入数据相关联的PDF的概率分布函数(PDF)计算电路、将PDF与PDF模板匹配以确定最接近匹配的PDF模板的匹配电路，并且确定与最接近匹配的PDF模板相对应的编码器，其中相对应的编码器标识符被确定。该装置还包括编码电路，该编码电路利用编码器对输入数据进行编码以生成经编码的流，并且发送经编码的流和编码器标识符。在实施例中，一种用于压缩矩阵数据的方法，包括计算矩阵数据的分解以生成特征矢量和相关联的特征值，基于对特征值进行加权来确定特征矢量的簇，计算针对每个簇的特征矢量质心，使得生成质心的字典，并且分别用标签来标记特征矢量，标签标识每个特征矢量的相关联的特征矢量质心。该方法还包括对与每个特征矢量质心相关联的特征矢量的数目进行计数以构建质心的概率分布函数(PDF)，将质心的PDF与PDF模板匹配以确定最接近匹配的PDF模板，确定最接近匹配的PDF模板相对应的编码器，其中相对应的编码器标识符被标识，利用编码器对标签进行编码以生成经编码的数据流，并且传输经编码的数据流、编码器标识符、质心的字典和特征值。在一个实施例中，提供了一种用于解压缩矩阵数据的方法。该方法包括接收经编码的数据流、编码器标识符、质心的字典和特征值，基于编码器标识符来确定解码器，以及使用解码器对经编码的数据流进行解码以获得标签。该方法还包括使用该字典将标签转换为质心序列，并且根据质心和特征值重构矩阵数据。根据以下阐述的详细描述、附图和权利要求，本专利技术的示例性实施例的附加特征和益处将变得明显。附图说明根据以下给出的详细描述以及根据本专利技术的各种实施例的附图，将更全面地理解本专利技术的示例性方面，然而，这些示例性方面不应被理解为将本专利技术限制于特定实施例，而是仅用于解释和理解。图1示出了具有发射器和接收器的通信网络，发射器包括数据压缩加速器的示例性实施例，以及接收器包括数据解压缩加速器的示例性实施例，该通信网络提供通过系统互连对标量或矢量数据进行的有效传输。图2示出了在图1中示出的数据压缩加速器和数据解压缩加速器的示例性的详细实施例。图3示出了图2的数据压缩加速器的示例性备选实施例，该数据压缩加速器被配置为对矢量数据进行编码。图4示出了与标量和矢量数据相关联的PDF模板的示例性实施例。图5示出了用于对通过系统互连待被传输的标量或矢量数据进行数据压缩的示例性方法。图6示出了用于对通过系统互连接收的标量数据进行数据解压缩的示例性方法。图7示出了用于对通过系统互连接收的矢量数据进行数据解压缩的示例性方法。图8示出了用于压缩标量或矢量数据的示例性装置。图9A示出了根据本专利技术的、被压缩以用于有效传输的矩阵的实施例。图9B示出了发射器和接收器的实施例，发射器包括矩阵数据压缩加速器的示例性实施例，接收器包括矩阵数据解压缩加速器的示例性实施例，该实施例提供了通过系统互连对矩阵数据进行的有效传输。图10示出了矩阵数据压缩加速器的示例性的详细实施例，该矩阵数据压缩加速器被配置为压缩矩阵数据。图11示出了矩阵数据解压缩加速器的示例性的详细实施例，该矩阵数据解压缩加速器被配置为解压缩矩阵数据。图12示出了用于压缩矩阵数据的示例性方法。...

【技术保护点】
1.一种用于对信息进行编码的方法，所述方法包括：/n计算矩阵数据的分解，以生成特征矢量和相关联的特征值；/n基于对所述特征值进行加权，确定所述特征矢量的簇；/n计算针对每个簇的特征矢量质心，其中质心的字典被生成；/n分别利用标签来标记所述特征矢量，所述标签标识针对每个特征矢量的相关联的特征矢量质心；/n对与每个特征矢量质心相关联的特征矢量的数目进行计数，以构建质心的概率分布函数PDF；/n将所述质心的PDF与PDF模板进行匹配，以确定最接近匹配的PDF模板；/n确定与所述最接近匹配的PDF模板相对应的编码器，其中对应的编码器标识符被标识；/n利用所述编码器对所述标签进行编码以生成经编码的数据流；以及/n传输经编码的所述数据流、所述编码器标识符、所述质心的字典及所述特征值。/n

【技术特征摘要】
20190430 US 62/841,207;20190430 US 62/841,202;20201.一种用于对信息进行编码的方法，所述方法包括：
计算矩阵数据的分解，以生成特征矢量和相关联的特征值；
基于对所述特征值进行加权，确定所述特征矢量的簇；
计算针对每个簇的特征矢量质心，其中质心的字典被生成；
分别利用标签来标记所述特征矢量，所述标签标识针对每个特征矢量的相关联的特征矢量质心；
对与每个特征矢量质心相关联的特征矢量的数目进行计数，以构建质心的概率分布函数PDF；
将所述质心的PDF与PDF模板进行匹配，以确定最接近匹配的PDF模板；
确定与所述最接近匹配的PDF模板相对应的编码器，其中对应的编码器标识符被标识；
利用所述编码器对所述标签进行编码以生成经编码的数据流；以及
传输经编码的所述数据流、所述编码器标识符、所述质心的字典及所述特征值。


2.根据权利要求1所述的方法，其中所述编码器是熵编码器。


3.根据权利要求1所述的方法，还包括在数据库中维持所述PDF模板。


4.根据权利要求1所述的方法，其中所述匹配操作包括：
访问所述数据库以获得所述PDF模板；以及
使用KL(Kullback-Leibler)散度将所述质心的PDF与所述PDF模板进行匹配，以确定所述最接近匹配的PDF模板。


5.根据权利要求1所述的方法，其中所述传输操作还包括：通过有线链路和无线链路中的至少一种链路，传输经编码的所述数据流、所述编码器标识符、所述质心的字典以及所述特征值。


6.根据权利要求1所述的方法，还包括：
接收经编码的所述数据流、所述编码器标识符、所述质心的字典以及所述特征值；
基于所述编码器标识符确定解码器；
使用所述解码器对经编码的所述数据流进行解码，以获得所述标签。
使用所述字典将所述标签转换为质心的序列；以及
根据所述质心的序列和所述特征值重构所述矩阵数据。


7.根据权利要求6所述的方法，其中所述确定所述解码器的操作包括：使用所述编码器标识符访问解码器数据库以确定所述解码器。


8.一种用于对信息进行编码的装置，所述装置包括：
分解电路，所述分解电路计算矩阵数据的分解，以生成特征矢量和相关联的特征值；
特征矢量聚类电路，所述特征矢量聚类电路基于对所述特征值进行加权来确定所述特征矢量的簇；
特征矢量质心计算电路，所述特征矢量质心计算电路计算针对每个簇的特征矢量质心，其中质心的字典被生成；
特征矢量量化电路，所述特征矢量量化电路生成针对所述特征矢量的标签，所述标签标识针对每个特征矢量的相关联的特征矢量质心；
概率分布函数PDF计算电路，所述概率分布函数PDF计算电路对与每个特征矢量质心相关联的特征矢量的数目进行计数，以构建质心的概率分布函数PDF；
PDF匹配电路，所述PDF匹配电路将所述质心的PDF与PDF模板进行匹配，以确定最接近匹配的PDF模板，并确...

【专利技术属性】
技术研发人员：K·R·帕萨德，H·金，
申请(专利权)人：马维尔亚洲私人有限公司，
类型：发明
国别省市：新加坡;SG