一种高效无损的内存压缩方法及其系统技术方案

本发明专利技术公开一种高效无损的内存压缩方法及其系统，获取系统的输入的原始压缩信号；将原始压缩信号直接存入内存并在时间维度上建立大量的缓存；后续单元需要数据时，对内存中存储的压缩信号进行即用即解处理，并将解压缩后所需的数据存放到临时空间VBUF中；信号处理单元从临时空间VBUF中读取所需要的信号进行相应的信号处理。本发明专利技术直接复用输入压缩数据，即用即解的设计在保证数据无损的前提下，提供了超高的压缩效率，有效减少了内存存储空间和带宽。间和带宽。间和带宽。

【技术实现步骤摘要】
一种高效无损的内存压缩方法及其系统


[0001]本专利技术涉及内存压缩
，尤其涉及一种高效无损的内存压缩方法及其系统。

技术介绍

[0002]如图1所示，在传统视频和图像处理系统中，内存的带宽和存储容量相对于处理任务来说绰绰有余，因此一般系统的中间结果都是直接存储到内存中，如下图左边所示。
[0003]如图2所示，但在高数据量吞吐的系统中，如显卡GPU，视频图像AI系统中，系统内部缓存的图像数据往往会占用大量的内存空间，使得内存带宽和内存容量称为瓶颈。值得注意的是，这些视频和图像数据往往本身就来源于各种压缩格式的视频和图像内容。因此，为了节约内存存储空间或减少内存读取带宽，系统结构就如上图右边所示，研究人员提出了各种无损压缩算法和技术来实现内存压缩的目的。因为通过内存的数据流量大，延时要求小，这类算法通常都要求便于硬件实现。这类算法主要分成两类，一类是面向图像数据设计的压缩技术，如ARM的AFBC[1](ARM帧缓存压缩)，ATSC[2]（自适应可伸缩纹理压缩），JPEG
‑
LS[3](无损jpeg压缩)等，这类压缩技术专门针对图像数据的特点设计，压缩以块为单位，压缩效率较高。另一类是面向通用数据设计的压缩技术，如LZW[4]算法、LZMA[5]等基于字典的压缩算法。这类压缩技术面向通用数据，去除数据前后之间的相关性来进行压缩。
[0004]目前的内存压缩技术，无论哪类，都需要对数据重新进行压缩，即硬件上需要设计一对压缩和解压缩单元。而实际图像和视频分析系统中，为了便于传输，原始的输入数据都是压缩数据，在现有系统中，都是将压缩数据先进行解码，然后将解压缩后的数据在写入内存时，重新用新设计的无损压缩进行数据压缩，在内存读出时使用对应的解压缩单元进行处理。这样带来三个问题：1）在数据写入时需要设计额外的数据压缩单元，增加写入延迟；2）考虑到数据需要无损压缩，压缩后数据量要远远大于原始输入的压缩数据。即使是第一类专门针对图像数据设计的压缩技术，无损压缩只能平均做到2倍，而原始输入的压缩数据可以达到上百倍的压缩；3）压缩算法上不能与原系统固有的图像或视频解压缩单元复用，增加芯片设计在IP授权和面积上的成本。

技术实现思路

[0005]本专利技术的目的在于提供一种高效无损的内存压缩方法及其系统。
[0006]本专利技术采用的技术方案是：一种高效无损的内存压缩方法及其系统，其包括以下步骤：步骤1、获取系统的输入的原始压缩信号；步骤2、将原始压缩信号直接存入内存并在时间维度上建立大量的缓存；因为直接存储原始压缩信号，相比于常规的存储解压缩信号或者无损压缩信号，不需要额外的压缩步骤，并且同等时间长度下，所需的内存容量可节约几十到上百倍。
[0007]步骤3、后续单元需要数据时，对内存中存储的压缩信号进行即用即解处理，并将
解压缩后所需的数据存放到临时空间VBUF中；步骤4、信号处理单元从临时空间VBUF中读取所需要的信号进行相应的信号处理。
[0008]进一步地，步骤1中的原始压缩信号为视频或者图像压缩信号，如JPEG格式图片，H264视频码流等，为了便于存储和传输，这种压缩信号为有损压缩，压缩率往往远大于无损压缩的压缩倍数。
[0009]进一步地，步骤3中使用超高速硬件解压缩单元对存储的压缩信号即用即解。当后续信号处理单元需要数据时，将所需的数据存放到临时空间VBUF中。
[0010]进一步地，临时空间VBUF的存储介质为内存、硬盘或者片上存储器。
[0011]具体而言，临时空间VBUF的存储介质不仅仅局限于内存，可以为硬盘、内存或者片上SRAM，根据应用的处理速度要求，可以灵活选择。VBUF的空间要求，只需要满足当前信号处理单元所需要的信号大小即可。
[0012]一种高效无损的内存压缩的系统，其包括依次连接的信号输入单元、内存单元、硬件解压缩单元、临时空间VBUF和信号处理单元；原始压缩信号接入信号输入单元，信号输入单元用于将获取的原始压缩信号直接存入内存单元，内存单元用于存储原始压缩信号以在时间维度上建立大量的缓存；硬件解压缩单元用于对内存单元中存储的压缩信号进行即用即解的硬件高速解压缩处理，并将解压缩后数据存入临时空间VBUF；信号处理单元用于从临时空间VBUF中读取所需要的数据信号进行相应的信号处理。
[0013]本专利技术采用以上技术方案，与传统的无损内存压缩技术相比，本专利技术专利具有以下明显的优势：1、具有更高的压缩效率。所需内存大小比无损内存压缩技术可节约几十到上百倍。2、无需增加额外的无损压缩单元即可达到内存压缩的目的，系统简单。3、内存直接存储输入的压缩信号，没有额外的写延迟。
附图说明
[0014]以下结合附图和具体实施方式对本专利技术做进一步详细说明；图1为传统视频图像处理系统示意图；图2为现有的高数据吞吐的视频图像处理系统示意图；图3为本专利技术一种高效无损的内存压缩方法的流程示意图；图4为本专利技术一种高效无损的内存压缩系统的结构示意图。
具体实施方式
[0015]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图对本申请实施例中的技术方案进行清楚、完整地描述。
[0016]在现代视频/图像分析系统中，AI分析算法对带宽和内存空间的巨大需求往往是整体系统优化的焦点，内存带宽的瓶颈限制了整体系统性能提升，而内存的成本占整体系统成本的很大一部分。本专利技术技术方案提出直接复用输入压缩数据，即用即解的设计思想，在保证数据无损的前提下，提供了超高的压缩效率，有效减少了内存存储空间和带宽，并无需增加额外的IP设计或费用。从而为解决了这类系统中最关键的内存带宽和内存空间问题，提供了新的思路。
[0017]本专利技术的实现是建立在输入压缩信号的超高速解码基础之上的。现代集成电路技
术的高速发展，为这类信号的超高速解码性能提供了保证，使本专利技术的内存压缩的技术方案中即用即解的设计思想成为现实。
[0018]如图3或4所示，本专利技术公开了一种高效无损的内存压缩方法，其包括以下步骤：步骤1、系统的输入信号为压缩信号。这种压缩信号通常为视频或者图像压缩信号，如JPEG格式图片，H264视频码流等，为了便于存储和传输，这种压缩信号为有损压缩，压缩率往往远大于无损压缩的压缩倍数。
[0019]步骤2、直接将原始压缩信号存入内存，在时间维度上建立大量的缓存。因为直接存储原始压缩信号，相比于常规的存储解压缩信号或者无损压缩信号，不需要额外的压缩步骤，并且同等时间长度下，所需的内存容量可节约几十到上百倍。
[0020]具体地，建立大量缓存用于跟踪去重等算法。常规做法是将解压缩后的数据建立几十到上百帧的缓存，占用大量的内存和带宽。而专利方案是直接将未解压缩前信号缓存，这样缓存在时间维度上虽然更多了，但是实际的数据量反而少，读取的带宽也减少了。常规的做法好处是使用的时候数据和数据之间没有依赖，可以迅速获取，而专利方案要依托超高速解压缩单元即用即解。过去一般的优化做法是对解码数据重新本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种高效无损的内存压缩方法，其特征在于：其包括以下步骤：步骤1、获取系统输入的原始压缩信号；步骤2、将原始压缩信号直接存入内存并在时间维度上建立大量的缓存；步骤3、信号处理单元需要数据时，对内存中存储的压缩信号进行即用即解处理并将解压缩后所需的数据存放到临时空间VBUF中；步骤4、信号处理单元从临时空间VBUF中读取所需要的数据信号进行相应的信号处理。2.根据权利要求1所述的一种高效无损的内存压缩方法，其特征在于：步骤1中的原始压缩信号为视频或者图像压缩信号。3.根据权利要求1所述的一种高效无损的内存压缩方法，其特征在于：原始压缩信号为JPEG格式图片或H264、HEVC视频码流。4.根据权利要求1所述的一种高效无损的内存压缩方法，其特征在于：步骤3中使用超高速硬件解压缩单...

【专利技术属性】
技术研发人员：张力，李迅，
申请(专利权)人：北京算能科技有限公司，
类型：发明
国别省市：