一种基于离散余弦变换的自适应数据压缩方法及系统技术方案

本发明专利技术涉及一种基于离散余弦变换的自适应数据压缩方法及系统。以离散余弦变换（DCT）为核心，利用其能量集中的特性，对频域系数进行选择和处理，将数据分为大系数数据块和小系数数据块，小系数数据块用较少的比特表示，而将更多的比特用于能量高、重要的系数的表示上面；同时，为了使该算法能够自适应地找到最佳的比特分配，学习最优的码本，算法还引入了启发式算法、Lloyd‑Max量化、编码等常用的压缩编码方法的选择和使用。本发明专利技术能够降低传输带宽，同时降低传输设备的成本，提升传输速率。

【技术实现步骤摘要】
一种基于离散余弦变换的自适应数据压缩方法及系统
本专利技术涉及数据压缩
，尤其是LTE基站系统通用公共射频接口(CPRI)的信号样点数据(简称IQ数据，同时I路数据指信号样点数据的实部数据，Q路数据指信号样点数据的虚部数据)的压缩方法及装置，具体为一种基于离散余弦变换的自适应数据压缩方法及系统。
技术介绍
随着移动通信技术的发展，高速大容量的数据传输是一个必然的趋势。数据量的增大，对基站的光纤数据传输速度也提出了更高要求。当单根光纤无法满足传输速率时，只能通过提高光纤速率或增加光纤数量的方法实现高速数据传输。这两种方式都会增加设备成本。LTE(LongTermEvolution，长期演进)基站是一种分布式基站设备，由基带单元设备(BaseBandUnit，BBU)及射频远端设备(RemoteRFUnit，RRU)构成。RRU与BBU之间通过光纤连接，采用通用公共射频接口协议进行数据交互。LTE系统中要实现BBU和多个RRU间的网络化组网连接将占用大量的传输带宽，目前的传输接入网传输带宽难以满足，针对基带处理单元和射频拉远单元之间的IQ数据进行压缩是非常值得研究的降低接口带宽的方法。LTE旨在提升无线网络的数据传输速率，降低用户平面和控制平面延迟。为了满足这些需求，LTE采用了新技术和调制方法，支持以OFDM(OrthogonalFrequencyDivisionMultiplexing，正交频分复用技术)和MIMO(MultipleInputMultipleOutput，多输入多输出)技术为核心的无线网络技术。OFDM信号是随机幅度和相位信号的叠加，往往具有较高的峰均平均功率比(PAPR)，大部分的信号峰值在很小的范围内，只有很少的信号峰值起伏很大。LTE系统CPIR接口的IQ数据的大部分的信号峰值在很小的范围内，只有很少的信号峰值起伏很大，如果采取普通的相同位数编码，信号的最大值决定了编码的位数，而其余小幅值信号编码时高位均为0。这样编码效率极其低下，并且增加了传输负担。在此背景下我们提出一种算法。该算法是以离散余弦变换(DCT)为核心，利用其能量集中的特性，对频域系数进行选择和处理，将数据分为大系数数据块和小系数数据块，小系数数据块用较少的比特表示，而将更多的比特用于能量高、重要的系数的表示上面。同时，为了使该算法能够自适应地找到最佳的比特分配，学习最优的码本，算法还引入了启发式算法、Lloyd-Max量化、编码等常用的压缩编码方法的选择和使用。算法流程大致如图3所示，对于用于图像压缩的二维离散余弦变换，对于LTE基带信号，我们可以采用行列分离的算法，即I路数据和Q路数据分别进行离散余弦变换，这样就可以直接利用一维DCT快速运算子程序或硬件结构，实现起来比较容易。
技术实现思路
本专利技术的目的在于提供一种基于离散余弦变换的自适应数据压缩方法及系统，降低传输带宽，同时降低传输设备的成本，提升传输速率。为实现上述目的，本专利技术的技术方案是：一种基于离散余弦变换的自适应数据压缩方法，包括如下步骤，步骤S1：设定第一缓存区，分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到缓存区容量时，完成缓存，进行下一步处理；步骤S2：将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本，进行下一步操作；步骤S3：将处理后的三块学习样本输入学习模块，根据学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；步骤S4：数据压缩：将待发送的IQ时域信号样点数据输入第二缓存区，缓存完成后对信号进行离散余弦变换，转换为频域信号样点数据，对变换后的频域信号样点数据进行分块处理，平均分成三块数据；将分块后的三块数据根据学习模块输入的三个最优码本分别进行量化，编码，然后发送；步骤S5：数据解压：将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；将解码后的三块频域信号合并成一块数据；将合并后的频域信号数据进行反DCT变换，从而还原信号。在本专利技术一实施例中，所述动作选择库中包含着不同的压缩比率对应的分别对三块数据量化的比特数。在本专利技术一实施例中，所述步骤S3的具体实现过程如下，步骤S31：将处理过的三块数据作为学习样本输入学习模块，并采用Q学习算法来学习最优码本；步骤S32：根据需求输入压缩比率，根据压缩比率得出学习模块的状态动作表；步骤S33：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；步骤S34：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；步骤S35：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；步骤S36：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；步骤S37：学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。在本专利技术一实施例中，所述步骤S4的具体实现过程如下，步骤S41：将待发送的IQ数据发送至第二缓存区，待第二缓存区存储完毕之后对缓存区内的IQ数据执行下一步处理，并清空第二缓存区，准备下一次缓存；步骤S42：对缓存的IQ两路数据块分别进行DCT变换；步骤S43：将DCT变换后的频域数据平均分为三块，输入至压缩编码模块中；步骤S44：根据先前从学习模块中接收到的三个最优码本分别对三块数据进行量化；步骤S45：对量化后的数据进行编码，打包，然后通过光纤传送至数据解压模块。在本专利技术一实施例中，所述步骤S5的具体实现过程如下，步骤S51：根据学习模块输入的三个最优码本对接收到的三块数据码字进行解码；步骤S52：将解码后的三块数据进行合并，合并成一块数据；步骤S53：对合并后的数据进行离散余弦逆变换，将频域数据还原成时域数据；步骤S54：将还原后的数据输入至射频处理单元。本专利技术还提供了一种基于离散余弦变换的自适应数据压缩系统，包括离线学习模块，该离线学习模块包括第一缓存区、第一时频变换区、第一数据分块区、量化学习区；所述第一缓存区，用于分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信本文档来自技高网...

【技术保护点】
一种基于离散余弦变换的自适应数据压缩方法，其特征在于：包括如下步骤，步骤S1：设定第一缓存区，分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到缓存区容量时，完成缓存，进行下一步处理；步骤S2：将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本，进行下一步操作；步骤S3：将处理后的三块学习样本输入学习模块，根据学习模块设定的动作选择库选择动作进行Lloyd‑Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；步骤S4：数据压缩：将待发送的IQ时域信号样点数据输入第二缓存区，缓存完成后对信号进行离散余弦变换，转换为频域信号样点数据，对变换后的频域信号样点数据进行分块处理，平均分成三块数据；将分块后的三块数据根据学习模块输入的三个最优码本分别进行量化，编码，然后发送；步骤S5：数据解压：将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；将解码后的三块频域信号合并成一块数据；将合并后的频域信号数据进行反DCT变换，从而还原信号。...

【技术特征摘要】
1.一种基于离散余弦变换的自适应数据压缩方法，其特征在于：包括如下步骤，步骤S1：设定第一缓存区，分别缓存待发送的IQ两路时域信号样点数据；当缓存的待发送的时域信号样点数据的样点数达到缓存区容量时，完成缓存，进行下一步处理；步骤S2：将第一缓存区中的时域信号样点数据转换为频域信号样点数据，即通过离散余弦变换将所述时域信号样点数据转换为频域信号样点数据，根据离散余弦变换能量汇聚的特性，对频域信号样点数据进行分块处理，将频域信号样点数据平均分为数据量相同的三块，但每块数据的DCT系数分布不同，其中高频数据块中数据包含较大的DCT系数，低频数据块中数据包含较小的DCT系数，将该三块数据作为学习样本，进行下一步操作；步骤S3：将处理后的三块学习样本输入学习模块，根据学习模块设定的动作选择库选择动作进行Lloyd-Max最优量化，生成量化后的信号，计算对应的回报值和Q值，如此迭代更新Q值表，直至Q值收敛，学习结束，得到三块数据分别对应的最佳量化比特数，生成最优码本；步骤S4：数据压缩：将待发送的IQ时域信号样点数据输入第二缓存区，缓存完成后对信号进行离散余弦变换，转换为频域信号样点数据，对变换后的频域信号样点数据进行分块处理，平均分成三块数据；将分块后的三块数据根据学习模块输入的三个最优码本分别进行量化，编码，然后发送；步骤S5：数据解压：将接收到的压缩码字根据学习模块输入的最优码本进行解码，得到解码后的三块块频域信号；将解码后的三块频域信号合并成一块数据；将合并后的频域信号数据进行反DCT变换，从而还原信号。2.根据权利要求1所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述动作选择库中包含着不同的压缩比率对应的分别对三块数据量化的比特数。3.根据权利要求1所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述步骤S3的具体实现过程如下，步骤S31：将处理过的三块数据作为学习样本输入学习模块，并采用Q学习算法来学习最优码本；步骤S32：根据需求输入压缩比率，根据压缩比率得出学习模块的状态动作表；步骤S33：初始化Q函数值表中的所有Q函数值，Q函数值初值的选取为任意值；步骤S34：对于初始状态压缩比率sn，通过查询Q函数值表，依据动作选择策略，选择动作组压缩比特an作为初始状态；初始状态下可从状态动作表中随机选择一组动作执行，即选择一组量化比特组对处理后的三块数据进行Lloyd-Max最优量化；步骤S35：将量化后的数据与原数据进行对比计算，根据公式r＝SNR/EVM计算得出当前动作的即时回报值；步骤S36：根据下式更新状态－动作对(sn，an)所对应的Q函数值，并更新Q值表；Qt+1(s,a)＝(1-α)Qt(s,a)+α[rt+γmaxQt(s',a')]其中，α是学习因子，其作用是控制学习的速度；智能体在执行完所选的动作后，观察新的状态和回报，然后根据新状态的最大Q值和回报来更新上一个状态和动作的Q值；步骤S37：学习模块将不断根据新的状态选择动作，重复步骤S34，通过不断的反复学习优化一个可以迭代计算的Q函数提高学习能力，直至Q函数值收敛，学习结束；最终得到三块数据所对应的最优码本。4.根据权利要求3所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述步骤S4的具体实现过程如下，步骤S41：将待发送的IQ数据发送至第二缓存区，待第二缓存区存储完毕之后对缓存区内的IQ数据执行下一步处理，并清空第二缓存区，准备下一次缓存；步骤S42：对缓存的IQ两路数据块分别进行DCT变换；步骤S43：将DCT变换后的频域数据平均分为三块，输入至压缩编码模块中；步骤S44：根据先前从学习模块中接收到的三个最优码本分别对三块数据进行量化；步骤S45：对量化后的数据进行编码，打包，然后通过光纤传送至数据解压模块。5.根据权利要求4所述的一种基于离散余弦变换的自适应数据压缩方法，其特征在于：所述步骤S5的具体实现过程如下，步骤S51：根据学习模块输入的三个最优码本对接收到的三块数据码字进行解码；步...

【专利技术属性】
技术研发人员：黄联芬，苏毓涵，冯陈伟，唐余亮，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35