非稳态数据实时采集数据深度压缩方法技术

本发明专利技术涉及一种非稳态数据实时采集数据深度压缩方法，属于数据压缩技术领域，包括以下步骤：S1：初始化；S2：模数转换；S3：FPGA接收ADC的AD转换值DI，计算中间比较变量DR与转换值DI的差值；S4：判断|DR‑DI|≤DL，若是，重复个数n＝n+1，若否，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16‑N为一起写入外部存储器，buff缓存器清零，将DI值写入buff缓存器的低N位，高16‑N位记录当前重复个数n；S5：buff中高16‑N位重写，低N位的数据重写，比较值DR保持不变，重复个数n重新写到高16‑N位中；S6：重复步骤S3‑S5，直到完成采集。

【技术实现步骤摘要】
非稳态数据实时采集数据深度压缩方法
本专利技术属于数据压缩
，涉及一种非稳态数据实时采集数据深度压缩方法。
技术介绍
随着智能电网的不断建设发展，电力系统中的在线监测技术也愈来愈重要，其中包括了电能质量监测、过电压过电流监测、电网暂态瞬态监测等，在线监测技术很重要的一个环节就是录波装置的设计。波形数据的记录，不仅仅能够用于系统保护、故障分析，同时为智能电网的研究提供大量的数据支持。海量的电力数据需要在有限的存储空间内保存一定的时间，以及在进行数据传输前,这都需要对相应的波形数据进行压缩。目前，图像压缩处理的技术也应用到了电力系统数据的处理领域。由于电力系统的数据具有自身固有的特点：电力系统中电压、电流信号具有周期性；电力系统中电压电流值的范围可以确定；电力系统数据冗余量较大，对其波形还原的精度要求不高，但仍能反映系统故障的基本特征；故障时波形频率成分复杂。因此，现有的电力数据压缩方法主要有游程编码、哈夫曼编码、傅里叶变换编码、LZSS编码、小波变换等。其中傅里叶变换、小波变换是利用数据变换算法将是与信号转换为频域信号，利用频率的集中性来压缩相应数据，它们的压缩比一般较大，但是容易丢失数据，并且进行频域变换时，需要进行大量的计算；游程编码、LZSS编码是利用数据的重复性的特点来进行数据压缩，由于是无损压缩，所以对数据的压缩效果不一定好，并且其算法也比较复杂，占用较多的CPU资源和时间。针对在电力设备附近的只有小容量存储器的监测装置，其实时性和提高数据压缩比是矛盾的，对于含有多种频率成分的非稳态数据的高频采集，上述数据压缩方法的算法都太复杂，占用太多的CPU资源和处理时间。例如在记录电力系统外部过电压波形时，其采样频率高达2MHz以上，这就要求了现场处理器的数据处理时间不能太长，否则装置的快速性将大大降低，影响过电压监测系统的性能。此外，非稳态数据的变频采集，虽然在一定程度上减小了存储器的压力，但是在波形记录的完整性方面存在较大的缺陷。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种非稳态数据实时采集数据深度压缩方法，在保证波形恢复精度的同时，对波形数据进行压缩，减小数据量，方便小容量存储器对波形数据的记录。为达到上述目的，本专利技术提供如下技术方案：一种非稳态数据实时采集数据压缩方法，基于FPGA平台和硬件描述语言，所述FPGA平台分别连接至模数转换器ADC和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，包括以下步骤：S1：初始化FPGA系统参数；S2：启动ADC进行模数转换；S3：FPGA接收ADC的AD转换值DI，并计算中间比较变量DR与转换值DI的差值；S4：判断|DR-DI|≤DL，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16-N为一起写入外部存储器，随后buff缓存器清零，将此时的DI值写入buff缓存器的低N位，高16-N位记录当前重复个数n；S5：buff中高16-N位重写，在buff空间的原16位存储字中，低N位的数据重写，为累加值，比较值DR保持不变，重复个数n重新写到高16-N位中，执行步骤S6；S6：重复步骤S3-S5，直到完成采集。进一步，步骤S1中FPGA系统参数包含：系统时钟初始化、相关寄存器初始化、buff缓存器和存储器及地址指针清零、设置AD模式、设置采样频率控制字和设置采样长度，其中，中间比较变量DR，范围参考量DL均由初始化程序给出。进一步，步骤S5中认为实时数据DI与比较变量DR的差值在不大于范围参考量DL时是同一数据，重复个数n＝n+1。进一步，最终记录在外部存储器的数据是n个“重复”数据的平均值，能更好反映原始波形的变化情况。进一步，当buff缓存器清零后，新写入的数据DI的重复个数n＝1。进一步，所述外部储存器的数据溢出后，则将新数据覆盖旧数据，继续进行采集工作。本专利技术的有益效果在于：1、提高了波形数据的完整性，对于非稳态信号，可以采用单一高频采样，能够对信号的各个频率成分的波形数据进行完整采集，能够同时适应多种过电压信号的完整采集；2、提高了小容量存储器存储的数据量，该数据压缩方法减小了高频采样下非稳态波形数据的冗余度，提高了小容量存储器的空间利用率。3、数据压缩算法简单，此算法相对于其他数据压缩算法，在N位模数转换器下，有效利用了16位存储字的16-N个剩余位，压缩和解压算法简单，并且保存有时基信息，便于波形恢复。4、提高了监测系统性能，此算法简单易行，节省了CPU资源，处理时间短，在高频工作模式下提高了监测装置的实时性、快速性。5、提高了系统的抗干扰能力。该方法对模拟信号的纹波波动有一定的抑制作用。6、应用范围广，该非稳态数据实时采集的数据压缩方法还能够应用于其他领域数字数据的初步压缩。附图说明为了使本专利技术的目的、技术方案和有益效果更加清楚，本专利技术提供如下附图进行说明：图1为本专利技术实施例所述的波形采样装置的硬件结构图；图2为本专利技术实施例所述的压缩算法位数变换示意图；图3为本专利技术实施例所述的压缩算法流程框图。具体实施方式下面将结合附图，对本专利技术的优选实施例进行详细的描述。本专利技术提出的一种针对非稳态信号的实时数据采集的数据深度压缩方法，充分结合了非稳态波形多频率成分的特点，能够有效减小非稳态波形的数据冗余度，提高位于监测现场的小容量存储器的空间利用率。通常存储器对数字数据的存储采用16位双字节的方式，在对波形数据采样时需要用到AD转换器，其位数一般为小于16位的转换器，因此直接用16位空间来存储小于16位的数据存在极大的空间浪费。采用小于16位的N位精度数据采集模拟数字转换器，单个数据有16-Nbit的容量损失。此外，采集数值在一定变化范围内的数据并不需要多次存储，因此在考虑到波形重构精度的同时，将在一定范围内的多个数据作为一个数据存储，并且记录其重复个数。主要方法是：若采集到的数据DI与中间比较量DR的差值不大于设定的DL值，则认为这两个数据重复；用FPGA的内部RAM作为buff对数据作缓存处理，用双字节16位存储，转换量DI累加值写入buff的低N位，高16-N位用二进制来记录该数据的重复个数n；直到下一个数据与DR的差值大于设定的DL值，随后再将buff里面低N位的数据取平均值后和高16-N位的数据一起写入外部存储器的相应位置，最后buff清零，重新记录下次的数据。如图1，是典型的波形采样装置的硬件结构图。主控单元采用FPGA(可编程逻辑门阵列)，模拟信号经过调理电路之后输入到AD转换器，转换器输出的数字数据经由压缩算法处理之后经buff缓存，最后通过地址线操作将数据保存到外部存储器中。如图2，是本专利技术压缩算法的位数变换示意图。存储字采用16位双字节，存储字的低N位记录波形原始数据DI，由于DI是数字数据，可以直接存储，高16-N位用二进制来记录数据DI在一定范围内的重复个数n。当NH空间记录满后，数据记录在下一个16bit中，低位dsx相同，高位Ndx连接在一起，可重复Nk次。即高位有NH*Nk位，冗余记录数据量最大可达2^(NH*Nk)个。如果不将高位连接在一起，那么冗余记录数据最大只能达到2^NH*Nk个，两者相比，我们所采本文档来自技高网...

【技术保护点】
1.一种非稳态数据实时采集数据压缩方法，其特征在于：基于FPGA平台和硬件描述语言，所述FPGA平台分别连接至模数转换器ADC和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，包括以下步骤：S1：初始化FPGA系统参数；S2：启动ADC进行模数转换；S3：FPGA接收ADC的AD转换值DI，并计算中间比较变量DR与转换值DI的差值；S4：判断|DR‑DI|≤DL，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16‑N位一起写入外部存储器，随后buff缓存器清零，将此时的DI值写入buff缓存器的低N位，高16‑N位记录当前重复个数n；S5：buff中高16‑N位重写，在buff空间的原16位存储字中，低N位的数据重写，为累加值，比较值DR保持不变，重复个数n重新写到高16‑N位中，执行步骤S6；S6：重复步骤S3‑S5，直到完成采集。

【技术特征摘要】
1.一种非稳态数据实时采集数据压缩方法，其特征在于：基于FPGA平台和硬件描述语言，所述FPGA平台分别连接至模数转换器ADC和外部存储器，模拟信号通过信号调理电路输入所述模数转换器，包括以下步骤：S1：初始化FPGA系统参数；S2：启动ADC进行模数转换；S3：FPGA接收ADC的AD转换值DI，并计算中间比较变量DR与转换值DI的差值；S4：判断|DR-DI|≤DL，若是，则认为为同一数据，重复个数n＝n+1，执行步骤S5，若否，则认为数据不同，更新DR＝DI，并将buff缓存器中低N位的数据取平均值后和高16-N位一起写入外部存储器，随后buff缓存器清零，将此时的DI值写入buff缓存器的低N位，高16-N位记录当前重复个数n；S5：buff中高16-N位重写，在buff空间的原16位存储字中，低N位的数据重写，为累加值，比较值DR保持不变，重复个数n重新写到高16-N位中，执行步骤S6；S6：重复步骤S3-S5，直到完成采集。2.根...

【专利技术属性】
技术研发人员：杜林，李剑，王有元，陈伟根，王飞鹏，谭亚雄，詹得铭，余辉宗，
申请(专利权)人：重庆大学，
类型：发明
国别省市：重庆,50