一种精度可控的自适应数据压缩方法技术

本发明专利技术涉及数据压缩方法技术领域，公开了一种精度可控的自适应数据压缩方法，包括下述步骤：步骤A：对数据进行旋转门压缩处理；步骤B：判断是否执行门限宽度的自适应计算调整；若是，则对门限宽度进行自适应计算调整；否则继续对下个数据进行压缩处理。本发明专利技术通过引入标准误差的反馈来逐步调整门限宽度，避免了由于人为盲目设置门限宽度值而造成压缩性能的降低，同时也免去了进行重复大量测试的过程。此外，增加了数据合法性判断和动态调整数据压缩时间窗口参数，降低了异常数据对算法性能的影响，对慢变化的稳态数据而言，自适应计算的时间间隔会动态的变化，减少无谓的计算动作，提高了压缩的性能。

【技术实现步骤摘要】

本专利技术涉及数据压缩方法
，主要适用于一种精度可控的自适应数据压缩 方法。
技术介绍
目前实时数据库已经越来越广泛的在电信、金融、电力等行业之中使用，极大的简 化了大规模工业流程的控制过程，提高了管理的效率。由于工业实时数据库系统需要长期 运行，必须要对大量宝贵的现场实时数据进行存储，若直接保存的话，随着系统运行时间的 增长，必将占用大量的存储设备用来保存这些数据。同时由于在工业过程控制领域中大部 分数据都是稳态数据，其数值变化波动比较小，完整保存就会带来很高的数据信息冗余，不 仅浪费了存储设备，而且为实时数据的传输和分析都带来了巨大的困难，因此数据压缩处 理技术已经成为实时数据处理的必须环节。旋转门压缩算法拥有着简单的算法逻辑和高效的执行效率，非常符合过程工业对 实时性的要求，在工业实时数据库领域中得到了广泛的运用。但是，旋转门压缩算法存在着 以下的问题(1)参数固定，设置繁琐。在旋转门压缩算法中门限宽度是唯一可控的参数，其取 值的好坏会严重影响着算法的压缩性能。目前门限宽度的设置严重依赖人为经验，为了保 持压缩精度，就要对参数进行反复的测试与停机修正。(2)自适应性低。由于实时数据带有很强的不可预测性，要求采用的在线数据压缩 算法能够很好的适应数据的变化情况，使算法的压缩比和压缩误差不会因为数据的变化而 产生剧烈波动。目前旋转门压缩算法的自适应性较差，加之参数固定，并不能自适应的保持 压缩比和压缩误差之间的平衡。(3)目前旋转门压缩算法并不能判断数据是否异常，而是对异常数据也采用正常 的压缩流程，严重影响了算法的性能。
技术实现思路
本专利技术所要解决的技术问题是提供，它具有 通过引入标准误差的反馈，再利用对误差率的判断，逐步调整门限宽度，从而避免了由于人 为盲目设置门限宽度而造成压缩性能的降低，同时也免去了工业现场为了设定合适的门限 宽度而进行重复大量测试的过程的特点。为解决上述技术问题，本专利技术提供了，包括 下述步骤步骤A :对数据进行旋转门压缩处理；步骤B :判断是否需要执行门限宽度的自适应计算调整若需要执行门限宽度的自适应计算调整时，计算原数据与压缩后的数据的标准误 差，根据所述标准误差计算标准误差与门限宽度之间的误差率，并根据对误差率进行的判# ;jtm D±ìè7jM^,ìfiìè'yMB ^■.PM bi{Aj, a2,......, AJ,,a2,......,AJ ;/yìM B28 :I 1 _2L~ ^t”' á = Jw%(A>-A') 'PM B3 :if#djT^^$ER :er = |t’ ^ e ^iiratinps^si ;jtm B4 ER MMH PS Mí E:^ 0 s￡ ER < Kmin KminPJXin l t e iJP 6 ;^ Kmin s￡ ER s￡ Kmx 04, KmxPJ il PI Mí E ^ ;^ Kmx s￡ ER < 1 04, PJX^n PltS E S.Bwi'0] nif Dnum güBC,Wn0M>'èlfèTìèìMM :pm Cl ESnum,ESnumo, èPAì&#mB5esm = o,^>j esm g±i i ;jtm C2 -.mm Esnummiè DTthr,mixmWiia ^^[o,i,2--,(2s5 doo+io*k)^wtAífEsnum = o ;^M ^ ,tADo§A,^ Ti￡/^f:PMAl :^—^f￡fê^ HJli ^SavedData45 ìH^^hWillSaveData CurrentData 41, ^ifSPtop> SPbot> SPmid,|4^ Ji+J￥￡^#nT#i^ :_____-, cr> _ '^a^UeCurrentData _ (ValUe:v|,vd|J.|l | — E)SPtop ----—-i imeCurrentData i imeSavedData_____-, CT> _ '^a^UeCurrentData _ (V^luCg ^ t ~*~ ^^bot --—.-—.-I imeCurrentData — I iiìieSavedData_____-, CT> _ '^a^UeCurrentData _ Valuewms D tSPmid - —-—-i imeCurrentData i imeWlllSaveData^ ValueC rentData^§rWMf , ValueSavedData % ± ->h B fè# &} M è,ValueffillSaveData为待保存的数据值，TimeCurrentData为新的数据的时戳，TimeSavedData为上一个已 经存储的数据的时戳，TimeWillSaveData为待保存的数据时戳，E为门限宽度；第三个及以后的 数据从步骤A2开始执行。 步骤A2 :当第三个及以后的数据到来时，将新到来的数据的信息赋予 CurrentData中，并计算出新的斜率值SP' top> SP' bot> SP' mid ;新的斜率的计算公式如下 所示r oc1 cp, _ ValueCu腿tData - (ValuesavedData E)L0035」权利要求1.，其特征在于，包括下述步骤 步骤A :对数据进行旋转门压缩处理； 步骤B :判断是否需要执行门限宽度的自适应计算调整 若需要执行门限宽度的自适应计算调整时，计算原数据与压缩后的数据的标准误差，根据所述标准误差计算标准误差与门限宽度之间的误差率，并根据对误差率进行的判断调整门限宽度； 若不需要执行门限宽度的自适应计算调整，则执行下一步； 步骤D :继续对下个数据进行压缩处理。2.如权利要求I所述的精度可控的自适应数据压缩方法，其特征在于，所述步骤B中，对门限宽度执行自适应计算调整包括下述步骤 步骤BI :获取原始数据序列(A1, A2,......，AJ，并对经压缩的数据进行解压，获取重建数据序列{叉，J2,……,AJ； 步骤B2:计算出标准误差5 3.如权利要求I所述的精度可控的自适应数据压缩方法，其特征在于，在所述步骤B中，根据设定的数据压缩时间窗口参数，判断是否需要执行门限宽度的自适应计算调整，其方法为每压缩完一个数据，则初始化为O的数据压缩时间窗口计数器Dnuffl自增1，当Dnuffl等于所述设定的数据压缩时间窗口参数时，则执行门限宽度的自适应计算调整。4.如权利要求1、2、3中任意一项所述的精度可控的自适应数据压缩方法，其特征在于，在执行完所述步骤B后，执行步骤C，即判断是否更改数据压缩时间窗口参数，包括下述步骤 步骤Cl :设定数据稳态计数器ESnuffl,并且将数据稳态计数器ESm初始化为O，在所述步骤B5后，判断门限宽度是否发生改变，若发生改变，则ESnum = O，否则ESnum自增I ; 步骤C2 :判断ESm是否大于预先设定好的数据稳定阈值DTthr,若是，则从离散整数集合中随机取一个数，记为k，新的数据压缩时间窗口参数变为每隔(100+10*k)个数据就要进行一次本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：王非，莫益军，黄本雄，宋岸峰，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：