一种数据压缩的方法、装置、压缩服务器和存储介质制造方法及图纸

技术编号:24254300 阅读:27 留言:0更新日期:2020-05-23 01:05
本发明专利技术公开了一种数据压缩的方法、装置、压缩服务器和存储介质。其中,该方法包括:在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典;采用适配压缩字典对当前业务请求下的业务响应数据进行压缩,并将压缩后的业务响应数据添加至压缩字典集合对应的训练样本库中,以动态训练压缩字典集合中的最新压缩字典。本发明专利技术提供的技术方案,避免采用固定的压缩字典压缩特征变化的业务数据时造成压缩效率过低的情况,保证最新压缩字典与当前业务数据特征的最高压缩匹配性,后续采用最新压缩字典作为适配字典特征进行数据压缩,避免数据压缩效率随着时间推移而不断降低的情况,提高数据压缩的自适应性,保持压缩效率随着时间推移的一致性。

A data compression method, device, compression server and storage medium

【技术实现步骤摘要】
一种数据压缩的方法、装置、压缩服务器和存储介质
本专利技术实施例涉及数据处理
,尤其涉及一种数据压缩的方法、装置、压缩服务器和存储介质。
技术介绍
随着互联网技术的快速发展,对于不同业务场景下客户端与服务端之间的业务数据交互也越来越广泛,此时为了保证业务数据的交互实时性,通常会采用数据压缩的方式来减少客户端与服务端之间的数据交互量,从而提高数据传输速率,降低客户端对服务端的业务响应的延时。目前,最常见的数据压缩算法为基于字典法的数据压缩,该字典压缩算法能够支持服务端根据不同场景下业务数据的属性特征来训练出对应的压缩字典,后续采用训练出的压缩字典对不同时刻下的业务数据进行压缩,但是随着业务数据在不同时刻下的特征变化,基于历史阶段的业务数据所训练出的压缩字典会与在当前阶段新生成的业务数据的属性特征变得不匹配,从而使得业务数据的压缩效率随着时间推移而不断降低,导致客户端和服务器之间的业务数据交互随着交互时间推移而产生交互延时的问题。
技术实现思路
本专利技术实施例提供了一种数据压缩的方法、装置、压缩服务器和存储介质,本文档来自技高网...

【技术保护点】
1.一种数据压缩的方法,其特征在于,包括:/n在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典;/n采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩,并将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中,以动态训练所述压缩字典集合中的最新压缩字典。/n

【技术特征摘要】
1.一种数据压缩的方法,其特征在于,包括:
在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典;
采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩,并将压缩后的业务响应数据添加至所述压缩字典集合对应的训练样本库中,以动态训练所述压缩字典集合中的最新压缩字典。


2.根据权利要求1所述的方法,其特征在于,所述动态训练所述压缩字典集合中的最新压缩字典,包括:
定时采用所述训练样本库中压缩时间点处于第一特定压缩时段内的训练样本,训练所述压缩字典集合中的最新压缩字典。


3.根据权利要求1所述的方法,其特征在于,所述动态训练所述压缩字典集合中的最新压缩字典,包括:
在所述训练样本库中每添加一个新的训练样本时,则采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本,训练所述压缩字典集合中的最新压缩字典。


4.根据权利要求3所述的方法,其特征在于,在采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本,训练所述压缩字典集合中的最新压缩字典之前,还包括:
采用移动平均算法计算所述第二特定压缩时段内不同压缩时间点下的训练样本的权重;
相应的,所述采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本,训练所述压缩字典集合中的最新压缩字典,包括:
采用所述训练样本库中压缩时间点处于第二特定压缩时段内的训练样本以及该训练样本的权重,训练所述压缩字典集合中的最新压缩字典。


5.根据权利要求1-4任一项所述的方法,其特征在于,还包括:
如果接收到客户端的字典更新指令,且所述压缩字典集合中存在新训练出的压缩字典,则向所述客户端下发该新训练出的压缩字典。


6.根据权利要求1-4任一项所述的方法,其特征在于,在采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩之前,还包括:
确定所述当前业务请求指定的业务响应数据;
按照所述业务响应数据在客户端上的展示顺序,对所述业务响应数据进行数据重排;
相应的,所述采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩,包括:
采用所述适配压缩字典对重排后的业务响应数据进行压缩。


7.根据权利要求1-4任一项所述的方法,其特征在于,在采用所述适配压缩字典对当前业务请求下的业务响应数据进行压缩之后,还包括:
根据所述当前业务请求中携带的数据分片属性,对压缩后的业务响应数据进行分片并依次反馈给客户端。


8.一种数据压缩的装置,其特征在于,包括:
字典适配模块,用于在动态更新的压缩字典集合中确定当前业务请求下的适配压缩字典;
数据压缩模块,用于采用所述适配压缩字典对当前业务...

【专利技术属性】
技术研发人员:林国锟欧润强郭海宇祝美祺
申请(专利权)人:广州市百果园信息技术有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1