【技术实现步骤摘要】
数据压缩方法、装置、设备及计算机可读存储介质
本申请涉及数据处理
,尤其涉及数据压缩方法、装置、设备及计算机可读存储介质。
技术介绍
数据压缩是在不丢失有用信息的前提下,缩减原始数据的数据量以减少存储空间,提高其传输、存储和处理效率的一种技术方法。现有技术中,对原始数据进行压缩时通常使用字符串压缩算法,目前,最常用的字符串压缩算法一般是针对连续出现相同字符的字符串进行压缩。例如,待压缩字符串为aabccccaaa,则压缩后为a2b1c4a3。这种压缩方法的应用范围非常狭窄,压缩比例也有限,对于存储了数亿级数据的大型项目来说,压缩率远远不够。
技术实现思路
本申请的主要目的在于提供一种数据压缩方法、装置、设备及计算机可读存储介质,旨在解决现有的数据压缩方法压缩率低的技术问题。为实现上述目的,本申请提供一种数据压缩方法,所述数据压缩方法包括以下步骤:获取待压缩数据,并对所述待压缩数据进行分类,其中,所述待压缩数据包括带数值型数据和不带数值型数据;对所述分类后的待压缩数据进行识别, ...
【技术保护点】
1.一种数据压缩方法,其特征在于,所述数据压缩方法包括以下步骤:/n获取待压缩数据,并对所述待压缩数据进行分类,其中,所述待压缩数据包括带数值型数据和不带数值型数据;/n对所述分类后的待压缩数据进行识别,确定所述带数值型数据的标签和数值,以及确定所述不带数值型数据的标签,其中,所述标签包括标签前缀和标签下标,标签前缀为字母,标签下标和数值为数字;/n基于预设算法对所述带数值型数据的标签下标和数值进行压缩,以及对所述不带数值型数据的标签下标进行压缩,得到压缩后的标签下标和压缩后的数值;/n对所述待压缩数据的标签前缀进行查询,判断是否存在连续的带有相同标签前缀的待压缩数据;/n ...
【技术特征摘要】
1.一种数据压缩方法,其特征在于,所述数据压缩方法包括以下步骤:
获取待压缩数据,并对所述待压缩数据进行分类,其中,所述待压缩数据包括带数值型数据和不带数值型数据;
对所述分类后的待压缩数据进行识别,确定所述带数值型数据的标签和数值,以及确定所述不带数值型数据的标签,其中,所述标签包括标签前缀和标签下标,标签前缀为字母,标签下标和数值为数字;
基于预设算法对所述带数值型数据的标签下标和数值进行压缩,以及对所述不带数值型数据的标签下标进行压缩,得到压缩后的标签下标和压缩后的数值;
对所述待压缩数据的标签前缀进行查询,判断是否存在连续的带有相同标签前缀的待压缩数据;
若不存在连续的带有相同标签前缀的待压缩数据,则在所述标签前缀和所述压缩后的标签下标之间插入第二预设符号;
基于所述标签前缀、所述第二预设符号、所述压缩后的标签下标,或所述标签前缀、所述第二预设符号、所述压缩后的标签下标、所述压缩后的数值,得到压缩后的数据,并输出所述压缩后的数据。
2.如权利要求1所述的数据压缩方法,其特征在于,所述获取待压缩数据,并对所述待压缩数据进行分类包括:
获取待压缩数据,并在所述待压缩数据中进行查询,判断所述待压缩数据中是否包含第一预设符号;
将包含第一预设符号的待压缩数据确定为带数值型数据,将不包含所述第一预设符号的待压缩数据确定为不带数值型数据;
其中,所述若不存在连续的带有相同标签前缀的待压缩数据,则在所述标签前缀和所述压缩后的标签下标之间插入第二预设符号之后,包括:
基于所述标签前缀、所述第二预设符号、所述压缩后的标签下标、所述第一预设符号和所述压缩后的数值,得到压缩后的数据,并输出所述压缩后的数据。
3.如权利要求1所述的数据压缩方法,其特征在于,所述对所述待压缩数据的标签前缀进行查询,判断是否存在连续的带有相同标签前缀的待压缩数据之后,还包括:
若存在n个连续的带有相同标签前缀的待压缩数据,则将压缩后的数据中所述相同标签前缀的数量简化为1个,其中,n≥2;
在所述相同标签前缀和所述压缩后的标签下标之间插入第二预设符号;
将所述相同标签前缀放在第二预设符号的左边,并将所述相同标签前缀对应的不同标签下标和数值,按照顺序依次放在第二预设符号的右边。
4.如权利要求3所述的数据压缩方法,其特征在于,所述将所述相同标签前缀放在第二预设符号的左边,并将所述相同标签前缀对应的不同标签下标和数值,按照顺序依次放在第二预设符号的右边之后,还包括:
当所述n个连续的带有相同标签前缀的待压缩数据后出现不同标签前缀的待压缩数据时,在第n个连续的带有相同标签前缀的待压缩数据的标签下标或数值之后、所述不同标签前缀之前,插入第三预设符号。
5.一种数据压缩装置,其特征在于,所述数...
【专利技术属性】
技术研发人员:张杰,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。