【技术实现步骤摘要】
数据写入、压缩和读取方法、数据处理方法及装置
本申请涉及计算机
，尤其涉及一种数据写入、压缩和读取方法，数据处理方法及对应的装置。
技术介绍
随着云计算技术的发展，云存储系统也应运而生。云存储系统是指通过集群应用、网络技术或分布式文件系统等功能，将多种存储设备集合起来协同工作，共同向用户提供数据存储和业务访问功能的系统。传统的分布式块存储采用三副本存储方式，即同一份数据将分别存储在三个不同的物理设备上，以避免因物理设备的损坏而导致数据的丢失。因此，用户的数据将在数据存储系统中占用三倍于原始数据量的存储空间，存储成本较高，存储设备的存储空间利用率较低。虽然数据存储系统可以采用数据压缩的方式减少用户数据所占用的存储空间，但是在读取和更新压缩后的文件时仍然可能存在读写延时、读写效率低等诸多问题。因此，亟需一种在降低存储成本的同时，仍然能够保障文件读写效率的数据处理方法。
技术实现思路
本申请实施例提供一种数据写入方法、数据压缩方法和数据读取方法，旨在提供一种在降低存储成本的同时，仍然能够保...
【技术保护点】
1.一种数据写入方法，其中，所述方法包括：/n当接收到写数据请求时，确定第一待写入文件，所述写数据请求中包含待写入数据；/n向所述第一待写入文件中写入所述待写入数据，并监听所述第一待写入文件的长度；/n若监听结果指示所述第一待写入文件的长度达到写入长度阈值，则将所述第一待写入文件置为只读状态，并创建第二待写入文件；/n将所述待写入数据中尚未写入所述第一待写入文件的数据，写入所述第二待写入文件。/n
【技术特征摘要】
1.一种数据写入方法，其中，所述方法包括：
当接收到写数据请求时，确定第一待写入文件，所述写数据请求中包含待写入数据；
向所述第一待写入文件中写入所述待写入数据，并监听所述第一待写入文件的长度；
若监听结果指示所述第一待写入文件的长度达到写入长度阈值，则将所述第一待写入文件置为只读状态，并创建第二待写入文件；
将所述待写入数据中尚未写入所述第一待写入文件的数据，写入所述第二待写入文件。
2.根据权利要求1所述方法，其中，在将所述第一待写入文件置为只读状态之后，所述方法还包括：
将所述第一待写入文件的标识信息添加到压缩文件列表，以待压缩处理。
3.根据权利要求1所述方法，其中，将所述待写入数据中尚未写入所述第一待写入文件的数据，写入所述第二待写入文件，包括：
向所述第二待写入文件中写入所述待写入数据中、尚未写入所述第一待写入文件的数据，并监听所述第二待写入文件的长度；
若监听结果指示所述第二待写入文件的长度达到所述写入长度阈值，则将所述第二待写入文件置为只读状态，并创建第三待写入文件，向所述第三待写入文件中写入所述待写入数据中、尚未写入所述第一待写入文件和所述第二待写入文件的数据。
4.根据权利要求1所述方法，其中，在确定第一待写入文件之后，所述方法还包括：
若所述第一待写入文件的长度不小于所述写入长度阈值，则将所述第一待写入文件置为只读状态；
将所述第一待写入文件的标识信息添加到压缩文件列表，以待压缩处理；
创建第四待写入文件，将所述待写入数据写入所述第四待写入文件。
5.根据权利要求1所述方法，其中，所述写数据请求中还包含所述待写入数据的逻辑地址信息，所述确定第一待写入文件包括：
根据地址映射关系表，确定与所述待写入数据逻辑地址信息相关联的第一待写入文件物理地址信息；
基于所述第一待写入文件物理地址信息，确定第一待写入文件。
6.根据权利要求5所述方法，其中，所述方法还包括：
若监听结果指示所述第一待写入文件的长度未达到所述写入长度阈值，则在将所述待写入数据写入所述第一待写入文件之后，将所述地址映射关系表中的第一待写入文件物理地址进行更新。
7.一种数据压缩方法，其中，所述方法包括：
对第一待压缩文件进行压缩处理，得到压缩处理后的数据；
向第一压缩包文件中写入所述压缩处理后的数据，并监听所述第一压缩包文件的长度；
若监听结果指示所述第一压缩包文件的长度达到压缩长度阈值，则将所述第一压缩包文件置为只读状态，并创建第二压缩包文件；
将所述压缩处理后的数据中尚未写入所述第一压缩包文件的数据，写入所述第二压缩包文件。
8.根据权利要求7所述方法，其中，在所述对第一待压缩文件进行压缩处理之前，所述方法还包括：
当压缩文件列表中存在待压缩的文件时，根据所述压缩文件列表，确定第一待压缩文件，所述第一待压缩文件为只读状态；
获取所述第一待压缩文件。
9.根据权利要求8所述方法，其中，所述待压缩的文件中包括有效数据和无效数据，所述根据所述压缩文件列表，确定第一待压缩文件，包括：
计算所述压缩文件列表中各待压缩的文件的无效数据比例，所述无效数据比例为待压缩的文件中无效数据的长度与该待压缩的文件的长度的比值；
将无效数据比例最高的待压缩的文件确定为第一待压缩文件。
10.根据权利要求9所述方法，其中，对第一待压缩文件进行压缩处理，包括：
对所述第一待压缩文件中的有效数据进行压缩处理。
11.根据权利要求10所述方法，其中，对所述第一待压缩文件中的有效数据进行压缩处理，包括：
对所述第一待压缩文件中的有效数据，采用定长压缩的方式进行压缩处理。
12.根据权利要求8所述方法，其中，所述压缩文件列表中存储有至少一个待压缩的文件的标识信息，所述获取所述第一待压缩文件，包括：
基于所述第一待压缩文件的标识信息，根据地址映射关系表，确定第一待压缩文件物理地址信息；
基于所述第一待压缩文件物理地址信息，获取所述第一待压缩文件。
13.根据权利要求12所述方法，其中，在向所述第一压缩包文件中写入所述压缩处理后的数据之后，所述方法还包括：
在所述地址映射关系表中，增加以下至少一种映射关系：
所述第一待压缩文件物理地址信息与第一压缩包文件物理地址信息之间的映射关系；
所述第一待压缩文件的标识信息与所述第一压缩包文件物理地址信息之间的映射关系；
所述第一待压缩文件的逻辑地址信息与所述第一压缩包文件物理地址信息之间的映射关系。
14.根据权利要求11所述方法，其中，在完成所述压缩处理后的数据的写入之后，所述方法还包括：
在所述压缩文件列表中删除所述第一待压缩文件的标识信息。
15.根据权利要求12所述方法，其中，所述方法还包括：
当所述压缩文件列表为空时，删除所述压缩文件列表中各待压缩的文件，释放所述各待压缩的文件的物理地址信息所对应的存储空间。
16.一种数据读取方法，其中，所述方法包括：
当接收到读数据请求时，确定待读取的第一文件，所述第一文件关联有第一文件物理地址信息；
若所述第一文件是压缩文件，则基于所述第一文件物理地址信息，读取所述第一文件，并对所述第一文件进行解压处理，得到待读取数据；
返回所述待读取数据。
17.根据权利要求16所述方法，其中，所述读数据请求中包含所述待读取数据的待读取数据逻辑地址信息，所述确定待读取的第一文件，包括：
根据地址映射关系表，确定与所述待读取数据逻辑地址信息相关联的第一文件物理地址信息；
将所述第一文件物理地址信息所关联的文件确定为待读取的第一文件。
18.根据权利要求16所述方法，其中，所述基于所述第一文件物理地址信息，读取所述第一文件，包括：
基于所述第一文件物理地址信息，根据地址映射关系表，确定所述第一文件物理地址信息相关联的文件存储地址信息；
读取存储在所述文件存储地址信息所对应存储空间上的所述第一文件。
19.根据权利要求16所述方法，其中，所述方法还包括：
若所述第一文件不是压缩文件，则读取存储在所述第一文件物理地址信息所对应存储空间中的所述第一文件，得到待读取数据。
20.一种数据处理方法，其中，所述方法包括：
当接收到写数据请求时，确定第一待写入文件，所述写数据请求中包含待写入数据；
向所述第一待写入文件中写入所述待写入数据，并监听所述第一待写入文件的长度；
若监听结果指示所述第一待写入文件的长度达到写入长度阈值，则将所述第一待写入文件置为只读状态，并将所述第一待写入文件的标识信息添加到压缩文件列表，以待压缩处理；
当所述压缩文件列表中存在待压缩的文件时，根据所述压缩文件列表，确定第一待压缩文件，所述第一待压缩文件为只读状态；
获取所述第一待压缩文件，对所述第一待压缩文件进行压缩处理，得到压缩处理后的数据；
向所述第一压缩包文件中写入所述压缩处理后的数据。
21.根据权利要求20所述方法，将所述第一待写入文件置为只读状态之后，所述方法还包括：
创建第二待写入文件；
将所述待写入数据中尚未写入所述第一待写入文件的数据，写入所述第二待写入文件。
22.根据权利要求20所述方法，其中，在向第一压缩包文件中写入所述压缩处理后的数据时，所述方法还包括：
监听所述第一压缩包文件的长度；
若第一压缩包文件的长度监听结果指示所述第一压缩包文件的长度达到所述压缩长度阈值，则将所述第一压缩包文件置为只读状态，并创建第二压缩包文件；
将所述压缩处理后的数据中尚未写入所述第一压缩包文件的数据，写入所述第二压缩包文件。
23.根据权利要求20所述方法，其中，所述方法还包括：
当接收到读数据请求时，确定待读取的第一文件，所述第一文件关联有第一文...
【专利技术属性】
技术研发人员：张峰豪，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。