一种纠删码文件数据写时落盘方法、装置、设备和介质制造方法及图纸

本发明专利技术公开了一种纠删码文件数据写时落盘方法、装置、设备和介质，由于该方法在若纠删码文件的任一段落被写入完毕，根据该段落被写入的目标数据长度、以及每个条存放的第一数据长度，确定已写满的条的目标数量、以及未被写满的目标条中的剩余数据长度；根据剩余数据长度、以及预设长度，确定待写入的补充数据的目标长度，并根据目标条及目标长度，写入目标长度的补充数据；确定目标数量的已写满的条和目标条分别对应的每个校验单元，并对目标数量的已写满的条、目标条以及每个校验单元进行数据落盘。从而使未写满的目标条用补充数据写满，在纠删码文件的写入过程中生成对应的每个校验单元，实现了在写入纠删码文件的过程中的数据落盘。据落盘。据落盘。

【技术实现步骤摘要】
一种纠删码文件数据写时落盘方法、装置、设备和介质


[0001]本专利技术涉及计算机
，尤其涉及一种纠删码文件数据写时落盘方法、装置、设备和介质。

技术介绍

[0002]在写文件数据时，电子设备提供的数据落盘能力是至关重要的，执行了落盘操作的文件数据，能够保证文件数据已经安全写到磁盘上，即使系统重启或应用程序出现异常时，已经落盘的文件数据仍然能够被读到，这对于提供持久化能力的文件系统属于必须满足的条件。通常文件系统上层应用会在文件数据保证落盘后，才继续执行下一步骤，来避免数据丢失造成的异常。
[0003]对于分布式文件系统(Hadoop Distributed File System，HDFS)来说，文件数据落盘指的就是发送到数据节点(DataNode)的文件数据，保证已经写入到DataNode的磁盘上。
[0004]HDFS支持普通副本方式和纠删码方式两种文件冗余方式。使用纠删码冗余方式比普通副本冗余方式节省更多空间，且同样能够容忍部分数据的丢失。在HDFS中使用纠删码方式写入文件数据时使用了条形布局，条(stripe)是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种纠删码文件数据的写时落盘方法，其特征在于，所述方法包括：若纠删码文件的任一段落被写入完毕，根据该段落被写入的目标数据长度、以及每个条存放的第一数据长度，确定已写满的条的目标数量、以及未被写满的目标条中的剩余数据长度；根据所述剩余数据长度、以及预设长度，确定待写入的补充数据的目标长度，并根据所述目标条及所述目标长度，写入所述目标长度的补充数据；确定所述目标数量的所述已写满的条和所述目标条分别对应的每个校验单元，并对所述目标数量的所述已写满的条、所述目标条以及所述每个校验单元进行数据落盘。2.根据权利要求1所述的方法，其特征在于，所述根据该段落被写入的目标数据长度、以及每个条存放的第一数据长度，确定已写满的条的目标数量、以及未被写满的目标条中的剩余数据长度包括：根据该段落被写入的目标数据长度、所述预设长度以及每个条存放的第一数据长度，确定已写满的条的目标数量、以及未被写满的目标条中的剩余数据长度。3.根据权利要求1所述的方法，其特征在于，所述根据所述剩余数据长度、以及预设长度，确定待写入的补充数据的目标长度包括：判断所述剩余数据长度是否不小于所述预设长度；若是，则根据所述剩余数据长度与所述预设长度，确定待写入的补充数据的目标长度；若否，则根据所述剩余数据长度、所述目标条的下一个条的第一数据长度以及所述预设长度，确定待写入的补充数据的目标长度。4.根据权利要求3所述的方法，其特征在于，所述根据所述目标条及所述目标长度，写入所述目标长度的补充数据包括：若所述剩余数据长度不小于所述预设长度，则在所述目标条中写入所述预设长度的目标数据及所述目标长度的补充数据；若所述剩余数据长度小于所述预设长度，则在所述目标条和所述目标条的下一条中写入所述预设长度的目标数据及所述目标长度的补充数据。5.根据权利要求4所述的方法，其特征在于，所述预设长度的目标数据包括第一预设长度的补充标志数据和第二预设长度的长度记录数据，其中所述补充标志...

【专利技术属性】
技术研发人员：董昌坤，吴爽，江峰，秦鑫峰，杨超，吴益清，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：