分布式文件系统日志提交方法、装置、设备及存储介质制造方法及图纸

本申请公开了分布式文件系统日志提交方法，该方法引入了日志写入相互覆盖的检测机制，在日志进行落盘操作时进行写入覆盖的实时判断，可以避免日志持续写入覆盖导致的日志解析失败的问题，在判定发生写入覆盖时，确定待落盘数据的正确写入位置，并控制待落盘数据根据正确写入位置进行日志落盘处理，可以保证每个日志都按照非覆盖的正确写入位置进行落盘，引导日志写入覆盖向正确写入循环，保证系统的长期可持续运行。本申请还提供了一种分布式文件系统日志提交装置、设备及一种可读存储介质，具有上述有益效果。

Distributed file system log submission methods, devices, devices and storage media

【技术实现步骤摘要】
分布式文件系统日志提交方法、装置、设备及存储介质
本申请涉及电子
，特别涉及一种分布式文件系统日志提交方法、装置、设备及一种可读存储介质。
技术介绍
分布式文件存储系统中采用日志先写机制，用来保证数据的一致性，日志先写机制指所有的操作先写入日志，再写入文件系统。一个分布式存储集群中，具有多个mds(metadataserver，元数据服务)，比如3主3备mds的集群，rankid(mds的rank号)为rank0，rank1，rank2，共同提供元数据服务。在某些特殊的情况下，可能会出现两个mds具有相同的rankid，比如一个具有mdsrank1节点的网络断开，该节点上的mdsrank1仍然存在，其他节点的备用mds会接管rank1，当断开网络的节点连接网络时系统中就会出现两个rank1。而基于现有机制两个相同rankid的mds会发生journal日志落盘时互相覆盖的问题，比如：进行写操作，此时系统发生故障，可能会写入一半，而目前的日志先写机制规定保证要么完全写入数据，要么不写数据，当故障解决之后，会读取journal本文档来自技高网...

【技术保护点】
1.一种分布式文件系统日志提交方法，其特征在于，包括：/n确定待写入日志，并对所述待写入日志进行日志封装处理，得到封装后的待落盘数据；/n对所述待落盘数据执行落盘操作，并实时判断是否发生写入覆盖；/n若判定发生写入覆盖，确定所述待落盘数据的正确写入位置；/n控制所述待落盘数据根据所述正确写入位置进行日志落盘处理。/n

【技术特征摘要】
1.一种分布式文件系统日志提交方法，其特征在于，包括：
确定待写入日志，并对所述待写入日志进行日志封装处理，得到封装后的待落盘数据；
对所述待落盘数据执行落盘操作，并实时判断是否发生写入覆盖；
若判定发生写入覆盖，确定所述待落盘数据的正确写入位置；
控制所述待落盘数据根据所述正确写入位置进行日志落盘处理。


2.如权利要求1所述的分布式文件系统日志提交方法，其特征在于，所述实时判断是否发生写入覆盖，包括：
实时获取所述待落盘数据的即将写入位置以及正确写入位置；
判断所述即将写入位置是否大于所述正确写入位置；
若是，判定未发生写入覆盖；
若否，判定发生写入覆盖。


3.如权利要求1所述的分布式文件系统日志提交方法，其特征在于，所述确定所述待落盘数据的正确写入位置，包括：
维护全局right_pos；
根据所述全局right_pos确定所述待落盘数据的正确写入位置。


4.如权利要求1所述的分布式文件系统日志提交方法，其特征在于，还包括：若判定发生写入覆盖，控制底层存储返回错误信息。


5.如权利要求1所述的分布式文件系统日志提交方法，其特征在于，在对所述待落盘数据执行落盘操作之前，还包括：
判断所述待落盘数据是否大于最大日志条目数量或最大字节数；
若是，对所述待落盘数据执行落盘操作，具体为：对所述待落盘数据分若干次执行落盘操作；
若否，执行对所述待落盘数据执行落盘操作的步骤。


6.一种分布式文件系统日志提交装置，其特征在于，包括：
数据封装单元，用于确定待写入日志，并对...

【专利技术属性】
技术研发人员：张其万，孟祥瑞，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32