【技术实现步骤摘要】
日志写入方法及其装置、电子设备及存储介质
[0001]本专利技术涉及数据处理
，具体而言，涉及一种日志写入方法及其装置、电子设备及存储介质。
技术介绍
[0002]当前，分布式存储系统在存储数据时，将客户端的数据分为固定大小的块或对象来存储，以提高系统的容错能力和整体性。相关技术中，一般是通过哈希算法，将数据块（或对象）散列到不同的放置群组PG（Placement Group）上，存储系统对这些PG创建副本之后，利用一定的算法以及设置故障域，将副本分散到不同的节点上或者不同的磁盘上，当一个节点的磁盘损坏时，可以通过其他节点的副本恢复数据，不会造成数据丢失。
[0003]分布式存储系统使用一致性协议来保证PG之间数据的一致性，以此来确保一个系统的高可用。例如，在三副本的情况下，每个节点上的PG副本使用一个Raft实例来管理：一个Leader、两个Follower。图1是现有技术中的一种可选的Raft日志写入方法的示意图，如图1所示，现有的方案是Leader储存节点接收到写请求后，通过套接字socket将Raft日...
【技术保护点】
【技术特征摘要】
1.一种日志写入方法，其特征在于，包括：接收客户端的写日志请求，其中，所述写日志请求携带有日志标识；基于所述写日志请求，控制每个存储节点中的主放置群组在预先分配的内存中写入所述日志标识指示的日志，并将所述日志添加到发送队列中，其中，每个所述存储节点中设置有多个放置群组，所述多个放置群组包括：所述主放置群组以及至少一个从放置群组，每个所述放置群组绑定一个一致性协议，所述发送队列设置在数据存储器中；采用远程访问网络访问所述数据存储器，轮询所述发送队列，将所述发送队列中的日志写入到所述从放置群组的内存中，其中，在所述日志写入成功的情况下，所述从放置群组通过所述一致性协议返回写入成功信息至所述主放置群组；在所述主放置群组接收到所有所述从放置群组返回的所述写入成功信息的情况下，确定所述日志写入成功。2.根据权利要求1所述的日志写入方法，其特征在于，在接收客户端的写日志请求之前，还包括：统计所述存储节点的节点数量；基于所述存储节点的节点数量，划分每个所述存储节点中的内存空间，得到多个内存子空间，其中，每个所述内存空间中至少包括：元数据空间。3.根据权利要求2所述的日志写入方法，其特征在于，在划分每个所述存储节点中的内存空间，得到多个内存子空间之后，还包括：基于预设连接数，将所述内存子空间划分成多个存储块，其中，所述预设连接数为每两个所述存储节点之间的线程连接数量。4.根据权利要求1所述的日志写入方法，其特征在于，在将所述日志添加到发送队列中之后，还包括：按照所述日志添加到发送队列中的顺序，为所述日志设置日志索引；分析所述从放置群组的节点状态；在所述节点状态为探测状态的情况下，控制所述主放置群组探测所述从放置群组中每个日志的日志索引；在探测出所述从放置群组中的日志索引与所述主放置群组中的日志索引不一致的情况下，采用预设远程调用算法，将不一致的所述日志索引所指示的日志发送到所述从放置群组中。5.根据权利要求1所述的日志写入方法，其特征在于，采用远程访问网络访问所述数据存储器，轮询所述发送队列，将所述发送队列中的日志写入到所述从放置群组的内存中的步骤，包括：采用远程访问网络访问所述数据存储器，轮询所述发送队列，并在轮询成功的情况下，将轮询到的所述日志的页面的写入状态更新为完成状态；遍历发送窗口，在所述发送窗口中每个子窗口中的当前页面的写入状态都为完成状态的情况下，分析当前页面的页面索引是否为最后一个索引；在所述当前页面的页面索引为最后一个索引的情况下，更新写入的内存子空间中的存储块的队列尾，并更新发送窗口的队列头。6.根据权利要求5所述的日志写入方法，其特征在于，在采用远程访问网络访问所述数
据存...
【专利技术属性】
技术研发人员：汪峰，陶松霖，吴红伟，黄岩，
申请(专利权)人：云和恩墨北京信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。