【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及分布式系统领域,尤其涉及一种数据处理方法及装置。
技术介绍
随着IT(InformationTechnology,信息技术)行业的不断发展,大型网站,数据库,分布式计算,分布式存储等分布式系统已经成为IT行业发展的未来趋势。分布式协调服务(也可以称为一致性协调服务)在分布式系统中节点监控,分布式锁,分布式数据同步,变动通知等起到重要作用,是分布式系统的关键技术。然而实践发现,目前常见的一致性协调服务主要包括hadoop(一种分布式系统架构)的zookeeper(一种分布式应用程序协调服务)服务或ceph(一种分布式文件系统)集群的monitor(监控器)服务,其需要专门部署zookeeper集群或monitor集群,且主机需要通过与zookeeper集群或monitor集群交互实现一致性协调服务,上述一致性协调服务的部署存在部署复杂,维护难度大而且效率低下的问题。
技术实现思路
本专利技术提供一种数据处理方法及装置,以解决现有一致性协调功能存在部署复杂,维护难度大而且效率低下的问题。根据本专利技术的第一方面,提供一种数据处理方法, ...
【技术保护点】
1.一种数据处理方法,其特征在于,应用于分布式主机系统中的任一主机,所述主机安装有一致性服务模块和虚拟文件系统VFS模块,所述方法包括:所述一致性服务模块接收所述VFS模块通过VFS接口发送的数据写入请求;其中,所述数据写入请求由所述VFS模块在接收到所述主机上的用户应用发起的数据写入请求时发送;所述一致性服务模块进行数据写入处理,并将数据写入结果返回给所述VFS模块,以使所述VFS模块通过所述VFS接口将所述数据写入结果返回给所述用户应用。
【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于分布式主机系统中的任一主机,所述主机安装有一致性服务模块和虚拟文件系统VFS模块,所述方法包括:所述一致性服务模块接收所述VFS模块通过VFS接口发送的数据写入请求;其中,所述数据写入请求由所述VFS模块在接收到所述主机上的用户应用发起的数据写入请求时发送;所述一致性服务模块进行数据写入处理,并将数据写入结果返回给所述VFS模块,以使所述VFS模块通过所述VFS接口将所述数据写入结果返回给所述用户应用。2.根据权利要求1所述的方法,其特征在于,所述一致性服务模块进行数据写入处理,并将数据写入结果返回给所述VFS模块,包括:当所述一致性服务模块为跟随服务模块时,将所述数据写入请求发送给领导服务模块,由所述领导服务模块发起数据写入协商,并将数据写入结果返回给所述发送数据写入请求的一致性服务模块;所述发送数据写入请求的一致性服务模块将所述数据写入结果返回给所述VFS模块;当所述一致性服务模块为领导服务模块时,发起数据写入协商处理,并将数据写入结果返回给所述VFS模块。3.根据权利要求1所述的方法,其特征在于,所述一致性服务模块将写入的数据以文件的形式保存在文件目录中;其中,所述文件以文件名为键key,文件内容为值value的形式保存。4.根据权利要求3所述的方法,其特征在于,所述文件目录包括永久性文件目录和临时性文件目录;所述方法还包括:当所述一致性服务模块接收到用户应用发起的针对临时性文件的写入请求时,所述一致性服务模块在所述临时性文件的文件名中记录该用户应用的进程名和进程号信息;当所述一致性服务模块监控到该用户应用的进程退出时,查询与所述用户应用的进程名和进程号对应的临时性文件,并将查询到的临时性文件删除。5.根据权利要求1所述的方法,其特征在于,所述方法还包括:当所述一致性服务模块监控到用户应用的进程退出时,查询与所述用户应用的进程名对应的脚本文件,执行所查询到的脚本文件;向所述分布式主机系统中的其它主机的一致性服务模块发送用户应用退出通知消息,所述用户应用退出通知消息携带有所述用户应用的进程名;当所述一致性服务模块接收到所述分布式主机系统中的其它主机发送的用户应用退出通知消息时,查询该用户应用退出通知消息中携带的用户应用的进程名对应的脚本文件,并执行所查询到的...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。