一种数据处理方法和设备技术

技术编号:15727099 阅读:207 留言:0更新日期:2017-06-29 23:34
本申请公开了一种数据处理方法和设备,接收用户发送的数据更新请求;根据数据更新请求,分别向主服务器以及至少两台从服务器发送日志更新指令;在确定日志更新操作完成时,分别向主服务器以及至少两台从服务器中的第一从服务器发送数据存储指令。在接收到数据更新请求时,可以向主服务器以及从服务器发送日志更新指令,使主服务器以及从服务器执行日志更新操作,在确定日志更新操作完成时,向主服务器以及其中一个从服务器发送数据存储指令,在从服务器中的数据丢失时,可以通过预先存储的日志恢复丢失的数据,保证主服务器与从服务器之间数据的一致性,针对待更新数据,只有主服务器以及一个从服务器对其进行存储,有效减少数据存储消耗的资源。

【技术实现步骤摘要】
一种数据处理方法和设备
本申请涉及计算机
,尤其涉及一种数据处理方法和设备。
技术介绍
在分布式数据存储系统中,一台服务器作为主服务器,另一台服务器作为从属服务器(以下简称从服务器),主服务器可以对外提供数据读写服务,从服务器保持与主服务器之间的数据同步,并在主服务器出现故障时,从服务器可以对外提供数据读写服务。通常,主服务器在接收到数据并将数据进行存储时,可以将存储的数据同步存储至从服务器中,这样,可以保证主服务器与从服务器之间数据的一致,但是,在实际应用中,由于主服务器和从服务器之间的数据同步操作存在延时性,导致从服务器中的部分数据丢失,无法保证与主服务器中的数据一致。为了保证主服务器和从服务器之间数据的一致性,现有技术中,在将主服务器中存储的数据同步至从服务器时,可以将主服务器中的数据同步至多台从服务器中,也就是说,可以将主服务器中的数据存储多份数据副本,在其中一台从服务器中的数据丢失时,可以从其他从服务器获取丢失的数据,这样,在主服务器出现故障时,多台从服务器可以对外提供数据读写服务。但是,由于需要对主服务器中的数据存储多份数据副本,导致数据存储消耗的资源比较多。
技术实现思路
有鉴于此,本申请实施例提供了一种数据处理方法和设备,用于解决在分布式数据存储系统中,由于需要对同一份数据存储多份数据副本,导致数据存储消耗的资源比较多的问题。本申请实施例提供一种数据处理方法,所述方法应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,包括:接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;根据所述数据更新请求,分别向所述主服务器以及所述至少两台从服务器发送日志更新指令,使所述主服务器以及所述至少两台从服务器根据所述日志更新指令执行日志更新操作;在确定所述日志更新操作完成时,分别向所述主服务器以及所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述主服务器以及所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。本申请实施例还提供一种数据处理方法,所述方法应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,包括:所述主服务器接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;所述主服务器根据所述数据更新请求,启动日志更新操作,并分别向所述至少两台从服务器发送日志更新指令,使所述至少两台从服务器根据所述日志更新指令执行日志更新操作;所述主服务器在确定所述日志更新操作完成时,启动数据存储操作,并向所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。本申请实施例提供一种数据处理设备,所述设备应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,所述设备包括:接收单元和发送单元,其中:接收单元,接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;发送单元,根据所述数据更新请求,分别向所述主服务器以及所述至少两台从服务器发送日志更新指令,使所述主服务器以及所述至少两台从服务器根据所述日志更新指令执行日志更新操作;所述发送单元,在确定所述日志更新操作完成时,分别向所述主服务器以及所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述主服务器以及所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。本申请实施例还提供一种数据处理设备,所述设备应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,所述设备包括:接收单元和发送单元,其中:接收单元,接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;发送单元,根据所述数据更新请求,启动日志更新操作,并向所述至少两台从服务器发送日志更新指令,使所述至少两台从服务器根据所述日志更新指令执行日志更新操作;所述发送单元,在确定所述日志更新操作完成时,启动数据存储操作,并向所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。本申请实施例采用的上述至少一个技术方案能够达到以下有益效果:分布式数据存储系统在接收到数据更新请求时,可以分别向主服务器以及从服务器发送日志更新指令,使主服务器以及从服务器执行日志更新操作,并在确定日志更新操作完成时,向主服务器以及其中一个从服务器发送数据存储指令,这样,在从服务器中的数据丢失时,可以通过主服务器与从服务器预先存储的日志恢复丢失的数据,保证主服务器与从服务器之间数据的一致性,并且,针对待更新数据,只有主服务器以及其中一个从服务器对其进行存储,可以有效减少数据存储消耗的资源。附图说明此处所说明的附图用来提供对本申请的进一步理解,构成本申请的一部分,本申请的示意性实施例及其说明用于解释本申请,并不构成对本申请的不当限定。在附图中:图1为本申请实施例提供的一种数据处理方法的流程示意图;图2为本申请实施例提供的一种数据处理方法的流程示意图;图3为本申请实施例提供的确定主服务器的流程示意图;图4为本申请实施例提供的一种服务器故障处理的结构示意图;图5为本申请实施例提供的一种服务器故障处理的结构示意图;图6为本申请实施例提供的一种服务器故障处理的结构示意图;图7为本申请实施例提供的一种本地机房与异地机房中的服务器的结构示意图;图8为本申请实施例提供的一种数据处理设备的结构示意图;图9为本申请实施例提供的一种数据处理设备的结构示意图。具体实施方式通常,在分布式数据库存储系统中,主服务器在接收到待更新数据并对其进行存储时,可以将待更新数据同步存储至从服务器中,但是,在实际应用中,由于主服务器与从服务器之间的地域或者其他原因,导致主服务器与从服务器之间的数据同步存在延时性,也就是说,主服务器在完成对待更新数据的存储之后,从服务器可能还未完成对待更新数据的存储,此时,如果主服务器出现故障,从服务器将会丢失一部分数据。在现有技术中,为了保证从服务器不丢失数据(即保证主服务器与从服务器之间数据的一致性),可以将主服务器中的数据同步至多台(至少2台)从服务器中,但是相对于原有的分布式数据存储系统而言,需要存储的数据副本较多,容易造成资源的浪费。在实际应用中,出于系统安全的考虑,主服务器(或从服务器)在将待更新数据进行存储之前,需要首先执行日志更新操作,并在完成日志更新操作后,再对待更新数据进行存储,这样,可以保证主服务器(或从服务器)中存储的数据与日志之间的一致性,在主服务器(或从服务器)存储数据失败时,可以通过预先存储的日志对数据进行恢复。由此可见,在分布式数据存储系统中,在主服务器将待更新数据同步至从服务器之前,如果主服务器和从服务器首先执行日志更新操作,在完成日志更新操作后,再执行待更新数据的存储操作,那么,在从服务器存储的数据丢失时,可以通过预先存储的日志将丢失的数据恢复,这样,通过主服务器与从服务器之间日志的一致性保证主服务器与从服务器之间数据的一致性,在对数据进行存储时,可以减少对待更新数据存储的数据副本。基于上述思路,本申请实施例提供的技术方案,可以在保证主服务器与从服务器之间数据的一致性的前提下本文档来自技高网...
一种数据处理方法和设备

【技术保护点】
一种数据处理方法,其特征在于,所述方法应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,所述方法包括:接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;根据所述数据更新请求,分别向所述主服务器以及所述至少两台从服务器发送日志更新指令,使所述主服务器以及所述至少两台从服务器根据所述日志更新指令执行日志更新操作;在确定所述日志更新操作完成时,分别向所述主服务器以及所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述主服务器以及所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,所述方法包括:接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;根据所述数据更新请求,分别向所述主服务器以及所述至少两台从服务器发送日志更新指令,使所述主服务器以及所述至少两台从服务器根据所述日志更新指令执行日志更新操作;在确定所述日志更新操作完成时,分别向所述主服务器以及所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述主服务器以及所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。2.如权利要求1所述的数据处理方法,其特征在于,确定所述日志更新操作完成,包括:在确定所述主服务器完成所述日志更新操作时,确定所述日志更新操作完成;或,在确定所述主服务器且所述至少两台从服务器中至少一台从服务器完成所述日志更新操作时,确定所述日志更新操作完成。3.如权利要求2所述的数据处理方法,其特征在于,分别向所述主服务器以及所述至少两台从服务器中的第一从服务器发送数据存储指令,包括:在确定所述主服务器完成所述日志更新操作时,向所述主服务器发送数据存储指令,并在向所述主服务器发送数据存储指令后且确定所述至少两台从服务器中的至少一台从服务器完成所述日志更新操作时,向所述至少两台从服务器中的第一从服务器发送数据存储指令;或,在确定所述主服务器且所述至少两台从服务器中至少一台从服务器完成所述日志更新操作时,分别向所述主服务器以及所述至少两台从服务器中的第一从服务器发送数据存储指令。4.如权利要求1或3任一项所述的数据处理方法,其特征在于,所述方法还包括:确定所述至少两台从服务器中的第二从服务器,并在确定所述第二从服务器完成所述日志更新操作时,向所述第二从服务器发送空操作指令,所述空操作指令用于指示所述第二从服务器执行空操作。5.如权利要求4所述的数据处理方法,其特征在于,所述方法还包括:在确定所述主服务器或所述第一从服务器出现故障时,确定第三从服务器,并向所述第三从服务器发送数据同步指令,使所述第三从服务器根据所述数据同步指令完成与未出现故障且存储有数据的服务器之间的数据同步。6.如权利要求4所述的数据处理方法,其特征在于,所述方法还包括:在确定所述第二从服务器出现故障时,确定第四从服务器,并向所述第四从服务器发送日志同步指令,使所述第四从服务器根据所述日志同步指令完成与未出现故障的服务器之间的日志同步。7.一种数据处理方法,其特征在于,所述方法应用于分布式数据存储系统,所述分布式数据存储系统中包含主服务器以及至少两台从服务器,所述方法包括:所述主服务器接收用户发送的数据更新请求,所述数据更新请求中包含待更新数据;所述主服务器根据所述数据更新请求,启动日志更新操作,并向所述至少两台从服务器发送日志更新指令,使所述至少两台从服务器根据所述日志更新指令执行日志更新操作;所述主服务器在确定所述日志更新操作完成时,启动数据存储操作,并向所述至少两台从服务器中的第一从服务器发送数据存储指令,使所述第一从服务器根据所述数据存储指令执行对所述待更新数据的存储操作。8.一种数据处理设备,其特征在于,所述设备应用于分布式数据存储系统,所述分布式数...

【专利技术属性】
技术研发人员:阳振坤赵裕众师文汇
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛,KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1