同城双活分布式存储文件处理方法及装置制造方法及图纸

本发明专利技术提出一种同城双活分布式存储文件处理方法及装置，涉及分布式技术领域，该方法包括：接收用户上传的第一文件数据，将该文件数据存储至第一机房，在数据库文件信息表中添加第一文件数据已存储至第一机房的状态信息；在第一文件数据存储完成后，向第二机房发起数据同步；若第一文件数据同步成功，在数据库文件信息表中更新第一文件数据已完成同步的状态信息；若同步失败，不更新数据库文件信息表；定时读取数据库文件信息表，若读取到第二数据文件已存储到第二机房的状态信息，将该第二文件数据存储至第一机房，在数据库文件信息表中更新第二文件已完成同步的状态信息；在接收到用户的下载文件请求时，读取相应的文件数据返回给请求方。回给请求方。回给请求方。

【技术实现步骤摘要】
同城双活分布式存储文件处理方法及装置


[0001]本专利技术涉及分布式
，尤指一种同城双活分布式存储文件处理方法及装置。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]同城双活即建立物理隔离，将两个数据中心的两个独立机房分置在两地。根据业务不同可分为主备，对外同时提供服务，任一机房出现故障，正常运行一方可以随时接管来自异常运行的一方流量和数据，保证业务连续性。
[0004]现有的HDFS(Hadoop分布式文件系统)集群部署方式虽然可在Datanode(数据节点)上设置冗余副本，保证部分节点故障时数据不丢失并且服务可用，但是在同城双活场景下，跨机房之间的网络延迟和抖动会给HDFS集群造成巨大影响，因此一个HDFS集群只能部署在一个机房中。文件数据在不同机房的两个HDFS集群上没有同步或同步不及时，都可能在一个机房出现故障时导致服务终止，现有技术通常采用同时写入两个机房集群的方式，虽然可以保证文件实时同步，但是会增加大量耗时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种同城双活分布式存储文件处理方法，其特征在于，包括：接收用户上传的第一文件数据，将该文件数据存储至第一机房，在数据库文件信息表中添加第一文件数据已存储至第一机房的状态信息；在第一文件数据存储完成后，向第二机房发起数据同步；若第一文件数据同步成功，在数据库文件信息表中更新第一文件数据已完成同步的状态信息；若同步失败，不更新数据库文件信息表；定时读取所述数据库文件信息表，若读取到第二数据文件已存储到第二机房的状态信息，根据该状态信息，从第二机房读取第二文件数据，将该第二文件数据存储至第一机房，在数据库文件信息表中更新第二文件数据已完成同步的状态信息；在接收到用户的下载文件请求时，读取相应的文件数据返回给请求方。2.根据权利要求1所述的方法，其特征在于，还包括：获取用户发起的上传文件请求，将待上传的第一文件数据的文件信息登记至数据库文件信息表，其中，在数据库文件信息表中添加第一文件数据准备上传至第二机房的状态信息。3.根据权利要求1所述的方法，其特征在于，还包括：在第一文件数据存储完成后，向用户返回上传文件成功信息。4.根据权利要求1所述的方法，其特征在于，接收用户上传的第一文件数据，将该文件数据存储至第一机房，在数据库文件信息表中添加第一文件数据已存储至第一机房的状态信息，包括：将第一文件数据存储至第一机房的HDFS集群上。5.根据权利要求4所述的方法，其特征在于，在第一文件数据存储完成后，向第二机房发起数据同步，包括：读取第一机房的HDFS集群的第一文件数据，将第一文件数据写入到第二机房的HDFS集群上。6.根据权利要求5所述的方法，其特征在于，定时读取所述数据库文件信息表，还包括：若读取到第三数据文件已存储至第一机房的状态信息，向第二机房发起数据同步。7.根据权利要求1所述的方法，其特征在于，在接收到用户的下载文件请求时，读取相应的文件数据返回给请求方，包括：根据下载文件请求，从数据库文件信息表中读取待下载文件的状态信息；若状态信息为待下载文件已存储至第一机房或已完成同步，从第一机房读取待下载文件；若状态信息为待下载文件已存储至第二机房，从第二机房读取待下载文件；若未读取到待下载文件的状态信息，返回无文件的通知。8.一种同城双活分布式存储文件处理装置，其特征在于，包括：上传文件服务模块，用于接收用户上传的第一文件数据，将该文件数据存储至第一机房，在数据库文件信息表中添加第一文件数据已存储至第一机房的状态信息...

【专利技术属性】
技术研发人员：黄新福，张兴华，郭雪莎，刘锐，郭晨，
申请(专利权)人：中国银行股份有限公司，
类型：发明
国别省市：