【技术实现步骤摘要】
一种基于数据流分片技术的备份和还原管理方法及系统
本专利技术涉及数据处理
，具体而言，为一种基于数据流分片技术的备份和还原管理方法及系统。
技术介绍
随着互联网、移动互联网、物联网等技术的发展，数据的生产在飞速地发展，信息成了一个企业的战略资源，市场竞争和政策的管制要求越来越多的数据被长期的保存，需要对各类信息数据进行收集、保存和备份，从而进行用户行为分析、市场的研究。现有技术中数据分布式存储和Raid(RedundantArraysofIndependentDisk，磁盘阵列)一定程度提升了数据的读写和灾备能力；分布式存储主要解决了大数据的存储问题，提升了数据的读写能力；Raid从一定程度上提升了数据的读写能力和冗余能力。随着信息技术的不断发展，数据的量级逐年增加，从传统的GB到现在EP，实现指数级的增长。而随着大数据文件的普遍存在，给备份和容灾带来了挑战。在原始数据损坏的情况下，在千兆网络环境中恢复TB级别的数据往往就需要1天以上，往往会给应用业务带来不便。传统大数据文件备份耗时长，...
【技术保护点】
1.一种基于数据流分片技术的备份和还原管理方法，其特征在于，包括/n采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流；/n获取数据流进行数据分割；/n在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；/n根据对原始数据特征进行分析的结果，约束输出被分割的数据，以将具有相同特征的数据块存放在同一个存储设备中；/n根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。/n
【技术特征摘要】
1.一种基于数据流分片技术的备份和还原管理方法，其特征在于，包括
采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流；
获取数据流进行数据分割；
在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录；
根据对原始数据特征进行分析的结果，约束输出被分割的数据，以将具有相同特征的数据块存放在同一个存储设备中；
根据数据索引管理模块记录的信息或备份目录中的记录，进行数据特征整合。
2.根据权利要求1所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述采集原始数据信息，对原始数据特征进行分析和进行备份策略的选择，输出数据流中，所述原始数据特征至少包括目录结构信息和数据文件的大小信息，所述进行备份策略的选择包括
根据目录结构：若原始数据分散，则将存放于同一磁盘的多个子目录汇总；对汇总后的父目录数据进行压缩合并，然后对合并后的数据文件输入到数据池和数据阀门进行分片；
根据目录结构和数据文件的大小：若原始数据集中，且单个数据文件大小超过预设值，则记录数据文件的位置信息，直接流入数据池和数据阀门进行分片进行分片；
根据目录结构和数据文件的大小：小且分散的数据，进行数据合并，然后进入数据池和数据阀门进行分片；按顺序依次存储到备份服务器磁盘中；
根据数据文件的大小：针对超过预设值的文件，直接进入数据池和数据阀门进行数据分片，按顺序依次存储到备份服务器的磁盘中。
3.根据权利要求2所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述获取数据流进行数据分割，包括
数据流通过数据输入管道到第一数据阀门，第一数据阀门打开，并在该数据流的头部设置头部标记；此时第一数据阀门打开，第二数据阀门关闭，允许数据流进入数据池；
当数据池盈满时，第一数据阀门关闭，第二数据阀门打开，终止数据流继续流入，允许数据流从数据池中输出；当数据全部输出时，第二数据阀门在数据的尾部设置尾部标记，标示数据块的尾部；
直至将数据文件的数据流依次类推完成全部数据分块。
4.根据权利要求3所述的基于数据流分片技术的备份和还原管理方法，其特征在于，分割后的数据块包括头部标记、分块数据、尾部标记和hash信息。
5.根据权利要求4所述的基于数据流分片技术的备份和还原管理方法，其特征在于，所述在数据流分割过程中，对数据流分割出来的数据流产生的特征信息，进行管理记录，包括对数据块增加的头部标记、尾部标记和数据块hash信息以及原始数据的目录结构信息，进行管理记录。
6.一种基于数据流分片技术...
【专利技术属性】
技术研发人员：张仪，张永生，杨璐，张晋锋，刘瑞贤，王榕，
申请(专利权)人：曙光信息产业北京有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。