【技术实现步骤摘要】
本专利技术涉及数据存储，特别涉及高并发性数据迁移方法及数据安全存储装置。
技术介绍
1、数据是事实或观察的结果，是对客观事物的逻辑归纳，是用于表示客观事物的未经加工的原始素材，数据是信息的表现形式和载体，可以是符号、文字、数字、语音、图像、视频等，数据和信息是不可分离的，数据是信息的表达，信息是数据的内涵，随着大数据、移动互联网和物联网等产业的深入发展，我国数据产生量将出现爆发式增长，数据交易将迎来战略机遇。
2、原始数据具有长期存档的价值，按照有关规定需要对数据进行长期存档，目前大量的数据通常被存储在磁盘阵列或备份到磁带上，但是磁盘阵列和磁带存在保存时间较短和数据安全性较低的缺点，且数据容易被篡改、删除或被病毒攻击，难以适用于海量数据的长期安全存储；
3、由于数据容量大，在将海量数据迁移到以光盘库做为集群的冷存储装置上时，数据迁移会耗费大量的时间和人力资源，难以在较短的时间内完成海量数据从磁盘阵列或磁带库的到光盘库的迁移，且数据爆发性增长时，现有的it设施保存数据的成本和能耗较高，运维难度较大。
4、因此，现提出一种新型的高并发性数据迁移方法及数据安全存储装置解决上述问题。
技术实现思路
1、本专利技术的主要目的在于提供一种用于海量数据分布式存储系统下的高并发性数据迁移方法及数据安全存储装置，能够解决
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术采取的技术方案为：高并发性数据迁移方法及数据安全存储装置，所述高并发数据迁移方法
3、步骤一：进入数据采集服务模块，数据采集服务模块根据用户需求，定期迁移数据至光存储前置服务器中，分布式的系统将多台光盘库存储和多服务器节点联合形成统一的磁光多级虚拟文件系统服务；
4、步骤二：进入冷数据分布式光存储管理模块，冷数据分布式光存储管理模块包括分布式文件系统、在线采集缓冲区、分布式光驱服务磁光同步和光盘库；
5、步骤三：进入数据迁移接口模块，冷存储与热存储集群对接，将热存储中部分无释放要求的非关键数据迁入冷存储，测试光盘库写入速率，将已迁入冷存储的数据从热存储中清除，保留文件入口；
6、步骤四：进入数据调阅服务模块，数据调阅模块包括虚拟文件系统接口模块接口集成方式和文件系统监听接口模块接口集成方式，数据调阅服务模块通过打开和读取已从热存储中清除的文件数据，触发数据从冷存储到热存储的自动迁移；
7、步骤五：虚拟文件系统接口模块观测数据迁移完成后，建立软链接指向fuse虚拟文件系统，fuse根据用户对文件操作方式创建冷数据回迁任务，完成冷热数据回迁，文件系统监听接口模块在数据迁移完成后，创建目录监听任务，通过操作系统监听事件，获取文件的操作状态，系统获取下载命令创建回迁任务，完成冷热数据回迁。
8、所述步骤一中的数据采集服务模块包括光存储系统，所述数据采集服务模块根据迁移策略采集代理客户端再通过posix接口下载文件到多节点卷池中。
9、所述数据采集服务模块包括以下步骤：
10、步骤一(一)：采集代理客户端根据迁移策略，通过posix接口下载文件到多节点卷池中，光存储系统根据卷池数据生成通用的光盘镜像；
11、步骤一(二)：选择可用光盘库的分布式蓝光驱动器服务进行数据刻录。当业务应用层的用户需要调阅数据时，系统访问虚拟文件系统；
12、步骤一(三)：确认系统文件是否在线，通过接口向近线存储发出请求，回迁数据后，业务层继续访问。
13、所述光存储系统根据卷池数据生成通用的光盘镜像，选择可用光盘库的分布式蓝光驱动器服务进行数据刻录，当业务应用层的用户需要调阅数据时，系统访问虚拟文件系统，系统文件是否在线，通过接口向近线存储发出请求，回迁数据后，业务层继续访问。
14、所述步骤二中的分布式文件系统与在线采集缓冲区之间用于采集导出和文件批量查询，所述在线采集缓冲区和分布式光驱服务磁光同步之间用于组织刻录数据和恢复天文数据信息，所述分布式光驱服务磁光同步和光盘库之间用于刻录数据和随机读取数据。
15、所述步骤三中的数据迁移接口模块包括采集代理客户端、数据存档平台和光盘库集群分布式刻录驱动器，所述数据迁移接口模块包括步骤如下：
16、步骤三(一)：加载基础信息，配置同步识别光盘库分区规则、副本规则和缓存清理规则，get采集策略数据源，建立通道后访问posix接口服务端，调用操作系统文件查询函数；
17、步骤三(二)：获取文件信息，文件信息包括信息大小和信息类型，获取异常三次核验下载数据是否合法，合法则将数据传输到光存储卷池服务器，调用光存储归档接口，分配可用设备进行数据刻录服务流程，设备管控服务后进入光盘库驱动器加载光盘，同时加载刻录数据，根据逻辑光盘信息下载缓存数据，进行动态数据刻录后反馈存储地址信息；
18、步骤三(三)：调用操作系统文件move函数，写入缓冲区域后，临时缓存进行存储处理，再回到步骤三(二)中的核验下载数据是否合法，若合法继续步骤三(二)操作。
19、所述步骤四中的虚拟文件系统接口模块和文件系统监听接口模块均包括数据迁移、数据调阅和光存储集群服务，所述虚拟文件系统接口模块的操作步骤如下：
20、步骤四(一)：数据迁移时首先建立通道，建立软连接清理文件，冷数据分级存储fuse文件系统，进行数据调阅；
21、步骤四(二)：数据调阅时首先访问热存储文件系统，核验文件是否在线，若在线，则进行临时缓存存储处理，若进线则进入光存储卷池服务器，调用光存储调阅接口进行冷存储，分配可用设备进行数据调阅服务流程，通过设备管控服务进入光盘库驱动器加载光盘；
22、步骤四(三)：数据调阅服务流程首先根据逻辑光盘信息下载光盘数据，下载文件到卷池，再反馈存储地址信息。
23、所述步骤四中的文件系统监听接口模块包括以下步骤：
24、步骤四(1)：进行数据迁移，消息通知到光存储监听服务端，查询函数后清理文件，光存储监听服务实时监听归档数据目录，并根据操作系统事件发起回迁任务，而后进行数据调阅；
25、步骤四(2)：数据调阅首先访问热存储文件系统，触发监听事件是否在线，若在线则进行临时缓存存储处理，若进线则进入光存储卷池服务器，调用光存储调阅接口进行冷存储，分配可用设备后进入数据调阅服务流程，设备管控服务，光盘库驱动器加载光盘；
26、步骤四(3)：数据调阅服务流程首先根据逻辑光盘信息下载光盘数据，下载文件到卷池后反馈存储地址信息。
27、所述步骤六中的批量数据迁移模块将热存储中部分无释放要求的非关键数据迁入冷存储卷池中，光存储卷池服务监控到数据自动刻录到光盘，并形成光盘刻录任务包含任务刻录开始时间、刻录结束时间、数据大小和光盘库写入速率。
28、高并发性数据安全存储装置，所述数据安全存储装置包括光存储前置服务器、fuse虚拟文件系统、分布本文档来自技高网...
【技术保护点】
1.高并发性数据迁移方法，其特征在于，所述高并发数据迁移方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤一中的数据采集服务模块包括光存储系统，所述数据采集服务模块根据迁移策略采集代理客户端再通过POSIX接口下载文件到多节点卷池中。
3.根据权利要求1所述的方法，其特征在于，所述数据采集服务模块包括以下步骤：
4.根据权利要求2所述的方法，其特征在于，所述光存储系统根据卷池数据生成通用的光盘镜像，选择可用光盘库的分布式蓝光驱动器服务进行数据刻录，当业务应用层的用户需要调阅数据时，系统访问虚拟文件系统，系统文件是否在线，通过接口向近线存储发出请求，回迁数据后，业务层继续访问。
5.根据权利要求1所述的方法，其特征在于，所述步骤二中的分布式文件系统与在线采集缓冲区之间用于采集导出和文件批量查询，所述在线采集缓冲区和分布式光驱服务磁光同步之间用于组织刻录数据和恢复天文数据信息，所述分布式光驱服务磁光同步和光盘库之间用于刻录数据和随机读取数据。
6.根据权利要求1所述的方法，其特征在于，所述步骤三中的数据迁
7.根据权利要求1所述的方法，其特征在于，所述步骤四中的虚拟文件系统接口模块和文件系统监听接口模块均包括数据迁移、数据调阅和光存储集群服务，所述虚拟文件系统接口模块的操作步骤如下：
8.根据权利要求1所述的方法，其特征在于，所述步骤四中的文件系统监听接口模块包括以下步骤：
9.根据权利要求1所述的方法，其特征在于，所述步骤六中的批量数据迁移模块将热存储中部分无释放要求的非关键数据迁入冷存储卷池中，光存储卷池服务监控到数据自动刻录到光盘，并形成光盘刻录任务包含任务刻录开始时间、刻录结束时间、数据大小和光盘库写入速率。
10.高并发性数据安全存储装置，根据权利要求1-9所述的高并发性数据迁移方法，其特征在于，所述数据安全存储装置包括光存储前置服务器、fuse虚拟文件系统、分布式蓝光驱动器、光存储卷池服务器、冷存储卷池、光盘库集群分布式刻录驱动器和POSIX接口服务端，所述光存储前置服务器与分布式蓝光驱动器、光存储卷池服务器和光盘库集群分布式刻录驱动器相连接，所述fuse虚拟文件系统与POSIX接口服务端和冷存储卷池相连接。
...【技术特征摘要】
1.高并发性数据迁移方法，其特征在于，所述高并发数据迁移方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤一中的数据采集服务模块包括光存储系统，所述数据采集服务模块根据迁移策略采集代理客户端再通过posix接口下载文件到多节点卷池中。
3.根据权利要求1所述的方法，其特征在于，所述数据采集服务模块包括以下步骤：
4.根据权利要求2所述的方法，其特征在于，所述光存储系统根据卷池数据生成通用的光盘镜像，选择可用光盘库的分布式蓝光驱动器服务进行数据刻录，当业务应用层的用户需要调阅数据时，系统访问虚拟文件系统，系统文件是否在线，通过接口向近线存储发出请求，回迁数据后，业务层继续访问。
5.根据权利要求1所述的方法，其特征在于，所述步骤二中的分布式文件系统与在线采集缓冲区之间用于采集导出和文件批量查询，所述在线采集缓冲区和分布式光驱服务磁光同步之间用于组织刻录数据和恢复天文数据信息，所述分布式光驱服务磁光同步和光盘库之间用于刻录数据和随机读取数据。
6.根据权利要求1所述的方法，其特征在于，所述步骤三中的数据迁移接口模块包括采集代理客户端、数据存档平台和光盘...
【专利技术属性】
技术研发人员：侯煦，栗军，
申请(专利权)人：北京中领启天信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。