一种持续超高速的数据卸载系统技术方案

本发明专利技术公开了一种持续超高速的数据卸载系统，包括控制设备和多台磁盘阵列，用于对记录仪设备中的数据文件进行卸载，控制设备分别与记录仪设备、各磁盘阵列连接，记录仪设备与各磁盘阵列之间连接形成多个数据传输通道，各数据传输通道均带有特定的ID号，磁盘阵列中设置有转储单元，记录仪设备中设置有卸载服务单元，本发明专利技术利用并行计算技术，构建分布式存储系统，将数据卸载工具中数据转储的多线程读写操作修改为分布式并行操作，提高数据卸载的工作效率，大幅度提升数据转储的速度，从而减少海量超大数据卸载所需时间。

【技术实现步骤摘要】
一种持续超高速的数据卸载系统
本专利技术属于数据卸载
，具体涉及一种持续超高速的数据卸载系统，采用多台磁盘阵列为后端存储，构建分布式卸载系统，针对海量超大数据在不同存储空间转储的应用需求，利用控制设备实现数据卸载前属性配置、数据卸载中状态监控、数据卸载后重新读取及使用，达到提升数据转储速度的目的。
技术介绍
近年来，随着雷达、图像领域高分辨率传感器技术的发展，相应数据记录仪设备存储数据量越来越大，由于高速记录仪设备通常采用专用接口传输数据，故需要将记录仪中的数据卸载出来才能进行事后分析，但数十TB级数据卸载时间很长，所以数据卸载速度逐渐成为数据记录仪的又一项关键指标。以无人机应用为例，很多军用、民用无人机的机载数据记录仪的存储容量都在TB级别，通过计算机接口(USB、SATA)或网络接口，完成数据卸载都需要十几个小时，这直接影响数据分析的工作效率和数据记录仪的利用率。如何提升数据卸载速度成为当下必须面临和解决的问题。为解决这个问题，业内设计了很多高性能存储系统硬件架构，主要思想是利用多线程和共享内存提升数据记录仪和地面服务器存储空间的并发读写速度，同时设计并行的高速数据转储接口，支撑对海量数据的高速卸载。目前常见的数据记录仪卸载硬件架构如图1所示，记录仪与磁盘阵列之间进行一对一的数据转存，在图1所示的硬件架构下，运行于地面服务器的传统数据卸载工具工作流程如附图2所示，具体描述如下：1)从数据记录仪中读取指定大小的数据块到多个共享内存中；2)启动多个读写线程，对共享内存进行操作，最终将数据写入服务器存储空间中，多个读写线程的数据存储的读写时序如附图3所示；3)重复前述两步操作直到记录仪内所有数据存储到服务器存储空间中。在上述数据卸载工具流程下，目前常见数据记录仪利用服务器多核架构，充分利用单台服务器资源，提升了一定数据卸载能力，但提升效果有限。
技术实现思路
本专利技术的目的在于提供一种持续超高速的数据卸载系统，利用并行计算技术，构建分布式存储系统，将数据卸载工具中数据转储的多线程读写操作修改为分布式并行操作，提高数据卸载的工作效率，大幅度提升数据转储的速度，从而减少海量超大数据卸载所需时间。为实现上述目的，本专利技术所采取的技术方案如下：一种持续超高速的数据卸载系统，包括控制设备和多台磁盘阵列，用于对记录仪设备中的数据文件进行卸载，所述控制设备分别与记录仪设备、各磁盘阵列连接，所述记录仪设备与各磁盘阵列之间连接形成多个数据传输通道，各数据传输通道均带有特定的ID号，所述磁盘阵列中设置有转储单元，所述记录仪设备中设置有卸载服务单元，其中：所述控制设备，用于扫描记录仪设备和磁盘阵列，发送配置命令给卸载服务单元完成配置，选择记录仪设备上需要卸载的文件列表，向所述记录仪设备上的卸载服务单元下发卸载命令；所述卸载服务单元，用于响应控制设备的配置命令，完成配置，并接收控制设备的卸载命令，根据卸载命令中携带的需要卸载的文件列表信息，扫描记录仪设备上的数据文件，获取需要卸载的文件列表，依次从文件列表中获取单个文件进行分片处理，拆分为大小相同的分片并进行编号，向配置的磁盘阵列发送操作指令，根据编号将分片通过数据传输通道发送，并在完成该单个文件的卸载后，更新元数据信息，将该元数据信息发送至指定的磁盘阵列上；所述转储单元，用于响应卸载服务单元的操作指令，将接收的分片以单文件追加方式进行存盘，将接收的元数据信息储存在磁盘阵列的指定位置。作为优选，所述控制设备，用于扫描记录仪设备和磁盘阵列，发送配置命令给卸载服务单元完成配置，执行如下操作：所述控制设备扫描记录仪设备和磁盘阵列，判断是否有记录仪设备存在，若无则结束；若有则选取一个记录仪设备，获取该记录仪设备的元数据信息，并根据所述元数据信息获取当前记录仪上的文件列表信息，向记录仪设备发送配置命令，所述配置命令包括分片大小以及数据传输通道的数量，判断记录仪设备是否配置成功，若不成功则结束；若成功则完成卸载服务单元的配置，并进行后续操作。作为优选，所述卸载服务单元，依次从文件列表中获取单个文件进行分片处理，拆分为大小相同的分片并进行编号，根据编号将分片通过数据传输通道发送，执行如下操作：所述卸载服务单元，读取需要卸载的文件列表中单个文件的文件内容，根据控制设备下发的配置命令中的分片大小，对文件内容进行分片处理，拆分为大小相同的分片并进行编号，对分片的编号和数据传输通道的数量进行模运算，得到每个分片所对应发送的数据传输通道的ID号，并将分片发送；继续读取需要卸载的文件列表中的其他单个文件的文件内容，并进行后续操作，直至完成所有需要卸载的文件列表的卸载。作为优选，所述控制设备还用于向所述记录仪设备上的卸载服务单元下发卸载命令后，获取卸载服务单元的卸载进度，判断卸载服务单元是否完成记录仪设备上所有需要卸载的文件列表的卸载，若卸载未完成则继续获取卸载进度；若卸载完成，则向记录仪设备上的卸载服务单元下发卸载完成命令结束卸载。作为优选，所述记录仪设备上的卸载服务单元接收所述控制设备的卸载完成命令，向数据传输通道中的主通道发送最新的元数据信息，并关闭数据传输通道的端口，结束卸载流程。作为优选，所述控制设备在向所述卸载服务单元下发卸载完成命令之后，向指定的磁盘阵列的转储单元下发发送元数据信息命令，获取该磁盘阵列上对应的元数据信息并展示，同时解析元数据信息，对卸载至多台磁盘阵列上的分片进行还原及管理。作为优选，所述控制设备，还用于在记录仪设备上的卸载服务单元发生卸载意外中断时，获取磁盘阵列上转储单元中的与该记录仪设备相关的元数据信息，并根据元数据信息进行断点续传。作为优选，所述转储单元，用于响应卸载服务单元的操作指令，将接收的分片以单文件追加方式进行存盘，将接收的元数据信息储存在磁盘阵列的指定位置，执行如下操作：当操作指令为开启数据通道指令时，所述转储单元建立与记录仪设备的数据传输通道连接；或，操作指令为接收数据指令时，所述转储单元接收记录仪设备发出的分片，并将接收的分片以单文件追加方式进行存盘；或，操作指令为关闭数据通道指令时，所述转储单元断开与记录仪设备的数据传输通道连接；或，操作指令为接收元数据信息指令时，所述转储单元接收记录仪设备发出的元数据信息，并将接收的元数据信息储存在磁盘阵列的指定位置。作为优选，所述持续超高速的数据卸载系统支持并行接入多台记录仪设备，各记录仪设备与控制设备、各磁盘阵列之间连接。本专利技术提出的一种持续超高速的数据卸载系统，采用并行数据转储的软硬件架构，利用分布式系统的资源优势，提高了数据卸载效率；支持多台记录仪设备同时卸载和管理等功能，大幅提高记录仪设备的工作效率和实践利用率；本专利技术支持分布式断点续传，有效减少数据重传时间，提升数据卸载效率；本专利技术对卸载后的分片数据进行元数据管理，实现所有文件统一管理，方便用户浏览和检索。附图说明图1为现有技术中的数据记录仪卸载硬件架构；图2为现有技术中传统数据卸载工具工作流程；图3为现有技术中传统数据卸载工具的数据存储的读写时序分析图；图4为本专利技术持续超高速的数据卸载系统的架构图；图5为本专利技术中控制设备的工作流程图；图6为本专利技术中卸载服务单元的工作流程图；图7为本专利技术中卸载服务单元的卸载流程的详细工作流程图；图8为本专利技术中转储单元的本文档来自技高网...

【技术保护点】
1.一种持续超高速的数据卸载系统，包括控制设备和多台磁盘阵列，用于对记录仪设备中的数据文件进行卸载，其特征在于，所述控制设备分别与记录仪设备、各磁盘阵列连接，所述记录仪设备与各磁盘阵列之间连接形成多个数据传输通道，各数据传输通道均带有特定的ID号，所述磁盘阵列中设置有转储单元，所述记录仪设备中设置有卸载服务单元，其中：所述控制设备，用于扫描记录仪设备和磁盘阵列，发送配置命令给卸载服务单元完成配置，选择记录仪设备上需要卸载的文件列表，向所述记录仪设备上的卸载服务单元下发卸载命令；所述卸载服务单元，用于响应控制设备的配置命令，完成配置，并接收控制设备的卸载命令，根据卸载命令中携带的需要卸载的文件列表信息，扫描记录仪设备上的数据文件，获取需要卸载的文件列表，依次从文件列表中获取单个文件进行分片处理，拆分为大小相同的分片并进行编号，向配置的磁盘阵列发送操作指令，根据编号将分片通过数据传输通道发送，并在完成该单个文件的卸载后，更新元数据信息，将该元数据信息发送至指定的磁盘阵列上；所述转储单元，用于响应卸载服务单元的操作指令，将接收的分片以单文件追加方式进行存盘，将接收的元数据信息储存在磁盘阵列的指定位置。...

【技术特征摘要】
1.一种持续超高速的数据卸载系统，包括控制设备和多台磁盘阵列，用于对记录仪设备中的数据文件进行卸载，其特征在于，所述控制设备分别与记录仪设备、各磁盘阵列连接，所述记录仪设备与各磁盘阵列之间连接形成多个数据传输通道，各数据传输通道均带有特定的ID号，所述磁盘阵列中设置有转储单元，所述记录仪设备中设置有卸载服务单元，其中：所述控制设备，用于扫描记录仪设备和磁盘阵列，发送配置命令给卸载服务单元完成配置，选择记录仪设备上需要卸载的文件列表，向所述记录仪设备上的卸载服务单元下发卸载命令；所述卸载服务单元，用于响应控制设备的配置命令，完成配置，并接收控制设备的卸载命令，根据卸载命令中携带的需要卸载的文件列表信息，扫描记录仪设备上的数据文件，获取需要卸载的文件列表，依次从文件列表中获取单个文件进行分片处理，拆分为大小相同的分片并进行编号，向配置的磁盘阵列发送操作指令，根据编号将分片通过数据传输通道发送，并在完成该单个文件的卸载后，更新元数据信息，将该元数据信息发送至指定的磁盘阵列上；所述转储单元，用于响应卸载服务单元的操作指令，将接收的分片以单文件追加方式进行存盘，将接收的元数据信息储存在磁盘阵列的指定位置。2.如权利要求1所述的持续超高速的数据卸载系统，其特征在于，所述控制设备，用于扫描记录仪设备和磁盘阵列，发送配置命令给卸载服务单元完成配置，执行如下操作：所述控制设备扫描记录仪设备和磁盘阵列，判断是否有记录仪设备存在，若无则结束；若有则选取一个记录仪设备，获取该记录仪设备的元数据信息，并根据所述元数据信息获取当前记录仪上的文件列表信息，向记录仪设备发送配置命令，所述配置命令包括分片大小以及数据传输通道的数量，判断记录仪设备是否配置成功，若不成功则结束；若成功则完成卸载服务单元的配置，并进行后续操作。3.如权利要求2所述的持续超高速的数据卸载系统，其特征在于，所述卸载服务单元，依次从文件列表中获取单个文件进行分片处理，拆分为大小相同的分片并进行编号，根据编号将分片通过数据传输通道发送，执行如下操作：所述卸载服务单元，读取需要卸载的文件列表中单个文件的文件内容，根据控制设备下发的配置命令中的分片大小，对文件内容进行分片处理，拆分为大小相同的分片并进行编号，对分片的编号和数据传输通道的数量进行模运算，得到每个分...

【专利技术属性】
技术研发人员：彭信民，闫华，吴道广，瞿崇晓，
申请(专利权)人：中国电子科技集团公司第五十二研究所，
类型：发明
国别省市：浙江,33