一种大规模多路数据跨网单向导入方法及系统技术方案

本发明专利技术公开了一种大规模多路数据跨网单向导入方法及系统，其中方法包括以下步骤：发送端对待发送的文件进行通道编号和文件涉密等级编号；前置服务器对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，并进行流量控制和重传控制；中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端；后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性；接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理。本发明专利技术可有效解决大规模数据导入、多个发送端向多个接收端同时进行数据导入时的传输拥塞、数据丢失、数据出错等问题。问题。问题。

【技术实现步骤摘要】
一种大规模多路数据跨网单向导入方法及系统


[0001]本专利技术涉及跨网传输
，尤其涉及一种大规模多路数据跨网单向导入方法及系统。

技术介绍

[0002]跨网单向导入是解决不同密级的两个网络实现数据安全交换的基本方法，采用无反馈单向光传输技术，是目前最常用的跨网传输手段，兼具安全性和时效性。
[0003]无反馈单向光传输能保证安全性和时效性，但也带来了数据传输不可靠的问题。因为采用无反馈光传输通道，数据的发送方得不到数据接收方的应答，当传输线路或接收方出现故障时，发送方无法自动识别，导致数据丢失、数据出错等问题出现。
[0004]目前，无反馈单向光传输主要采用前向纠错、扰码、多通道、应用层签名等机制保障数据传输的可靠性。李承林在《基于光闸单向传输数据交换技术研究》论文中提出采用基于RS算法的前向纠错编码提高传输数据的可靠性。邵旭东等人在《基于光纤通信技术的数据单向传输可靠性研究》论文中提出从硬件层到应用层的多级防丢包措施来度保障数据单向传输过程的可靠性。聂元铭等人在《网间数据单向传输技术研究》论文中提出采用MRP(多重冗余技术)保证系统的高可靠性。杨越等人在《基于多传输通道的单向传输技术研究》论文中提出基于投票决策的多通道数据传输机制实现数据的可靠传输。包益民在《基于光闸单向安全传输系统的研究与实现》论文中提出采用应用层签名机制保障数据传输可靠性。常艳青等人在《一种单向数据传输方法及装置》专利中提出采用内核缓存空间解决数据单向传输丢包问题。
[0005]这些机制在一定程度上解决了无反馈单向光传输中数据可靠性问题，但在大规模数据导入、多个发送端向多个接收端同时进行数据导入时(多路数据导入)，难以解决传输拥塞、数据丢失、数据出错等问题。

技术实现思路

[0006]为了解决上述问题，本专利技术提出一种大规模多路数据跨网单向导入方法及系统，针对大规模数据跨网单向导入出现传输拥塞、数据透传等问题，提出基于文件涉密等级的流量控制机制；针对多路数据跨网单向导入出现数据丢失、数据出错等问题，提出基于传输任务和传输通道的重传控制机制。
[0007]本专利技术采用的技术方案如下：
[0008]一种大规模多路数据跨网单向导入方法，包括以下步骤：
[0009]S1.发送端对待发送的文件进行通道编号和文件涉密等级编号，将文件、通道编号、文件涉密等级编号发送给前置服务器；
[0010]S2.前置服务器接收文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；
[0011]S3.中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端；
[0012]S4.中间接收端接收文件分片，通知后置服务器文件已到达；
[0013]S5.后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性，通知接收端文件已到达；
[0014]S6.接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理。
[0015]进一步地，步骤S2中，所述根据文件涉密等级编号进行流量控制包括以下步骤：
[0016]S201.文件分片到达前置服务器的接收模块；
[0017]S202.接收模块将其放入前置服务器的流量控制模块中的缓存队列；
[0018]S203.流量控制模块设定发送时间窗口，在发送时间窗口内对缓存队列中已到达未开始传输的文件分片按照文件涉密等级编号进行排序，形成多种涉密等级队列；
[0019]S204.流量控制模块根据涉密等级优先级依次将多种涉密等级队列中的文件分片推入到发送队列；
[0020]S205.流量控制模块将已处理的文件分片存入重传文件库；
[0021]S206.发送模块顺序读取发送队列的文件分片，将其发送给中间发送端。
[0022]进一步地，所述多种涉密等级队列包括高涉密等级队列、中涉密等级队列和低涉密等级队列。
[0023]进一步地，步骤S2中，所述根据任务编号和通道编号进行重传控制包括3个子流程：文件重传子流程、文件唤醒子流程和文件清理子流程。
[0024]进一步地，所述文件重传子流程包括以下步骤：
[0025]S211.前置服务器的重传调度子模块收到后置服务器离线发送的文件重传指令，获得待重传文件的任务编号m和通道编号p；
[0026]S212.重传调度子模块向重传文件库读取任务编号为m的文件片，累计任务m的重传次数，如果重传次数大于第一阈值，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
[0027]S213.重传调度子模块累计通道号p的重传次数，如果大于第二阈值，则将任务m的文件片放入休眠文件库，流程结束、返回结果；
[0028]S214.重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
[0029]进一步地，所述文件唤醒子流程包括以下步骤：
[0030]S221.重传调度子模块收到文件唤醒指令，获得唤醒文件的任务编号m和通道号p；
[0031]S222.重传调度子模块累计通道号p的重传次数，如果大于第二阈值，则流程结束、返回结果；
[0032]S223.重传调度子模块向休眠文件库读取任务编号为m的文件片；
[0033]S224.重传调度子模块将任务m的文件片依次压入重传队列，等待接收模块读取，流程结束、返回结果。
[0034]进一步地，所述文件清理子流程包括以下步骤：
[0035]S231.重传调度子模块接收到文件清理指令；
[0036]S232.重传调度子模块依次读取休眠文件库中所有文件的休眠开始时间，计算休
眠时长；
[0037]S233.如果休眠时长大于第三阈值，则删除休眠文件库中的对应的文件分片；
[0038]S234.结束流程，返回结果。
[0039]进一步地，所述通道编号包括文件的发送端地址和接收端地址。
[0040]进一步地，所述任务编号包括文件的通道编号和MD5值。
[0041]一种大规模多路数据跨网单向导入系统，包括：
[0042]发送端，被配置为对待发送的文件进行通道编号和文件涉密等级编号；
[0043]前置服务器，被配置为接收发送端发送的文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，计算文件的任务编号，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；
[0044]中间发送端，被配置为接收前置服务器发送的文件分片，进行病毒检查；
[0045]中间接收端，被配置为通过无反馈光纤通道接收中间发送端发送的文件分片；
[0046]后置服务器，被配置为与中间接收端连接，用于拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性；
...

【技术保护点】

【技术特征摘要】
1.一种大规模多路数据跨网单向导入方法，其特征在于，包括以下步骤：S1.发送端对待发送的文件进行通道编号和文件涉密等级编号，将文件、通道编号、文件涉密等级编号发送给前置服务器；S2.前置服务器接收文件、通道编号和文件涉密等级编号，对文件进行MD5值计算和分片，同时计算文件的任务编号，将文件分片传送到中间发送端，根据文件涉密等级编号进行流量控制，根据任务编号和通道编号进行重传控制；S3.中间发送端接收文件分片，进行病毒检查，通过无反馈光纤通道将文件分片传输到中间接收端；S4.中间接收端接收文件分片，通知后置服务器文件已到达；S5.后置服务器连接中间接收端，拉取文件分片，将文件分片组合成文件并存入磁盘，检查文件完整性，通知接收端文件已到达；S6.接收端连接后置服务器，接收文件，提交给接收端应用进程业务处理。2.根据权利要求1所述的大规模多路数据跨网单向导入方法，其特征在于，步骤S2中，所述根据文件涉密等级编号进行流量控制包括以下步骤：S201.文件分片到达前置服务器的接收模块；S202.接收模块将其放入前置服务器的流量控制模块中的缓存队列；S203.流量控制模块设定发送时间窗口，在发送时间窗口内对缓存队列中已到达未开始传输的文件分片按照文件涉密等级编号进行排序，形成多种涉密等级队列；S204.流量控制模块根据涉密等级优先级依次将多种涉密等级队列中的文件分片推入到发送队列；S205.流量控制模块将已处理的文件分片存入重传文件库；S206.发送模块顺序读取发送队列的文件分片，将其发送给中间发送端。3.根据权利要求2所述的大规模多路数据跨网单向导入方法，其特征在于，所述多种涉密等级队列包括高涉密等级队列、中涉密等级队列和低涉密等级队列。4.根据权利要求2所述的大规模多路数据跨网单向导入方法，其特征在于，步骤S2中，所述根据任务编号和通道编号进行重传控制包括3个子流程：文件重传子流程、文件唤醒子流程和文件清理子流程。5.根据权利要求4所述的大规模多路数据跨网单向导入方法，其特征在于，所述文件重传子流程包括以下步骤：S211.前置服务器的重传调度子模块收到后置服务器离线发送的文件重传指令，获得待重传文件的任务编号m和通道编号p；S212.重传调度子模块向重传文件库读取任务编号为m的文件片，累计任务m的重传次数，如果重传次数大于第一阈值，则将任务m...

【专利技术属性】
技术研发人员：曾梦岐，付江，周强，林楠，王庆，
申请(专利权)人：中国电子科技集团公司第三十研究所，
类型：发明
国别省市：