一种面向大流量环境的文件还原系统以及方法技术方案

一种面向大流量环境的文件还原系统以及方法，系统包括至少一个协议识别服务器和文件还原服务器，协议识别服务器用于数据流识别并将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器；文件还原服务器接收所述至少一个协议识别服务器的原始报文，判定数据流的方向，并结合原始报文中写入的协议类型进行文件还原；本发明专利技术将流识别和文件还原松耦合，拥有高效的DPI处理能力，可以处理更大的数据流量；通过判定数据流的方向，结合原始报文中写入的协议类型进行文件还原，因此支持单向数据流还原、支持没有三次握手报文的TCP流还原；支持一台文件还原服务器对接多台进行协议识别的DPI设备，部署、扩容灵活。

【技术实现步骤摘要】
一种面向大流量环境的文件还原系统以及方法
本专利技术涉及通信
，尤其涉及一种面向大流量环境的文件还原系统。
技术介绍
部署在运营商网络中的DPI设备有对用户下载文件进行还原的功能要求，目前通常的方法是DPI设备中协议识别功能和文件还原功能是紧耦合在一起，在一个DPI设备中实现，这样会影响DPI设备的主要功能，导致效率低，但是简单的将协议识别和文件还原分不在不同的设备上运行，来实现高效的性能是不可能的。因为，目前针对文件还原技术，都是针对完整的数据流才能实现对流的文件还原，如果数据流不完整，则无法实现。例如：缺少三次握手数据包、只有一个方向的数据包等情况，现有技术是无法进行还原的。如果在还原方法不变且DPI硬件结构不变的基础上，要实现将协议识别功能和文件还原部分分离开来，那么就需要协议识别处理部分就必须具备以下条件：1)处理的数据必须是双向数据路；2)转发给文件还原服务器的数据流必须是双向数据流，并且是包含三次握手数据包。在运营上的实际环境中，多数都是采用链路负载均衡的方式进行部署的，不可能确保每条链路的数据都是完整的双向数据流；即使是完整的双向数据流，在将协议识别数来的时候，三次握手数据已经处理过了，无法将完整的数据流转发给文件还原设备。所以，实际上若要将协议识别和文件还原服务独立开来，那么就需要实现以下功能：1)、将运营商的所有链路在流经协议识别服务器前，需要进行数据汇聚处理，安装完整流在分发到不同的协议识别服务器；2)、在协议被识别出来之前，需要对数据包进行缓存，等到协议识别成功后，再将缓存的数据按照接收的顺序转发给文件还原设备。显然，为了满足协议设备与文件还原的分离，需要增加额外的流量汇聚设备，同时协议识别服务器要增加数据包缓存的功能，不仅对内存容量要求提高，还将增加数据的拷贝动作，占用CPU的使用资源。所以，如果简单的将协议识别和文件还原功能分开部署到两台设备上而又没有改进文件还原技术，会大大增加额外的成本，同时增加了对部署环境的要求。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的上述DPI设备效率低的缺陷，提供一种面向大流量环境的文件还原系统。本专利技术解决其技术问题所采用的技术方案是：构造一种面向大流量环境的文件还原系统，包括：至少一个协议识别服务器，所述协议识别服务器用于数据流识别并将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器；文件还原服务器，用于接收所述至少一个协议识别服务器的原始报文，判定数据流的方向，并结合原始报文中写入的协议类型进行文件还原。在本专利技术所述的面向大流量环境的文件还原系统中，所述的写入识别出的协议包括：将五元组信息相同的报文作为一个数据流，并将数据流中的第一个原始报文的TOS字段改写为该数据流对应的协议类型。在本专利技术所述的面向大流量环境的文件还原系统中，所述的进行文件还原包括：从当前数据流中的第一个原始报文的TOS字段提取协议类型，如果提取出的协议类型的取值符在系统定义的范围之内，则根据判定的数据流的方向建立一个TCP数据流连接以处理该数据流中的所有原始报文，针对每个原始报文按照协议中关于当前数据流的方向的规定，对原始报文进行解析和提取信息进而完成文件还原。在本专利技术所述的面向大流量环境的文件还原系统中，判定数据流的方向包括：根据数据流中原始报文的端口数值判定该原始报文来自服务器端口或者客户端端口。在本专利技术所述的面向大流量环境的文件还原系统中，所述系统还包括信息存储服务器，用于存储协议识别服务器发送的文件基础信息；所述文件还原服务器还用于：在文件还原后，判断日志需要的信息是否完整，如果完整则记录日志，否则基于五元组信息从信息存储服务器查询基本信息。本专利技术还公开了一种面向大流量环境的文件还原方法，方法包括：S1、进行数据流识别的至少一个协议识别服务器将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器；S2、文件还原服务器接收所述至少一个协议识别服务器的原始报文，判定数据流的方向，并结合原始报文中写入的协议类型进行文件还原。在本专利技术所述的面向大流量环境的文件还原方法中，步骤S2中所述的写入识别出的协议包括：将五元组信息相同的报文作为一个数据流，并将数据流中的第一个原始报文的TOS字段改写为该数据流对应的协议类型。在本专利技术所述的面向大流量环境的文件还原方法中，步骤S2中所述的进行文件还原包括：S21、从当前数据流中的第一个原始报文的TOS字段提取协议类型，如果提取出的协议类型的取值符在系统定义的范围之内，则进入步骤S22，否则结束；S22、根据判定的数据流的方向建立一个TCP数据流连接以处理该数据流中的所有原始报文；S23、针对每个原始报文按照协议中关于当前数据流的方向的规定，对原始报文进行解析和提取信息进而完成文件还原。在本专利技术所述的面向大流量环境的文件还原方法中，步骤S2中所述的判定数据流的方向包括：根据数据流中原始报文的端口数值判定该原始报文来自服务器端口或者客户端端口。在本专利技术所述的面向大流量环境的文件还原方法中，方法还包括：S3、所述文件还原服务器在文件还原后，判断日志需要的信息是否完整，如果完整则记录日志，否则基于五元组信息从信息存储服务器查询基本信息。实施本专利技术的面向大流量环境的文件还原系统，具有以下有益效果：1)、DPI的流识别和文件还原松耦合，文件还原服务器与DPI设备分离，DPI设备作为协议识别服务器专注进行流识别，同样配置的DPI硬件设备，拥有高效的DPI处理能力，可以处理更大的数据流量；2)、文件还原服务器通过判定数据流的方向，结合原始报文中写入的协议类型进行文件还原，因此支持单向数据流还原、支持没有三次握手报文的TCP流还原；3)、支持一台文件还原服务器对接多台进行协议识别的DPI设备，部署、扩容都比较灵活。附图说明下面将结合附图及实施例对本专利技术作进一步说明，附图中：图1是本专利技术的面向大流量环境的文件还原系统的结构示意图；图2是本专利技术的面向大流量环境的文件还原方法的程序流程图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图详细说明本专利技术的具体实施方式。本专利技术中，DPI设备仅仅执行数据流识别，将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器；文件还原服务器接收所述至少一个DPI设备的原始报文后，判定数据流的方向，并结合原始报文中写入的协议类型进行文件还原。本专利技术的还原可以针对非完整的数据或只有单向数据的流还原，在不增加额外成本的情况下，完成协议识别和文件还原的分离，实现设备专用的目的，达到高效的处理性能。下面以较佳实施例详细说明本专利技术。参考图1是本专利技术的面向大流量环境的文件还原系统的结构示意图。较佳实施例中，系统包括：至少一个协议识别服务器、文件还原服务器、信息存储服务器。其中：协议识别服务器：本专利技术中协议识别服务器即为原有的DPI设备，DPI设备专注进行数据流识别，并将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器。如图中，多个DPI设备1-N均将数据转发至同一台文件还原服务器。具体的，所述的写入识别出的协议包括：将五元组信息(4层协议、源IP、源端口本文档来自技高网...

【技术保护点】
一种面向大流量环境的文件还原系统，其特征在于，包括：至少一个协议识别服务器，所述协议识别服务器用于数据流识别并将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器；文件还原服务器，用于接收所述至少一个协议识别服务器的原始报文，判定数据流的方向，并结合原始报文中写入的协议类型进行文件还原。

【技术特征摘要】
1.一种面向大流量环境的文件还原系统，其特征在于，包括：至少一个协议识别服务器，所述协议识别服务器用于数据流识别并将识别出的需要进行文件还原的数据流的原始报文写入识别出的协议类型后转发至文件还原服务器；文件还原服务器，用于接收所述至少一个协议识别服务器的原始报文，判定数据流的方向，并结合原始报文中写入的协议类型进行文件还原。2.根据权利要求1所述的面向大流量环境的文件还原系统，其特征在于，所述的写入识别出的协议包括：将五元组信息相同的原始报文作为一个数据流，并将数据流中的第一个原始报文的TOS字段改写为该数据流对应的协议类型。3.根据权利要求2所述的面向大流量环境的文件还原系统，其特征在于，所述的进行文件还原包括：从当前数据流中的第一个原始报文的TOS字段提取协议类型，如果提取出的协议类型的取值符在系统定义的范围之内，则根据判定的数据流的方向建立一个TCP数据流连接以处理该数据流中的所有原始报文，针对每个原始报文按照协议中关于当前数据流的方向的规定，对原始报文进行解析和提取信息进而完成文件还原。4.根据权利要求1所述的面向大流量环境的文件还原系统，其特征在于，所述的判定数据流的方向包括：根据数据流中原始报文的端口数值判定该原始报文来自服务器端口或者客户端端口。5.根据权利要求1所述的面向大流量环境的文件还原系统，其特征在于，所述系统还包括信息存储服务器，用于存储协议识别服务器发送的文件基础信息；所述文件还原服务器还用于：在文件还原后，判断日志需要的信息是否完整，如果完整则记录日志，否则基于五元组信息从信息存储服务器查询基本信息。6...

【专利技术属性】
技术研发人员：刘永强，程海龙，沈智杰，景晓军，
申请(专利权)人：任子行网络技术股份有限公司，
类型：发明
国别省市：广东,44