【技术实现步骤摘要】
本专利技术涉及流量数据处理，尤其涉及一种基于镜像转发的流量数据处理方法及系统。
技术介绍
1、随着对网络安全合法要求的重视，越来越多的流量审计场景开始出现，如何实现对流量数据进行高效的合法审计成为了重要的技术难题。现有技术中，为了实现流量信息的审计，一般会把业务流量通过本地通信链路传输至本地的审计设备进行分析审计。由于部分流量审计设备成本过高，大部分企业资金只能采购少量审计设备进行审计，因此本地部署审计系统比较合理。
2、但目前存在需要统一对多个区域的流量进行统一审计管理的需求，现有技术中本地部署审计系统的思路显然不理想，而若做多重镜像转发到异地区域，则会加重交换机压力，存在路由配置难度大的问题，因此显然现有技术实现的流量数据审计方案的效果和扩展性有所欠缺。可见，现有技术存在缺陷，亟需解决。
技术实现思路
1、本专利技术所要解决的技术问题在于，提供一种基于镜像转发的流量数据处理方法及系统，能够实现基于镜像复制和异地打包传输来对实时流量进行异地的合法审计，在保证本地实时流量的传输不受影响的情况下提高异地审计的效率和充分程度。
2、为了解决上述技术问题，本专利技术第一方面公开了一种基于镜像转发的流量数据处理方法，应用于流量数据处理系统，所述流量数据处理系统包括处于第一区域内的源数据系统和处于第二区域内的审计端系统；所述源数据系统包括通过交换机连接的网络设备和流量打包服务器；所述审计端系统包括相互连接的流量解包服务器和审计设备；所述流量打包服务器和所述流量解包服务
3、所述交换机获取所述网络设备发送的待审计流量数据，对所述待审计流量数据进行镜像复制，得到镜像数据，将所述镜像数据发送至所述流量打包服务器；
4、所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据，将所述封装设备发送至所述流量解包服务器；
5、所述流量解包服务器根据预设的流量解包规则，对所述封装数据进行解包，得到所述镜像数据，将所述镜像数据发送至所述审计设备；
6、所述审计设备根据预设的审计规则，对所述镜像数据进行审计，以得到所述待审计流量数据对应的审计分析结果。
7、作为一种可选的实施方式，在本专利技术第一方面中，所述源数据系统还包括分别与所述交换机和所述流量打包服务器连接的虚拟交换机；所述交换机将所述镜像数据发送至所述流量打包服务器的具体方式，包括：
8、所述交换机将所述镜像数据发送至所述虚拟交换机；
9、所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除，将剔除后的所述镜像数据发送至所述流量打包服务器。
10、作为一种可选的实施方式，在本专利技术第一方面中，所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据的具体方式，包括：
11、根据预设的分段规则，对所述镜像数据进行分段切片处理，得到多个切片数据；所述分段规则为序列分段规则或数据包数量分段规则；
12、基于tcp协议对应的嵌套规则，对每一所述切片数据进行标签封装处理以及加密处理，得到封装数据；所述标签封装处理为打vlan标签处理；
13、以及，所述流量打包服务器是基于vs/tun技术实现对所述镜像数据的封装加密；
14、以及，所述流量解包服务器根据预设的流量解包规则，对所述封装数据进行解包，得到所述镜像数据的具体方式，包括：
15、基于预设的解密算法，将所述封装数据进行解密，以得到解密后封装数据；
16、基于预设的解包算法和去标签规则，对所述解密后封装数据进行解包和去标签，以得到所述镜像数据。
17、作为一种可选的实施方式，在本专利技术第一方面中，所述数据匹配规则包括数据内容匹配规则和数据来源匹配规则；所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除的具体方式，包括：
18、基于acl技术，以及所述数据内容匹配规则，对所述镜像数据进行匹配，以得到所述镜像数据对应的多个内容不匹配数据；
19、基于acl技术，以及所述数据来源匹配规则，对所述镜像数据进行匹配，以得到所述镜像数据对应的多个非法来源数据；
20、计算所述多个内容不匹配数据和所述多个非法来源数据之间的交集数据，对所述交集数据进行剔除；
21、将所述多个内容不匹配数据和所述多个非法来源数据中不属于所述交集数据的每一数据，输入至训练好的危害数据识别神经网络中，以得到每一数据对应的危害性概率；所述危害数据识别神经网络通过包括有多个训练数据和对应的危害性标注的训练数据集训练得到；
22、将所述危害性概率大于预设的概率阈值的所有数据进行剔除。
23、作为一种可选的实施方式，在本专利技术第一方面中，所述镜像数据中包括有所述镜像数据以及其在数据传输过程中的传输记录数据；所述审计设备根据预设的审计规则，对所述镜像数据进行审计，以得到所述待审计流量数据对应的审计分析结果的具体方式，包括：
24、根据所述镜像数据对应的传输记录数据，确定所述镜像数据对应的多个传输中间设备和多个传输中间处理操作；
25、根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数；
26、根据所述多个传输中间处理操作，以及预设的操作安全规则，确定所述镜像数据对应的操作安全参数；
27、根据预设的内容审计规则，对所述镜像数据的内容进行审计，以得到所述镜像数据对应的内容安全参数；
28、根据所述设备安全参数、所述操作安全参数和所述内容安全参数，确定所述待审计流量数据对应的审计分析结果。
29、作为一种可选的实施方式，在本专利技术第一方面中，所述审计设备根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数的具体方式，包括：
30、向所述源数据系统和所述审计端系统发送请求以获取所述源数据系统和所述审计端系统中处理过所述镜像数据的多个系统处理设备；
31、筛选出所述多个传输中间设备中不是任一所述系统处理设备的至少一个非法设备；
32、对于每一所述非法设备，获取该非法设备对应的设备信息和设备历史数据处理记录；
33、根据所述设备信息，判断该非法设备是否在预设的安全数据处理系统内，得到第一判断结果；
34、判断所述设备历史数据处理记录中所处理数据不属于所述安全数据处理系统中的传输数据的记录的占比是否超过预设的占比阈值，得到第二判断结果；
35、计算该非法设备对应的设备非法参数；所述设备非法参数等于第一参数和第二参数的和；所述第一参数在所述第一判断结果为是时等于第一数值；所述第一参数在所述第一判断结果为否时等于第二数值；所述第二数值大于所述第一数值；所述第二参数在所述第二判断结果为是时等于第三本文档来自技高网...
【技术保护点】
1.一种基于镜像转发的流量数据处理方法，其特征在于，应用于流量数据处理系统，所述流量数据处理系统包括处于第一区域内的源数据系统和处于第二区域内的审计端系统；所述源数据系统包括通过交换机连接的网络设备和流量打包服务器；所述审计端系统包括相互连接的流量解包服务器和审计设备；所述流量打包服务器和所述流量解包服务器通信连接；所述方法包括：
2.根据权利要求1所述的基于镜像转发的流量数据处理方法，其特征在于，所述源数据系统还包括分别与所述交换机和所述流量打包服务器连接的虚拟交换机；所述交换机将所述镜像数据发送至所述流量打包服务器的具体方式，包括：
3.根据权利要求1所述的基于镜像转发的流量数据处理方法，其特征在于，所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据的具体方式，包括：
4.根据权利要求2所述的基于镜像转发的流量数据处理方法，其特征在于，所述数据匹配规则包括数据内容匹配规则和数据来源匹配规则；所述虚拟交换机基于ACL技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除的具体方式，包括：
6.根据权利要求5所述的基于镜像转发的流量数据处理方法，其特征在于，所述审计设备根据所述多个传输中间设备，以及预设的设备安全规则，确定所述镜像数据对应的设备安全参数的具体方式，包括：
7.根据权利要求5所述的基于镜像转发的流量数据处理方法，其特征在于，所述审计设备根据所述多个传输中间处理操作，以及预设的操作安全规则，确定所述镜像数据对应的操作安全参数的具体方式，包括：
8.根据权利要求5所述的基于镜像转发的流量数据处理方法，其特征在于，所述审计设备根据预设的内容审计规则，对所述镜像数据的内容进行审计，以得到所述镜像数据对应的内容安全参数的具体方式，包括：
9.根据权利要求5所述的基于镜像转发的流量数据处理方法，其特征在于，所述审计设备根据所述设备安全参数、所述操作安全参数和所述内容安全参数，确定所述待审计流量数据对应的审计分析结果的具体方式，包括：
10.一种基于镜像转发的流量数据处理系统，其特征在于，所述系统包括处于第一区域内的源数据系统和处于第二区域内的审计端系统；所述源数据系统包括通过交换机连接的网络设备和流量打包服务器；所述审计端系统包括相互连接的流量解包服务器和审计设备；所述流量打包服务器和所述流量解包服务器通信连接；
...【技术特征摘要】
1.一种基于镜像转发的流量数据处理方法，其特征在于，应用于流量数据处理系统，所述流量数据处理系统包括处于第一区域内的源数据系统和处于第二区域内的审计端系统；所述源数据系统包括通过交换机连接的网络设备和流量打包服务器；所述审计端系统包括相互连接的流量解包服务器和审计设备；所述流量打包服务器和所述流量解包服务器通信连接；所述方法包括：
2.根据权利要求1所述的基于镜像转发的流量数据处理方法，其特征在于，所述源数据系统还包括分别与所述交换机和所述流量打包服务器连接的虚拟交换机；所述交换机将所述镜像数据发送至所述流量打包服务器的具体方式，包括：
3.根据权利要求1所述的基于镜像转发的流量数据处理方法，其特征在于，所述流量打包服务器根据预设的流量封装加密规则，对所述镜像数据进行封装加密，得到封装数据的具体方式，包括：
4.根据权利要求2所述的基于镜像转发的流量数据处理方法，其特征在于，所述数据匹配规则包括数据内容匹配规则和数据来源匹配规则；所述虚拟交换机基于acl技术和预设的数据匹配规则，对所述镜像数据中的非法数据进行剔除的具体方式，包括：
5.根据权利要求1所述的基于镜像转发的流量数据处理方法，其特征在于，所述镜像数据中包括有所述镜像数据以及其在数据传输过程中的传输记录数据；所述审计设备根据预设的审计规则，对所述镜像数据...
【专利技术属性】
技术研发人员：何文政，蔡丽君，刘雪琦，梁永堂，吴奕文，
申请(专利权)人：佛山市红狐物联网科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。