基于端口镜像技术的网络流量监控、储存及回放的方法技术

本发明专利技术公开了基于端口镜像技术的网络流量监控、储存及回放的方法，包括S1、流量接收单元选型；S2、网络设计以及连接；S3、端口镜像功能配置；S4、流量接收单元工作；S5、数据流的保存；S6、分析、重放功能的实现；将网络交换机领域常用的端口镜像技术通过技术手段移植到Linux系统上进行使用，并且使用在无人驾驶的场景中。外置了专用的流量接收单元，避免了对车载计算单元造成系统环境或者性能的影响。流量重放可以原样复原抓包的情景以进行故障定位和性能分析等。避免了在应用收集的日志等诊断信息无法定位问题的时候，需要多次测试进行故障复现的情况。故障复现的情况。故障复现的情况。

【技术实现步骤摘要】
基于端口镜像技术的网络流量监控、储存及回放的方法


[0001]本专利技术涉及自动驾驶领域，尤其是基于端口镜像技术的网络流量监控、储存及回放的方法

技术介绍

[0002]现在无人汽车的的传感器数据汇总、储存以及回放的形式往往是采用以下的两种形式：
[0003]形式一：通过ROS(Robot Operating System:机器人操作系统)录制rosbag(rosbag也叫bag，是ROS中用于存储消息数据的文件格式)，或者通过其他工具来收集和储存来自各类传感器的数据。
[0004]该技术方案仅在应用层进行特定数据的收集及储存，可能会遗漏的一些重要的信息。后期进行故障诊断时只能通过对应的应用程序对数据进行分析或者重放，无法完全真实的还原出当时的系统及数据的状态。
[0005]形式二：在网络交换机的领域会使用端口镜像技术，将一个或者多个端口的流量复制一份转发到特定的镜像端口，用来进行网络分析。
[0006]该技术方案是在交换机上进行端口镜像的配置，不清楚是否有用在无人驾驶场景下的方案。该方案是在交换机的角度进行全局的流量的收集，储存或者分析，如果车载计算单元同时接入多个交换机的情况下，也需要在多个交换机上进行相关配置并接入流量接收单元。另外仅有较为高端的全网管型交换机才会支持端口镜像的功能，无人驾驶车辆上较少会使用这种交换机。
[0007]综上，现有的解决方案并不能有效解决数据收集、存储或是分析的问题，在后期先故障时，也无法有效的对事故发生时的情况进行分析或是回放。
专利技术内容
[0008]本专利技术的目的是为了解决以上现有技术的不足，提供了基于端口镜像技术的网络流量监控、储存及回放的方法。
[0009]基于端口镜像技术的网络流量监控、储存及回放的方法，车载计算单元会配置多个网络端口，通过以太网连接各类传感器，包括但不限于激光雷达，毫米波雷达，相机。也会有一个网络端口用于连接4G和5G CPE用于访问互联网和云端服务器，另外再使用一个网络端口连接流量接收单元。在车载计算单元所有网络端口上进行端口镜像的配置，这些端口的流量都会复制一份发到镜像端口，即连接了流量接收单元的网络端口。流量接收单元在接收流量后可以进行实时的分析，储存，如果有需要流量接收单元可以对车载计算单元或者其他设备进行流量重放。
[0010]常见名称解释：
[0011]车载计算单元:无人驾驶汽车上具有计算处理能力的车载终端。可以是工控机(Industrial Personal Computer，IPC，即工业控制计算机)，也可以是其他x86或者arm架
构的计算设备，具有重要的计算机属性和特征，如具有计算机主板，CPU，GPU，硬盘，内存，各类外设及端口，并具有操作系统，控制网络和协议等。一般安装的为各类Linux操作系统。
[0012]流量接收单元：类似于车载计算单元，也是x86或者arm架构的计算机，具有计算机主板，CPU，内存，硬盘和至少一个网络端口用于接收来自于车载计算单元的网络流量，需要安装Linux操作系统。
[0013]各类传感器：包括但不限于各类雷达，相机等通过网络向车载计算单元发送数据的各种传感器。
[0014]CPE:(Customer Premise Equipment)直译为客户前置设备，实际是一种接收4G或者5G的移动信号并以无线WiFi信号或者有线网络的方式转发出来的移动信号接入设备。
[0015]如在流量接收单元部署了实时流量监控和分析的服务，即可直接通过流量接收单元进行实时的流量监控和分析。收集到的流量数据可以用cap，pcap或者pcapng等格式进行保存，cap,pcap或者pcapng等均是专门用于保存捕获的数据包的文件格式。可以通过tcpreplay等工具打开pcap或者pcapng文件对车载计算单元进行流量重放，完全还原当时的网络场景。也可以将流量接收单元接入到开发或者测试环境的电脑上进行流量的重放。
[0016]本方法具体包括以下步骤：
[0017]S1、流量接收单元选型；
[0018]计算机设备，包括主板、CPU、内存、硬盘以及至少一个用于接收流量数据的网络端口；计算机设备上预设有基于Linux的操作系统；宜选用低功耗，轻量级的计算机设备。具有主板，CPU，内存，硬盘以及至少一个网络端口用于接收来自于车载计算单元的流量数据。无需GPU等其他外设设备。该网络端口宜支持万兆网络，硬盘宜选用固态硬盘。如果需要在流量接收单元上部署实时流量监控或者分析的系统则需要选用较好的CPU及内存。需要在流量接收单元上安装Linux操作系统。
[0019]S2、网络设计以及连接；
[0020]通过端口聚合，将车载计算单元上的多个网络端口汇聚为一个虚拟的网络端口，并提升该虚拟的网络端口的带宽；
[0021]车载计算单元上一般都会拥有多个网络端口，需要评估连接传感器或者CPE等业务端口的聚合流量为多大。流量接收单元所连接的网络端口的传输能力需要大于业务端口的聚合流量。否则需要在端口镜像配置步骤中进行流量数据的过滤与筛选。或者使用多个网络端口连接车载计算单元及流量接收单元，通过端口聚合等技术将多个物理的网络端口虚拟成一个逻辑的网络端口实现带宽增加的功能。
[0022]S3、端口镜像功能配置；
[0023]基于Linux内核中的具有流量控制功能的功能模块，通过封装技术，将镜像流量的原始数据包作为载荷，封装车载计算单元的物理地址和IP地址作为源地址，封装流量接收单元的物理地址和IP地址作为目的地址，并获得封装完成的流量信息；
[0024]端口镜像功能的配置:
[0025]1.Linux内核中拥有一个流量控制的功能模块，TC即traffic control可以实现数据包的镜像功能。Linux中的网络工具iproute2包含了tc的命令可以实现数据包的镜像或者重定向。(镜像即为额外复制一份数据发送，重定向即为将当前数据直接进行转发)。该命令同时也包含了数据包过滤等功能的设置。
[0026]2.无法直接发送通过TC镜像的流量到流量接收单元。原因在于原始数据包包头的源地址或者目的地址均为车载计算单元自身，会引起环路导致流量无法发送出去，另外流量接收单元亦会检查数据包包头的源地址和目的地址，如果不是自身会直接丢弃数据包。
[0027]3.可以配合使用使用GRE(Generic Routing Encapsulation是通用路由封装协议，可以对某些网络层协议的数据报进行封装，使这些被封装的数据报能够在IPv4网络中传输)或者VXLAN(Virtual eXtensible Local Area Network是一种隧道技术，能在三层网络的基础上建立二层以太网网络隧道，从而实现跨地域的二层互连)等流量封装技术在车载计算单元中对镜像的流量进行封装发送。流量接收单元上也进行GRE或者VXLAN的相关配置即可接收到对应的镜像流量并且进行解封装。
[0028]4.这些封装技术通常又本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，包括以下步骤：S1、流量接收单元选型；计算机设备，包括主板、CPU、内存、硬盘以及至少一个用于接收流量数据的网络端口；计算机设备上预设有基于Linux的操作系统；S2、网络设计以及连接；通过端口聚合，将车载计算单元上的多个网络端口汇聚为一个虚拟的网络端口，并提升该虚拟的网络端口的带宽；S3、端口镜像功能配置；基于Linux内核中的具有流量控制功能的功能模块，通过封装技术，将镜像流量的原始数据包作为载荷，封装车载计算单元的物理地址和IP地址作为源地址，封装流量接收单元的物理地址和IP地址作为目的地址，并获得封装完成的流量信息；S4、流量接收单元工作；设置流量接收单元，并捕捉获取封装完成的流量信息；S5、数据流的保存；对数据网络进行即时监视，将需要保存的信息进打包保存，并对可疑的数据传输发出警报或是采取主要反应措施；S6、分析、重放功能的实现；通过工具对以保存的流量数据进行流量重放，播放时通过网络端口发送至车载计算单元中。2.根据权利要求1所述的基于端口镜像技术的网络流量监控、储存及回放的方法，其特征在于，S4流量接收单元工作包括以下步骤：S1、判断车载计算单元中的原始数据包是否需要过滤；S2、将不需要过滤的原始数据包以及过滤完成的数据包发发送至Linux中；S3、在L...

【专利技术属性】
技术研发人员：肖翔，王劲，
申请(专利权)人：中智行苏州科技有限公司，
类型：发明
国别省市：