资源域和观察域的云网数据包采集方法及系统技术方案

本发明专利技术提供了一种资源域和观察域的云网数据包采集方法及系统，涉及网络通讯技术领域，包括：资源域步骤：包括resource_domain_id和resource_point_id；其中，通过resource_domain_id标识被采集资源，通过resource_point_id标识资源上的某个物理网卡或者虚拟网卡；观察域步骤：包括observation_domain_id和observation_point_id；其中，通过observation_domain_id标识每一个采集器Agent，通过observation_point_id在Agent采集多个网卡时标识每一个被采集的网卡。本发明专利技术能够解决云环境下的数据包采集问题，为网络数据包提供元数据，平衡计算开销和网络开销，以支持广泛的应用场景，增加实际使用范围。增加实际使用范围。增加实际使用范围。

【技术实现步骤摘要】
资源域和观察域的云网数据包采集方法及系统


[0001]本专利技术涉及网络通讯
，具体地，涉及一种资源域和观察域的云网数据包采集方法及系统。

技术介绍

[0002]网络数据包采集一直是网络性能管理(NPM)、网络安全(Security)等系统的重要技术方法。在传统网络中，数据包采集是通过交换机镜像或者TAP设备将网络流量旁路镜像到采集设备，然后采集设备通过抓包方式实现。这种方法依赖于硬件设备支持，同时依赖于镜像设备和采集设备之间的网线连接。
[0003]随着云计算技术的兴起，SDN网络和Kubernetes(K8s)容器网络日益被广泛使用。在这些新的云网环境中，传统方式只能采集到通过交换机的跨主机网络流量，不能采集主机内的网络流量，而主机内网络流包括主机内虚拟机(VM)之间和容器(Container)之间的网络通信，实际是重要的云网流量。同时，因为SDN和K8s等系统广泛采用网络地址转换技术(NTA)，交换机上采集到的流量丢失了业务地址信息，往往无法真实反应实际业务的通讯情况。因此，在云网络时代，网络数据包的Agent采集技术被采用。这种技术实际上是将镜像点从交换机前移到了需要采集的位置，譬如主机内、VM内、K8s的Node内、K8s的pod内、Container内等。实现的方式是在前移的镜像位置，部署软件Agent，使用抓包技术，采集网卡(包括物理网卡和虚拟网卡)数据流量，然后将其封装之后发送到采集设备进行存储和/或分析处理。但目前的云网数据包Agent采集方式存在如下缺陷：
[0004]1)缺乏元数据，网络数据无法关联到资源系统，更无法关联到业务系统，应用场景少。资源系统(resource system)指运行软件的物理机、虚拟机、容器等。业务系统(busines system)指完成业务功能的软件系统，除业务系统外，还有云系统、管理系统、监控系统等支撑业务系统的辅助软件系统等。传统网络因为都是物理连接，网络地址可以直接映射到物理资源系统，也可以直接映射到运行在物理资源系统上的业务系统，因此采集到了网络数据包后，进行关联和分析，可以反映资源系统和业务系统的运行情况，应用场景广泛。而在云网环境中，一般采用下层网络(underlay)载承上层网络(overlay)的结构。而且存在多层级载承的方式，譬如物理网络载承VM网络，VM网络再载承Container网络。其中，只有最下层物理网络的网络地址固定，可以继续使用传统方法关联到物理系统资源。而上层网络(VM网络和Container网络)中，地址和资源系统的映射关系，地址和业务系统的映射关系，都是非固定的、动态调整的。这些信息维护在相关云网络的控制组件中，在采集系统中，称为“元数据”(meta data)。因此，由于缺乏元数据，当前方式的采集的数据，实际应用场景大幅减少。
[0005]2)计算开销和网络开销的矛盾，使用范围小。传统方式通过硬件镜像网络流量，然后采用额外的采集设备做采集和分析，因此对产生数据的资源系统没有额外开销。而且镜像流量也通过额外网线直接输出到采集设备，对被采集的网络也没有额外的网络开销。而Agent方式需要部署在被采集系统中，因此带来被采集系统的计算开销和网络开销。如果数据包直接导出，则计算开销较小，但网络开销过大，相当于流量翻倍；如果对数据包做过滤，
或者做压缩，或者直接分析计算出统计指标数据，那么传输数据量减小，但计算开销大幅增加，影响被采集系统上运行软件的可用资源，带来稳定性风险。因此，当前采集方式只适合在计算资源宽裕和网络资源宽裕的系统中使用，实际使用范围较小。
[0006]直接通过数据包中的网络地址去查询业务，存在若干问题，说明如下：
[0007]1)效率低下。首先是因为云上服务大多采用小型的服务或者微服务架构，通过大量水平扩展来保障可用性和处理性能。因此云网系统中网络地址远远多于传统系统，直接按地址，查询效率低下。
[0008]2)时效性问题。此外，网络地址往往是动态分配和不断调整的，即使云控制器的元数据中也只有当前地址，而没有失效的地址，但网络数据包往往有时间跨度，很可能遇到失效地址问题。
[0009]3)难以区分捕获位置。如前文所述，云网中存在多层级的载承网络，而镜像位置(也就是采集位置)可以在主机内、VM内、K8s的Node内、K8s的pod内、Container内等来，不同采集位置采集的数据包包含不同层级，同时因为是否采用NAT等技术，表示同一层级网络的地址可能相同也可能不同。此时完全依赖于数据包中的网络地址来区分捕获位置就要么不可能，要么过于复杂。而在云网分析中，区分捕获点位置，从而区分采集流量属于哪个层级的网络，通过关联分析，有助于提供数据流转的可见性，帮助分析网络故障。

技术实现思路

[0010]针对现有技术中的缺陷，本专利技术提供一种资源域和观察域的云网数据包采集方法及系统，以解决云环境下的数据包采集问题，为网络数据包提供元数据，平衡计算开销和网络开销，以支持广泛的应用场景，增加实际使用范围。
[0011]根据本专利技术提供的一种资源域和观察域的云网数据包采集方法及系统，所述方案如下：
[0012]第一方面，提供了一种资源域和观察域的云网数据包采集方法，所述方法包括：
[0013]资源域步骤：包括resource_domain_id和resource_point_id；其中，通过resource_domain_id标识被采集资源，通过resource_point_id标识资源上的某个物理网卡或者虚拟网卡；
[0014]观察域步骤：包括observation_domain_id和observation_point_id；其中，通过observation_domain_id标识每一个采集器Agent，通过observation_point_id在Agent采集多个网卡时标识每一个被采集的网卡。
[0015]优选地，所述Agent向管理模块Manager注册自己，之后定期访问Manager，在Agent向Manager注册自己的过程中，Agent上报自己的本地信息；Manager处理注册事件并分配observation信息和配置，执行步骤如下：
[0016]步骤S1：输入Agent上报的网络地址和NIC列表；
[0017]步骤S2：使用cloud api查询Agent网络地址对应resource信息和相关meta data；
[0018]步骤S3：根据采集需求，确定需要采集网卡；
[0019]步骤S4：分配对应的observation_domain_id和observation_point_id；
[0020]步骤S5：更新并缓存resource和observation之间映射关系；
[0021]步骤S6：下发工作配置和observation信息给Agent。
[0022]优选地，所述步骤S5包括：对于Agent，建立步骤S3的resource信息和步骤S4的observation信息的双向映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种资源域和观察域的云网数据包采集方法，其特征在于，包括：资源域步骤：包括resource_domain_id和resource_point_id；其中，通过resource_domain_id标识被采集资源，通过resource_point_id标识资源上的某个物理网卡或者虚拟网卡；观察域步骤：包括observation_domain_id和observation_point_id；其中，通过observation_domain_id标识每一个采集器Agent，通过observation_point_id在Agent采集多个网卡时标识每一个被采集的网卡。2.根据权利要求1所述的资源域和观察域的云网数据包采集方法，其特征在于，所述Agent向管理模块Manager注册自己，之后定期访问Manager，在Agent向Manager注册自己的过程中，Agent上报自己的本地信息；Manager处理注册事件并分配observation信息和配置，执行步骤如下：步骤S1：输入Agent上报的网络地址和NIC列表；步骤S2：使用cloud api查询Agent网络地址对应resource信息和相关meta data；步骤S3：根据采集需求，确定需要采集网卡；步骤S4：分配对应的observation_domain_id和observation_point_id；步骤S5：更新并缓存resource和observation之间映射关系；步骤S6：下发工作配置和observation信息给Agent。3.根据权利要求2所述的资源域和观察域的云网数据包采集方法，其特征在于，所述步骤S5包括：对于Agent，建立步骤S3的resource信息和步骤S4的observation信息的双向映射关系，更新到全局缓存。4.根据权利要求3所述的资源域和观察域的云网数据包采集方法，其特征在于，所述双向映射查询的使用包括：从resource查询observation，主要在Manager中使用，用以UI查询和配置Agent和Gateway；从observation查询resource，通过Man...

【专利技术属性】
技术研发人员：蔡晓华，杨光辉，
申请(专利权)人：上海天旦网络科技发展有限公司，
类型：发明
国别省市：