流量的处理方法及装置、设备、存储介质制造方法及图纸

本申请提供了一种流量的处理方法及装置、设备、存储介质，方法包括：获取至少两个待检测流量；每个所述待检测流量携带多个网络载荷数据；针对每个所述待检测流量，对多个所述网络载荷数据进行排序重组得到载荷数据集合，并提取所述载荷数据集合的第一语义特征；对所述第一语义特征进行降维聚类处理，得到每个所述待检测流量对应的第二语义特征；基于各个所述待检测流量分别对应的所述第二语义特征，对至少两个所述待检测流量进行聚类得到多个簇。本申请可以提高对待检测流量的聚类精度。请可以提高对待检测流量的聚类精度。请可以提高对待检测流量的聚类精度。

【技术实现步骤摘要】
流量的处理方法及装置、设备、存储介质


[0001]本申请涉及网络安全
，尤其涉及一种流量的处理方法及装置、设备、存储介质。

技术介绍

[0002]随着互联网的普及和网络技术的快速发展，网络流量呈现爆炸式增长，网络流量中包含着设备之间的交互信息，因此对网络流量的分析，是网络带宽规划、网络入侵检测与防御、物联网(Internet of Things，IOT)资产识别以及恶意流量检测等任务的重要前提，但网络流量的加密，内容随机性等特性也使分析其面临着巨大的挑战。相关技术中，采用无监督的流量聚类方法对网络流量进行聚类时，因为流量的内容随着设备活动状态发生变化，所以无法有很好的聚类效果。因此，相关技术存在对网络流量聚类不准确的问题。

技术实现思路

[0003]本申请主要提供一种流量的处理方法及装置、设备、存储介质，能够提高对流量的聚类精度。
[0004]本申请实施例的技术方案是这样实现的：
[0005]本申请实施例提供了一种流量的处理方法，包括：
[0006]获取至少两个待检测流量；每个所述待检测流量携带多个网络载荷数据；
[0007]针对每个所述待检测流量，对多个所述网络载荷数据进行排序重组得到载荷数据集合，并提取所述载荷数据集合的第一语义特征；
[0008]对所述第一语义特征进行降维聚类处理，得到每个所述待检测流量对应的第二语义特征；
[0009]基于各个所述待检测流量分别对应的所述第二语义特征，对至少两个所述待检测流量进行聚类得到多个簇；其中，每个簇中包括：至少一个待检测流量。
[0010]本申请实施例还提供了一种流量的处理方法，所述装置包括：
[0011]数据获取单元，用于获取至少两个待检测流量；每个所述待检测流量携带多个网络载荷数据；
[0012]遍历重组单元，用于针对每个所述待检测流量，对多个所述网络载荷数据进行排序重组得到载荷数据集合，并提取所述载荷数据集合的第一语义特征；
[0013]第一聚类单元，用于对所述第一语义特征进行降维聚类处理，得到每个所述待检测流量对应的第二语义特征；
[0014]第二聚类单元，用于基于各个所述待检测流量分别对应的所述第二语义特征，对至少两个所述待检测流量进行聚类得到多个簇；其中，每个簇中包括：至少一个待检测流量。
[0015]本申请实施例还提供了一种电子设备，包括存储器和处理器，所述存储器存储有可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述方法中的步
骤。
[0016]本申请实施例还提供了一种存储介质，所述存储介质上存储有可执行指令，该可执行指令被处理器执行时实现上述的方法步骤。
[0017]本申请实施例获取至少两个待检测流量；每个所述待检测流量携带多个网络载荷数据；针对每个所述待检测流量，对多个所述网络载荷数据进行排序重组得到载荷数据集合，并提取所述载荷数据集合的第一语义特征；对所述第一语义特征进行降维聚类处理，得到每个所述待检测流量对应的第二语义特征；基于各个所述待检测流量分别对应的所述第二语义特征，对至少两个所述待检测流量进行聚类得到多个簇。本申请通过对排序重组后的载荷数据集合进行语义提取，可以得到待检测流量的完整且丰富的第一语义特征，然后对第一语义特征进行降维聚类处理，可以减小第二次聚类的聚类时间，提高了聚类效率，最后基于降维聚类处理后得到的第二语义特征对各个待检测流量再进行一次聚类，由于本申请通过两次聚类，可以充分的结合至少两个待检测流量的语义特征将至少两个待检测流量划分至对应簇，进而提高了待检测流量的聚类精度。
附图说明
[0018]图1为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0019]图2为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0020]图3为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0021]图4为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0022]图5为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0023]图6为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0024]图7为本申请实施例提供的流量的处理方法的一个可选的流程示意图；
[0025]图8为本申请实施例提供的流量的处理装置的结构示意图；
[0026]图9为本申请实施例提供的电子设备的一种硬件实体示意图。
具体实施方式
[0027]下面结合附图和具体实施例对本申请的技术方案进一步详细阐述。
[0028]为了使本
的人员更好地理解本公开实施例方案，下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。
[0029]本申请的说明书实施例和权利要求书及上述附图中的术语“第一”、“第二”、和“第三”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0030]图1为本申请实施例的流量的处理方法的流程图，如图1所示，该流程可以包括：
[0031]S101、获取至少两个待检测流量。
[0032]本申请实施例中，流量的处理装置拦截获取待检测流量。其中，每个待检测流量携带多个网络载荷数据。这里，待检测流量可以是目标设备的网络流量，该网络流量可以包括
目标设备发送的网络流量，也可以包括目标设备接收的网络流量。在一些实施例中，上述目标设备可以是IOT设备。
[0033]在一些实施例中，流量的处理装置拦截从目标设备发出的网络流量或者其他设备向目标设备发送的网络流量。该流量的处理装置可以被设置在目标设备一侧网络的交换机上，从而获取到与目标设备进行交互的网络流量。
[0034]在一些实施例中，流量的处理装置可以是例如tcpdump等开源的抓包工具，也可以是流量采集探针。
[0035]在一些实施例中，获取至少两个待检测流量包括：流量的处理装置获取各个目标设备的目标地址；根据各个目标设备的目标地址，利用流量的处理装置拦截获取各个目标设备的待检测流量，进而得到至少两个待检测流量。
[0036]在一些实施例中，通过流量的处理装置拦截到待检测流量之后，可以获得每个待检测流量携带的多个网络载荷数据，多个所述网络载荷数据分别由多个流量包所承载，网络载荷数据可以为流量包中的有效数据，其中，网络载荷数据可以由多个16进制的字符组成，每个字符由空格分开。
[0037]S102、针对每个所述待检测流量，对多个所述网络载荷数据进行排序重组得到载荷数据集合，并提取所述载荷数据集合的第一语义特征。...

【技术保护点】

【技术特征摘要】
1.一种流量的处理方法，其特征在于，包括：获取至少两个待检测流量；每个所述待检测流量携带多个网络载荷数据；针对每个所述待检测流量，对多个所述网络载荷数据进行排序重组得到载荷数据集合，并提取所述载荷数据集合的第一语义特征；对所述第一语义特征进行降维聚类处理，得到每个所述待检测流量对应的第二语义特征；基于各个所述待检测流量分别对应的所述第二语义特征，对至少两个所述待检测流量进行聚类得到多个簇；其中，每个簇中包括：至少一个所述待检测流量。2.根据权利要求1所述的流量的处理方法，其特征在于，所述第一语义特征包括：多个第一特征向量；所述第二语义特征包括：N个第二特征向量；N为大于或者等于1的整数；所述对所述第一语义特征进行降维聚类处理，得到每个所述待检测流量对应的第二语义特征，包括：利用预设聚类算法处理多个所述第一特征向量，得到N个向量集合；每个向量集合包括：M个第一特征向量；M为大于或者等于1的整数；求每个所述向量集合的M个所述第一特征向量的均值，得到每个所述向量集合对应的所述第二特征向量，进而得到N个所述第二特征向量。3.根据权利要求2所述的流量的处理方法，其特征在于，所述至少两个待检测流量包括：K个待检测流量；K为大于或者等于2的整数；所述基于各个所述待检测流量分别对应的所述第二语义特征，对至少两个所述待检测流量进行聚类得到多个簇，包括：对K个所述待检测流量进行第一次遍历，基于每个所述待检测流量对应的N个所述第二特征向量，在K个所述待检测流量中确定出第一簇；所述第一簇包括：T个所述待检测流量；T个所述待检测流量中任意两组待检测流量之间的相似度大于相似度阈值，每组待检测流量包括：至少一个所述待检测流量；T为大于1小于K的整数；对其他待检测流量进行第二次遍历，得到第二次遍历完成的第二簇，直至多次遍历完成将K个所述待检测流量聚类得到所述多个簇；其中，其他待检测流量为K个所述待检测流量中除所述第一簇的T个所述待检测流量之外的所述待检测流量。4.根据权利要求3所述的流量的处理方法，其特征在于，所述对K个所述待检测流量进行第一次遍历，基于每个所述待检测流量对应的N个所述第二特征向量，在K个所述待检测流量中确定出第一簇，包括：基于第i待检测流量与第i+1待检测流量分别对应的N个所述第二特征向量，计算第i待检测流量与第i+1待检测流量之间的第一相似度；i为大于或者等于1且小于K的整数；若所述第一相似度大于等于相似度阈值，则将所述第i待检测流量与所述第i+1待检测流量划分至第一簇；计算第i待检测流量与第i+1待检测流量的第二特征向量集，与第i+2待检测流量之间的第二相似度；基于所述第二相似度对所述第i+2待检测流量进行划分；直至基于第K待检测流量与最终第二特征向量集之间的最终相似度，对第K待检测流量划分完成，进而确定出第一簇；所述最终第二特征向量集为遍历至第K待检测流量时，所述
第一簇中当前包括的各个所述待检测流量的所述第二特征向量之和。5.根据权利要求4所述的流量的处理方法，其特征在于，所述基于第i待检测流量与第i+1待检测流量分别对应的N个所述第二特征向量，计算第i待检测流量与第i+1待检测流量之间的第一相似度，包括：计算所述第i待检测流量中每个所述第二特征向量与所述第i+1待检测流量中的每个所述第二特征向量的第一相似距离；基于各个所述第一相似距离计算第一中间相似度；计算所述第i+1待检测流量中每个所述第二特征向量与所述第i待检测流量中的每个第二特征向量的第二相似距离；基于各个所述第二相似距离计算第二中间相似度；将所述第一中间相似度与所述第二中间相似度的平均值，确定为所述第一相似度。6.根据权利要求5所述的流量的处理方法，其特征在于，所述基于各个所述第一相似距离计算第一中间相似度，包括：遍历第i待检测流量中的每个所述第二特征向量的各个所述第一相似距离，若第X个所述第二特征向量对应的各个所述第一相似距离中存在不小于相似距离阈值的第一相似距离，则确定第X个所述第二特征向量存在于所述第i+1待检测流量中，直至所述第i待检测流量中的每个所述第二特征向量均遍历完成，得到存在于所述第i+1个待检测流量中的Y个所述第二特征向量；X为大于或者等于1且小于等于N的整数；Y为大于或者等于1且小于等于N的整数；求Y与N的比值，得到所述第一中间相似度。7.根据权利要求4所述的流量的处理方法，其特征在于，所述基于所述第二相似度对所述第i+2待...

【专利技术属性】
技术研发人员：黄子恒，张星，葛继声，李春辉，关雪松，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：