零占用空间大型用户实体行为建模的系统和方法技术方案

本文公开了用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统和方法。为此，控制电路系统可以确定多个网络端点中与多个接收到的记录中的每个相应记录对应的相应网络端点。然后，控制电路系统可以为每个相应网络端点指派专用队列，并且向每个专用队列发送每个记录，其中每个记录与相应专用队列被指派给的相应网络端点对应。然后，控制电路系统可以为每个相应网络端点确定相应行为模型，并且可以将每个相应行为模型存储到存储器。

【技术实现步骤摘要】
【国外来华专利技术】零占用空间大型用户实体行为建模的系统和方法
技术介绍
传统上，使用中央服务器监视许多网络端点设备的网络行为要求存储大量的网络流记录以进行分析。例如，现有系统要求在“大数据”后端中存储Netflow和互联网协议流信息输出(“IPFIX”)记录、超文本传输协议(“HTTP”)代理日志等，以进行后续处理。这涉及大量费用，因为存储这些记录要求使用大量的存储空间(总计为许多太字节)并且容纳该存储空间的不动产(即，“大数据”设施)也同样昂贵。小工具以及变得与网络连接的其它设备(例如，物联网设备)的激增加剧了这个问题，这使要监视的网络端点(endpoint)的数量成倍增加，从而为了行为监视的目的而为所有网络设备存储网络流是不切实际的。
技术实现思路
本文公开了用于监视网络端点的行为而无需“大数据”存储后端的系统和方法。具体而言，本文公开的系统和方法将网络流的记录减少为向量，从而使系统能够仅使用少量存储空间(例如，几千兆字节的存储空间)来保存数百万或更多网络端点的行为模型。在本公开的一些方面，控制电路系统接收多个记录，该多个记录中的每个相应记录与多个网络端点中的相应网络端点对应。每个相应记录可以识别源自与相应记录对应的相应网络端点的相应单个网络流。控制电路系统可以确定多个网络端点中与多个记录中的每个相应记录对应的相应网络端点。控制电路系统可以为每个相应网络端点指派相应专用队列。例如，控制电路系统可以为源自给定网络端点的所有记录指定单个先进先出(“FIFO”)队列。然后，控制电路系统可以向每个相应专用队列发送多个记录中的每个记录，该多个记录中的每个记录与相应专用队列被指派给的相应网络端点对应。控制电路系统可以基于与每个相应网络端点对应的每个相应专用队列的每个记录，为每个相应网络端点确定相应行为模型，并且可以将每个相应行为模型存储到存储器。在一些实施例中，在确定相应行为模型时，控制电路系统可以识别被编程为确定行为模型的多个模块，并且可以识别多个模块中空闲的模块。控制电路系统可以命令空闲模块确定相应行为模型。该模块可以是用于基于给定队列的记录来确定行为模型的算法的软件实例。在一些实施例中，在确定相应行为模型时，控制电路系统将相应记录的集合的数据编码成浮点值的多维向量。控制电路系统可以判定给定的多维向量是否表示给定的相应网络端点的异常行为。响应于确定给定的多维向量表示给定的相应网络端点的异常行为，控制电路系统可以警告网络管理员或执行预定义动作的集合。在对相应专用队列内的每个相应记录的数据进行编码时，控制电路系统可以从每个相应单个网络流的相应字段中提取相应数据、将相应数据级联成串、并且将串转换成向量。每个相应数据点可以形成向量中的点。控制电路系统可以将该向量用作相应行为模型。在将串转换成向量时，控制电路系统可以形成具有串的文档。然后，控制电路系统可以将文档馈送到词/文档嵌入算法(例如，文档到向量(“doc2vec”)、FastText等)中，并且可以使用doc2vec算法使用浅神经网络来分析文档。然后，控制电路系统可以基于该分析来输出向量。在一些实施例中，多个记录具有第一数据尺寸，其中每个相应行为模型的数据尺寸的总和具有第二数据尺寸，并且其中第二数据尺寸比第一数据尺寸小两个或更多个数量级。例如，虽然多个记录可以总计为数百太字节的数据，但是表示记录的向量合在一起可以总计为几千兆字节的数据。在一些实施例中，控制电路系统可以从网络管理员接收查看给定网络端点的相应行为模型的命令。响应于接收到命令，控制电路系统可以生成针对给定网络端点的相应行为模型的图形表示以供显示。此外，控制电路系统可以确定具有示出与给定网络端点的行为相似的行为的相应行为模型的不同网络端点，并且可以生成针对不同网络端点的相应行为模型以供与针对给定网络端点的相应行为模型的图形表示同时显示。在一些方面，包括了用于通过使用散列表和用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统和方法。控制电路系统可以接收多个记录，多个记录中的每个相应记录与多个网络端点中的相应网络端点对应。控制电路系统可以确定多个网络端点中与多个记录中的每个相应记录对应的相应网络端点，并且可以将每个相应记录编码成相应词。在一些实施例中，控制电路系统对于每个相应记录将相应块指派给相应散列表，并且向针对每个相应块的相应链表记录添加与每个相应块对应的每个网络端点所对应的相应词。控制电路系统基于针对每个相应块的每个相应链表，为每个相应网络端点确定相应行为模型，并且将每个相应行为模型存储到存储器。在对于每个相应记录将相应块指派给相应散列表时，控制电路系统可以监视多个记录中与未知网络端点对应的记录。响应于从监视中检测到未知网络端点，控制电路系统可以将与该未知网络端点对应的块添加到散列表。在一些实施例中，控制电路系统可以响应于检测到已经为给定的相应网络端点累积了阈值量的词，基于针对每个相应块的每个相应链表为每个相应网络端点确定相应行为模型。在一些实施例中，在基于针对每个相应块的每个相应链表为每个相应网络端点确定相应行为模型，控制电路系统可以通过词/文档嵌入算法(诸如FastText算法)馈送散列表。附图说明在结合附图考虑以下具体实施方式时，本公开的上述和其它目的以及优点将变得显而易见，附图中相同的附图标记通篇指代相同的部件，并且其中：图1描绘了根据本公开一些实施例的用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统；图2描绘了根据本公开一些实施例的示例文档，该示例文档包括与给定网络端点对应的流词(flowword)；图3描绘了根据本公开一些实施例的更高维向量空间的说明性二维投影；图4是根据本公开一些实施例的在多个端点向量的3D空间上的投影的说明性描绘；图5描绘了根据本公开一些实施例的用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的处理的说明性流程图；图6描绘了根据本公开一些实施例的用于确定相应行为模块的处理的说明性流程图；图7描绘了根据本公开一些实施例的用于向网络管理员警告异常网络端点行为的处理的说明性流程图；图8描绘了根据本公开一些实施例的用于生成使用词/文档嵌入算法来对端点设备行为建模的向量的处理的说明性流程图；图9描绘了根据本公开一些实施例的用于生成行为模型的视觉表示以供显示的处理的说明性流程图；图10描绘了根据本公开一些实施例的用于通过使用散列表用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统；以及图11描绘了根据本公开一些实施例的用于通过使用散列表用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的处理的说明性流程图。具体实施方式图1描绘了根据本公开一些实施例的用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统。如图1中所描绘的，服务器100用于对网络110的网络端点(例如，网络端点112和本文档来自技高网...

【技术保护点】
1.一种用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的方法，所述方法包括：/n接收多个记录，所述多个记录中的每个相应记录与所述多个网络端点中的相应网络端点对应；/n确定多个网络端点中与所述多个记录中的每个相应记录对应的相应网络端点；/n为每个相应网络端点指派相应专用队列；/n向每个相应专用队列发送所述多个记录中的每个记录，所述多个记录中的每个记录与所述相应专用队列被指派给的相应网络端点对应；/n基于与每个相应网络端点对应的每个相应专用队列的每个记录，为每个相应网络端点确定相应行为模型；以及/n将每个相应行为模型存储到存储器。/n

【技术特征摘要】
【国外来华专利技术】20171214 US 62/598,632;20180711 US 16/033,1271.一种用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的方法，所述方法包括：
接收多个记录，所述多个记录中的每个相应记录与所述多个网络端点中的相应网络端点对应；
确定多个网络端点中与所述多个记录中的每个相应记录对应的相应网络端点；
为每个相应网络端点指派相应专用队列；
向每个相应专用队列发送所述多个记录中的每个记录，所述多个记录中的每个记录与所述相应专用队列被指派给的相应网络端点对应；
基于与每个相应网络端点对应的每个相应专用队列的每个记录，为每个相应网络端点确定相应行为模型；以及
将每个相应行为模型存储到存储器。


2.如权利要求1所述的方法，其中确定相应行为模型包括：
识别被编程为确定行为模型的多个模块；
识别所述多个模块中空闲的模块；以及
命令空闲模块确定相应行为模型。


3.如权利要求1所述的方法，其中确定相应行为模型包括将相应专用队列内的每个相应记录的数据编码成多维向量中的浮点值。


4.如权利要求3所述的方法，还包括：
判定给定的浮点值是否表示给定的相应网络端点的异常行为；以及
响应于确定所述给定的浮点值表示所述给定的相应网络端点的异常行为，警告网络管理员。


5.如权利要求1所述的方法，其中每个相应记录识别源自与该相应记录对应的相应网络端点的相应单个网络流。


6.如权利要求5所述的方法，其中对相应专用队列内的每个相应记录的数据进行编码包括：
从相应单个网络流的相应字段中提取相应数据；以及
将所述相应数据级联成串。


7.如权利要求6所述的方法，其中将串转换成向量包括：
通过将所述串与多个其它串级联来形成具有所述串的文档；
将所述文档馈送到文档到向量(“doc2vec”)算法中；
使用doc2vec算法，使用浅神经网络来分析所述文档；以及
基于所述分析来输出所述向量。


8.如权利要求1所述的方法，其中所述多个记录具有第一数据尺寸，其中每个相应行为模型的数据尺寸的总和具有第二数据尺寸，并且其中第二数据尺寸比第一数据尺寸小两个或更多个数量级。


9.一种用于通过用行为模型对行为建模来减少跟踪多个网络端点的行为中所使用的存储空间的系统，所述系统包括：
存储电路系统；
通信电路系统；以及
控制电路系统，被配置为：
由通信电路系统接收多个记录，所述多个记录中的每个相应记录与所述多个网络端点中的相应网络端点对应；
确定多个网络端点中与所述多个记录中的每个相应记录对应的相应网络端点；
为每个相应网络端点指派相应专用队列；
向每个相应专用队列发送所述多个记录中的每个记录，所述多个记录中的每个记录与所述相应专用队列被指派给的相应网络端点对应；
基于与每个相应网络端点对应的每个相应专用队列的每个记录，为每个相应网络端点确定相应行为模型；以及...

【专利技术属性】
技术研发人员：G·博纳地，M·尼斯佩尔，
申请(专利权)人：极进网络公司，
类型：发明
国别省市：美国;US