【技术实现步骤摘要】
本公开涉及网络安全分析，具体涉及一种网络数据采集方法、装置、计算机可读存储介质及电子设备。
技术介绍
1、网络安全，通常指计算机网络的安全，实际上也可以指计算机通信网络的安全。它要求网络系统的硬件、软件及其系统中的数据受到全面保护。因此，为了保证网络安全，实时网络流量攻击（或威胁）分析尤为重要。
2、目前市场上主要依赖流量检测设备对流量数据进行检测分析，直接得出检测结果，能够发现潜在威胁。
3、然而，相关技术对数据的综合运用能力不足，进而无法有效、准确地筛选出数据用以威胁分析。
技术实现思路
1、本公开的主要目的在于提供一种网络数据采集方法、装置、计算机可读存储介质及电子设备，以解决相关技术中无法有效、准确地筛选出数据用以威胁分析的问题。
2、为了实现上述目的，本公开的第一方面提供了一种网络数据采集方法，包括：
3、确定任务配置信息，所述任务配置信息包括至少一个任务的配置信息，针对各所述任务的配置信息包括任务基本信息、数据源配置信息、检测引擎配置信息、检测规则配置信息；
4、根据所述任务配置信息，确定任务与数据源的关联关系、任务与检测引擎的关联关系、任务、检测规则以及检测引擎的关联关系；
5、响应于任务启动的操作，接收携带有数据源标识的实时流量数据，并针对所述任务基本信息中的各任务，基于所述任务配置信息均执行以下操作：
6、根据所述实时流量数据的数据源标识，从所述实时流量数据中获取与所述数据源配置信
7、根据所述任务、检测规则以及检测引擎的关联关系，将所述检测规则配置信息中的检测规则分发至相应的检测引擎；
8、根据所述任务与检测引擎的关联关系，将携带有所述任务标识的所述目标实时流量数据发送至相应的检测引擎，并通过所述检测引擎基于分发的检测规则对所述目标实时流量数据进行实时检测，得到告警数据；其中，所述告警数据用于确定用于威胁分析的预选数据。
9、可选地，进一步地，所述根据所述任务与检测引擎的关联关系，将携带有所述任务标识的所述目标实时流量数据发送至相应的检测引擎，包括：
10、根据所述任务与检测引擎的关联关系，确定在所述任务中用于实时检测的目标检测引擎；
11、若所述任务对应的目标检测引擎为多个，则将所述目标实时流量数据进行复制；
12、将复制后的所述目标实时流量数据分别对应发送至多个所述目标检测引擎；其中，一条目标实时流量数据对应一个目标检测引擎。
13、可选地，进一步地，所述若所述任务对应的目标检测引擎为多个，则将所述目标实时流量数据进行复制，包括：
14、若所述任务对应的目标检测引擎为多个，确定所述目标检测引擎的个数；其中，所述检测引擎包括下述至少两项：入侵检测系统ids攻击流量检测引擎、攻击注入行为检测引擎、样本分析检测引擎、加密一致性检测引擎，所述检测规则用于表示符合语法规范的检测特征描述语言；
15、若所述目标实时流量数据为携带一个数据源标识的实时流量数据，则将所述目标实时流量数据进行复制，使得复制后的所述目标实时流量数据的条数与所述目标检测引擎的个数相同；
16、若所述目标实时流量数据为携带多个数据源标识的实时流量数据，则针对各所述数据源标识，将各所述数据源标识的实时流量数据分别进行复制，使得复制后的各所述数据源标识的实时流量数据的条数分别与所述目标检测引擎的个数相同。
17、可选地，进一步地，所述通过所述检测引擎基于分发的检测规则对所述目标实时流量数据进行实时检测，得到告警数据，包括：
18、若所述检测规则中包括扩展规则类型，则将所述检测规则统一转换为xml标准语法规则；
19、其中，所述扩展规则类型对应的规则是基于威胁情报信息和攻陷指标ioc确定的。
20、可选地，进一步地，所述方法还包括：
21、将各所述检测引擎输出的所述告警数据发送至kafka消息处理器，用以汇聚并缓存管理所述告警数据；
22、根据各所述任务标识，从所述kafka消息处理器中获取各所述任务对应的告警数据；
23、针对各所述任务，对所述任务对应的所述告警数据进行处理，确定用于威胁分析的预选数据。
24、可选地，进一步地，所述针对各所述任务，对所述任务对应的所述告警数据进行处理，确定用于威胁分析的预选数据，包括：
25、针对各所述任务，对所述任务对应的所述告警数据进行去重清洗；
26、对去重清洗后的告警数据中的异构数据进行字段值标准化处理；
27、对标准化后的告警数据进行数据富化，生成所述预选数据，用以威胁分析。
28、可选地，进一步地，所述方法还包括：
29、根据所述预选数据进行威胁分析，得到情报信息，所述情报信息包括威胁情报信息和攻陷指标；
30、根据所述威胁情报信息和所述攻陷指标，更新或扩展所述检测规则。
31、本公开的第二方面提供了一种网络数据采集装置，包括：
32、确定单元，用于确定任务配置信息，所述任务配置信息包括至少一个任务的配置信息，针对各所述任务的配置信息包括任务基本信息、数据源配置信息、检测引擎配置信息、检测规则配置信息；
33、所述确定单元，还用于根据所述任务配置信息，确定任务与数据源的关联关系、任务与检测引擎的关联关系、任务、检测规则以及检测引擎的关联关系；
34、处理单元，用于响应于任务启动的操作，接收携带有数据源标识的实时流量数据，并针对所述任务基本信息中的各任务，基于所述任务配置信息均执行以下操作：
35、根据所述实时流量数据的数据源标识，从所述实时流量数据中获取与所述数据源配置信息中的数据源标识相同的目标实时流量数据，并根据所述任务与数据源的关联关系，在所述目标实时流量数据上标记所述任务的任务标识；
36、根据所述任务、检测规则以及检测引擎的关联关系，将所述检测规则配置信息中的检测规则分发至相应的检测引擎；
37、根据所述任务与检测引擎的关联关系，将携带有所述任务标识的所述目标实时流量数据发送至相应的检测引擎，并通过所述检测引擎基于分发的检测规则对所述目标实时流量数据进行实时检测，得到告警数据；其中，所述告警数据用于确定用于威胁分析的预选数据。
38、本公开的第三方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行第一方面任意一项提供的网络数据采集方法。
39、本公开的第四方面提供了一种电子设备，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述本文档来自技高网...
【技术保护点】
1.一种网络数据采集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述任务与检测引擎的关联关系，将携带有所述任务标识的所述目标实时流量数据发送至相应的检测引擎，包括：
3.根据权利要求2所述的方法，其特征在于，所述若所述任务对应的目标检测引擎为多个，则将所述目标实时流量数据进行复制，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过所述检测引擎基于分发的检测规则对所述目标实时流量数据进行实时检测，得到告警数据，包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述针对各所述任务，对所述任务对应的所述告警数据进行处理，确定用于威胁分析的预选数据，包括：
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
8.一种网络数据采集装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使计算机执行权利要求1至7中
10.一种电子设备，其特征在于，所述电子设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器执行权利要求1至7中任意一项所述的网络数据采集方法。
...【技术特征摘要】
1.一种网络数据采集方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述根据所述任务与检测引擎的关联关系，将携带有所述任务标识的所述目标实时流量数据发送至相应的检测引擎，包括：
3.根据权利要求2所述的方法，其特征在于，所述若所述任务对应的目标检测引擎为多个，则将所述目标实时流量数据进行复制，包括：
4.根据权利要求1所述的方法，其特征在于，所述通过所述检测引擎基于分发的检测规则对所述目标实时流量数据进行实时检测，得到告警数据，包括：
5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求5所述的方法，其特征在于，所述针对各所述任务，对所述任务...
【专利技术属性】
技术研发人员：朱贺，任祥辉，姜蕴，袁士君，
申请(专利权)人：中国电子科技集团公司第十五研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。