本申请提供一种日志上传方法及装置，该方法包括：获取来自第一WAF设备节点的第一日志集合；根据预设聚合策略对第一日志集合进行聚合，获得第二日志集合，第二日志集合的数据量小于第一日志集合的数据量；向运营管理平台发送第二日志集合。采用该方法可以完成日志上传，且在发送日志前对日志进行了聚合处理，显著减少了日志的数据量，因此，在日志的发送过程中可以减轻网络带宽压力；此外，基于聚合后的日志，日志接收方可以更快更好地对日志进行后续的分析处理，获得更高的效率。
【技术实现步骤摘要】
本申请涉及网络安全，尤其涉及一种日志上传方法及装置。
技术介绍
1、目前，云网络应用防火墙服务(web application firewall，waf)的系统架构普遍由运营管理平台和多活数据中心组成，其中，运营管理平台也可称为云waf运营管理平台，多活数据中心是指部署在不同地域，多个数据中心能够同时提供服务，且多个数据中心之间的数据可以实时同步，数据中心主要包括waf设备节点、流量分发与负载均衡、数据同步与共享、监控与故障切换、全局策略以及配置管理等模块，云waf运营管理平台通过向数据中心中的waf设备节点下发配置信息，使其为配置信息对应的网络应用或网站进行安全防护，保护网络应用或网站免受网络攻击。
2、waf设备节点会将记录的日志上传至云waf运营管理平台，当waf设备节点承载比较大的业务流量时，waf设备节点记录的请求访问类日志和数据分析类日志的数据量会比较庞大，那么waf设备节点将日志上传至云waf运营管理平台时会大量消耗数据中心和云waf运营管理平台的带宽，导致数据拥堵、延迟增加，甚至导致服务不可用。
技术实现思路
1、本申请提供一种日志上传方法及装置，用以减轻日志上传时的网络带宽压力。
2、第一方面，本申请提供一种日志上传方法，该方法包括：
3、获取来自第一网络应用防火墙waf设备节点的第一日志集合；
4、根据预设聚合策略对所述第一日志集合进行聚合，获得第二日志集合，所述第二日志集合的数据量小于所述第一日志集合的数据量；</p>5、向运营管理平台发送所述第二日志集合。
6、本申请提供的日志上传方法，获取waf设备节点的第一日志集合后，采用预设的聚合策略对第一日志集合进行聚合处理得到第二日志集合，第二日志集合的数据量是小于第一日志集合的，发送数据量显著减小的第二日志集合可以减轻第二日志集合的发送方和接收方的网络带宽压力，且第二日志集合的接收方基于聚合后的日志进行分析或其他相关处理可以获得更高的效率，此外，若第二日志集合的接收方将第二日志集合进行存储，第二日志集合所占据的存储空间也会明显小于第一日志集合所占据的存储空间，存储压力较小。
7、在一种可能的设计中，所述预设聚合策略包括以下至少一种类型的聚合关键字：域名、客户端的ip地址或响应码。
8、在一种可能的设计中，所述预设聚合策略还包括预设时间窗口。
9、在一种可能的设计中，还包括：
10、接收来自运营管理平台的第一配置信息，所述第一配置信息包括第一域名、数据中心的编号、所述第一waf设备节点的编号，所述第一waf设备节点属于所述第一数据中心；
11、根据所述第一配置信息和所述第一协议确定第一指令，所述第一指令满足所述第一协议的格式要求，所述第一协议为所述第一waf设备节点应用的协议；
12、向所述第一waf设备节点发送所述第一指令，所述第一指令用于配置所述第一waf设备节点对所述第一域名对应网站进行安全防护。
13、在一种可能的设计中，还包括：
14、接收来自所述运营管理平台的第二配置信息，所述第二配置信息包括第二域名、所述数据中心的编号、第二waf设备节点的编号，所述第二waf设备节点属于所述数据中心；其中，所述第一配置信息的格式与所述第二配置信息的格式相同；
15、根据所述第二配置信息和所述第二协议确定第二指令，所述第二指令满足所述第二协议的格式要求，所述第二协议为所述第二waf设备节点应用的协议，所述第一协议与所述第二协议不同；
16、向所述第二waf设备节点发送所述第二指令，所述第二指令用于配置所述第二waf设备节点对所述第二域名对应网站进行安全防护。
17、由上述可知，当第一waf设备节点和第二waf设备节点所应用的协议不同时，运营管理平台针对第一waf设备节点下发的第一配置信息和针对第二waf设备节点下发的第二配置信息可以采用相同的格式，也就是说，运营管理平台不需要适配应用不同协议的waf设备节点，因此，能够减少运营管理平台的适配工作量，进而运营管理平台可以更好地处理其他复杂业务。
18、在一种可能的设计中，所述第一日志集合包括针对所述第一域名对应网站的访问统计信息和/或针对所述第一域名对应网站的攻击记录。
19、在一种可能的设计中，在接收第一配置信息之前，与所述运营管理平台执行安全验证流程。
20、第二方面，本申请还提供一种日志上传装置，该装置包括：接收单元、处理单元以及发送单元：
21、所述接收单元，用于获取来自第一waf设备节点的第一日志集合；
22、所述处理单元，用于根据预设聚合策略对所述第一日志集合进行聚合，获得第二日志集合，所述第二日志集合的数据量小于所述第一日志集合的数据量；
23、所述发送单元，向运营管理平台用于发送所述第二日志集合。
24、在一种可能的设计中，所述预设聚合策略包括以下至少一种类型的聚合关键字：域名、客户端的ip地址或响应码。
25、在一种可能的设计中，所述预设聚合策略还包括预设时间窗口。
26、在一种可能的设计中，所述接收单元，还用于接收来自运营管理平台的第一配置信息，所述第一配置信息包括第一域名、数据中心的编号、所述第一waf设备节点的编号，所述第一waf设备节点属于所述第一数据中心；根据所述第一配置信息和所述第一协议确定第一指令，所述第一指令满足所述第一协议的格式要求，所述第一协议为所述第一waf设备节点应用的协议；向所述第一waf设备节点发送所述第一指令，所述第一指令用于配置所述第一waf设备节点对所述第一域名对应网站进行安全防护。
27、在一种可能的设计中，所述接收单元，还用于接收来自所述运营管理平台的第二配置信息，所述第二配置信息包括第二域名、所述数据中心的编号、第二waf设备节点的编号，所述第二waf设备节点属于所述数据中心；其中，所述第一配置信息的格式与所述第二配置信息的格式相同；根据所述第二配置信息和所述第二协议确定第二指令，所述第二指令满足所述第二协议的格式要求，所述第二协议为所述第二waf设备节点应用的协议，所述第一协议与所述第二协议不同；向所述第二waf设备节点发送所述第二指令，所述第二指令用于配置所述第二waf设备节点对所述第二域名对应网站进行安全防护。
28、在一种可能的设计中，所述第一日志集合包括针对所述第一域名对应网站的访问统计信息和/或针对所述第一域名对应网站的攻击记录。
29、在一种可能的设计中，所述接收单元，用于在接收第一配置信息之前，与所述运营管理平台执行安全验证流程。
30、第三方面，本申请还提供一种日志上传装置，包括：一个或多个处理器和一个或多个存储器，其中，所述一个或多个存储器存储有一个或多个程序，当所述程序被所述一个或多个处理器执行时，使得所述装置执行如上述第一方面中任一项所述的方法。
31、第四方本文档来自技高网
...
【技术保护点】
1.一种日志上报方法，其特征在于，该方法包括：
2.如权利要求1所述的方法，其特征在于，所述预设聚合策略包括以下至少一种类型的聚合关键字：域名、客户端的IP地址或响应码。
3.如权利要求1所述的方法，其特征在于，所述预设聚合策略还包括预设时间窗口。
4.如权利要求1所述的方法，其特征在于，还包括：
5.如权利要求4所述的方法，其特征在于，还包括：
6.如权利要求4所述的方法，其特征在于，所述第一日志集合包括针对所述第一域名对应网站的访问统计信息和/或针对所述第一域名对应网站的攻击记录。
7.如权利要求4所述的方法，其特征在于，在接收第一配置信息之前，与所述运营管理平台执行安全验证流程。
8.一种日志上报装置，其特征在于，所述装置包括：
9.一种日志上报装置，其特征在于，包括：一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器存储有一个或多个程序，当所述程序被所述一个或多个处理器执行时，使得所述装置执行如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述可读存储介质包括程序，当所述程序在装置上运行时，使得所述装置执行如权利要求1-7中任一所述的方法。
...
【技术特征摘要】
1.一种日志上报方法，其特征在于，该方法包括：
2.如权利要求1所述的方法，其特征在于，所述预设聚合策略包括以下至少一种类型的聚合关键字：域名、客户端的ip地址或响应码。
3.如权利要求1所述的方法，其特征在于，所述预设聚合策略还包括预设时间窗口。
4.如权利要求1所述的方法，其特征在于，还包括：
5.如权利要求4所述的方法，其特征在于，还包括：
6.如权利要求4所述的方法，其特征在于，所述第一日志集合包括针对所述第一域名对应网站的访问统计信息和/或针对所述第一域名对应网站的攻击记录。
...
【专利技术属性】
技术研发人员：殷志祥，李强，
申请(专利权)人：天翼安全科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。