【技术实现步骤摘要】
本专利技术涉及大数据处理，尤其涉及一种用于海量日志分析预警的大数据处理系统。
技术介绍
1、在电力信息通信行业中，随着智能电网的快速发展和数字化转型的深入，各类业务系统产生的日志数据量急剧增长。这些日志数据包含了设备运行日志、网络流量日志、用户操作日志等关键信息，对于监控电网运行状态、预测故障趋势、保障信息安全等方面具有不可估量的价值。然而，传统的日志处理系统在应对海量日志数据时，存在明显的局限性。
2、所处理的日志数据往往包含敏感信息，如设备配置参数、用户身份信息，而现有的日志数据分析预警系统在实际使用时，极易导致数据泄露，进而对电网的安全稳定运行构成严重威胁。
技术实现思路
1、本专利技术的目的在于提供一种用于海量日志分析预警的大数据处理系统，旨在解决现有技术中的日志数据分析预警系统在实际使用时，极易导致数据泄露，进而对电网的安全稳定运行构成严重威胁的技术问题。
2、为实现上述目的，本专利技术采用的一种用于海量日志分析预警的大数据处理系统，包括日志数据采集模块、传输模块、加密模块、分析模块、告警模块、数据库、维护模块、反馈模块和管理平台，所述传输模块与所述日志数据采集模块连接，所述加密模块均与所述日志数据采集模块和所述分析模块连接，所述告警模块均与所述分析模块和所述数据库连接，所述维护模块与所述数据库连接，所述管理平台与所述维护模块和所述告警模块连接，所述反馈模块同样与所述告警模块连接；
3、所述日志数据采集模块用于从各类服务器、应用系统及网
4、所述加密模块用于对捕获的日志数据进行加密；
5、所述传输模块用于将加密的数据传输至所述分析模块；
6、所述分析模块对加密的数据解密后进行分析处理；
7、所述告警模块结合分析的结果和数据库内的规则生成告警信息，并展现在所述管理平台；
8、所述反馈模块将生成的告警信息反馈至对应的工作人员；
9、所述维护模块用于对数据库进行定期维护和管理，包括数据备份、恢复、优化。
10、其中，所述加密模块包括密钥管理单元、密钥生成单元、加密单元和解密单元，所述加密单元和所述解密单元分别与所述日志数据采集模块和所述分析模块连接，所述密钥管理单元均与所述加密单元和所述解密单元连接，所述密钥管理单元与所述密钥生成单元连接；
11、所述密钥生成单元用于根据所述密钥管理单元的指令，生成指定类型的密钥，并将其存储在安全的位置；
12、所述密钥管理单元用于请求并管理密钥，密钥管理单元将密钥安全地分发给所述加密单元(发送方)和所述解密单元(接收方)；
13、所述加密单元对来自所述日志数据采集模块的原始数据使用密钥管理单元提供的密钥(对称密钥或非对称加密的接收方公钥)，以及加密算法(如aes-gcm或rsa-oaep)对数据进行加密，生成密文，并经所述传输模块传输至所述分析模块；
14、所述解密单元对来自所述传输模块的密文使用密钥管理单元提供的密钥(对称密钥或非对称加密的接收方私钥)，以及对应的解密算法对数据进行解密。
15、其中，所述日志数据采集模块包括分布式数据采集单元和预处理单元，所述预处理单元均与所述分布式数据采集单元和所述传输模块连接；
16、所述分布式数据采集单元采用分布式数据采集技术，通过api接口、网络爬虫、日志文件读取方式，从多个数据源实时采集日志数据；
17、所述预处理单元基于hadoop和spark的大数据处理框架，实现数据的清洗、去重、格式转换和标准化处理。
18、其中，所述用于海量日志分析预警的大数据处理系统还包括存储模块，所述存储模块与所述告警模块连接；
19、所述存储模块采用基于分块加密和链式存储的方式，具体过程如下：
20、首先，将日志数据按固定大小分块，每块数据利用aes加密算法进行加密；
21、然后，将加密后的数据块按时间顺序存储在磁盘上，每个数据块的前部存储有指向下一个数据块的指针，形成链式结构。
22、其中，所述用于海量日志分析预警的大数据处理系统还包括感应模块和自调节模块，所述感应模块与所述管理平台连接，所述自调节模块均与所述感应模块和所述管理平台连接。
23、其中，所述用于海量日志分析预警的大数据处理系统还包括图表生成模块和图表展示模块，所述图表展示模块通过所述图表生成模块与所述告警模块连接。
24、其中，所述用于海量日志分析预警的大数据处理系统还包括查阅模块，所述查阅模块与所述存储模块连接。
25、本专利技术的一种用于海量日志分析预警的大数据处理系统，在具体使用时，首先所述日志数据采集模块从各类服务器、应用系统及网络设备中实时捕获日志数据；并通过所述加密模块对捕获的日志数据进行加密后基于所述传输模块用于将加密的数据传输至所述分析模块；所述分析模块对加密的数据解密后进行分析处理；随后所述告警模块结合分析的结果和数据库内的规则生成告警信息，并展现在所述管理平台；然后所述反馈模块将生成的告警信息反馈至对应的工作人员；所述维护模块用于对数据库进行定期维护和管理，包括数据备份、恢复、优化，以此方式解决了现有技术中的日志数据分析预警系统在实际使用时，极易导致数据泄露，进而对电网的安全稳定运行构成严重威胁的技术问题。
26、本专利技术通过引入所述加密模块，对从各类服务器、应用系统及网络设备中实时捕获的日志数据进行加密处理，有效防止了数据在传输和存储过程中的泄露风险，从而确保了电网安全稳定运行所需的数据保密性；
27、同时采用高效的数据传输和所述分析模块，能够在保证数据安全的前提下，实现对海量日志数据的快速采集、加密、传输和解密，进而进行准确的分析处理；这不仅提高了数据分析的时效性，还降低了系统资源消耗，提升了整体运行效率；
28、并且结合所述分析模块和所述数据库内的规则，本专利技术能够自动生成告警信息，并通过所述管理平台及时展现给相关人员。同时，通过所述反馈模块，告警信息能够迅速反馈至对应的工作人员，便于他们及时采取措施应对潜在的安全风险，从而提高了电网的安全预警和应急响应能力。
本文档来自技高网...【技术保护点】
1.一种用于海量日志分析预警的大数据处理系统，其特征在于，
2.如权利要求1所述的用于海量日志分析预警的大数据处理系统，其特征在于，
3.如权利要求2所述的用于海量日志分析预警的大数据处理系统，其特征在于，
4.如权利要求3所述的用于海量日志分析预警的大数据处理系统，其特征在于，
5.如权利要求4所述的用于海量日志分析预警的大数据处理系统，其特征在于，
6.如权利要求5所述的用于海量日志分析预警的大数据处理系统，其特征在于，
7.如权利要求6所述的用于海量日志分析预警的大数据处理系统，其特征在于，
【技术特征摘要】
1.一种用于海量日志分析预警的大数据处理系统，其特征在于，
2.如权利要求1所述的用于海量日志分析预警的大数据处理系统，其特征在于，
3.如权利要求2所述的用于海量日志分析预警的大数据处理系统，其特征在于，
4.如权利要求3所述的用于海量日志分析预警的...
【专利技术属性】
技术研发人员：党倩，袁昊，邱昱，孙碧颖，任敬斌，尚闻博，窦琛琛，金铭，
申请(专利权)人：国网甘肃省电力公司信息通信公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。