一种工商储平台操作日志存储和分析系统技术方案

技术编号:41274498 阅读:17 留言:0更新日期:2024-05-11 09:27
本发明专利技术公开了一种工商储平台操作日志存储和分析系统,包括拦截模块、日志生成模块、储存模块和分析模块,拦截模块获取请求体和响应体信息,并传递给日志生成模块,日志生成模块生成日志模型对象,传递给储存模块,储存模块使用Disruptor作为内存消息队列,消费并批量写入到Doris数据库,分析模块利用Doris的聚合模型和物化视图功能进行复杂和多样化的日志分析,解决数据孤岛问题,存储数据为紧凑二进制格式,并创建BloomFilter索引、Bitmap索引和倒排索引,提升存储压缩率和查询性能,优势在于高效的日志拦截和生成、数据的持久化存储、多维度的日志分析能力、解决数据孤岛、优化存储压缩率和查询性能。

【技术实现步骤摘要】

本专利技术涉及日志储存,尤其是一种工商储平台操作日志存储和分析系统


技术介绍

1、日志数据在系统安全、性能分析、业务分析、用户行为分析、监控告警和故障排查等领域扮演着重要的角色,因此,构建一个统一的日志存储和分析平台至关重要,然而,处理日志数据面临几个挑战,首先,数据增长迅速,需要具备高吞吐量的实时写入能力,其次,由于数据总量巨大,存储压力非常大,最后,平台需要支持全文检索和实时查询功能。

2、当前广泛使用的elk(elasticsearch,logstash,kibana)日志分析平台是目前已有的技术解决方案之一,elk平台具备较好的实时查询能力,但也存在一些问题,例如,它的写入吞吐量较低,存储成本较高,不支持复杂查询,且分析能力相对较弱。

3、本专利技术针对提出上述缺点提出解决方案为:将数据统一存储到doris中,并可与其他数据关联分析,不再是独立存在的数据孤岛,对数据解析并存储为紧凑高效的二进制格式,分析模块与储存模块的连接支持基于存储模块中的数据使用sql语言。


技术实现思路

...

【技术保护点】

1.一种工商储平台操作日志存储和分析系统,其特征在于:包括拦截模块、日志生成模块、储存模块、分析模块;

2.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述拦截模块负责拦截工商储平台与客户端请求和响应,使用Spring AOP的before、after-returning和after-throwing切面技术,在请求的入口和出口处进行拦截,获取请求体和响应体的信息,并传递至日志生成模块。

3.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述日志生成模块基于拦截模块传递的请求体和响应体信息,生成日志模型对象,日志模...

【技术特征摘要】

1.一种工商储平台操作日志存储和分析系统,其特征在于:包括拦截模块、日志生成模块、储存模块、分析模块;

2.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述拦截模块负责拦截工商储平台与客户端请求和响应,使用spring aop的before、after-returning和after-throwing切面技术,在请求的入口和出口处进行拦截,获取请求体和响应体的信息,并传递至日志生成模块。

3.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述日志生成模块基于拦截模块传递的请求体和响应体信息,生成日志模型对象,日志模型包括...

【专利技术属性】
技术研发人员:雷海武杨帅
申请(专利权)人:浙江海得智慧能源有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1