【技术实现步骤摘要】
本专利技术涉及日志储存,尤其是一种工商储平台操作日志存储和分析系统。
技术介绍
1、日志数据在系统安全、性能分析、业务分析、用户行为分析、监控告警和故障排查等领域扮演着重要的角色,因此,构建一个统一的日志存储和分析平台至关重要,然而,处理日志数据面临几个挑战,首先,数据增长迅速,需要具备高吞吐量的实时写入能力,其次,由于数据总量巨大,存储压力非常大,最后,平台需要支持全文检索和实时查询功能。
2、当前广泛使用的elk(elasticsearch,logstash,kibana)日志分析平台是目前已有的技术解决方案之一,elk平台具备较好的实时查询能力,但也存在一些问题,例如,它的写入吞吐量较低,存储成本较高,不支持复杂查询,且分析能力相对较弱。
3、本专利技术针对提出上述缺点提出解决方案为:将数据统一存储到doris中,并可与其他数据关联分析,不再是独立存在的数据孤岛,对数据解析并存储为紧凑高效的二进制格式,分析模块与储存模块的连接支持基于存储模块中的数据使用sql语言。
技术实现思路
...
【技术保护点】
1.一种工商储平台操作日志存储和分析系统,其特征在于:包括拦截模块、日志生成模块、储存模块、分析模块;
2.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述拦截模块负责拦截工商储平台与客户端请求和响应,使用Spring AOP的before、after-returning和after-throwing切面技术,在请求的入口和出口处进行拦截,获取请求体和响应体的信息,并传递至日志生成模块。
3.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述日志生成模块基于拦截模块传递的请求体和响应体信息,生成
...【技术特征摘要】
1.一种工商储平台操作日志存储和分析系统,其特征在于:包括拦截模块、日志生成模块、储存模块、分析模块;
2.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述拦截模块负责拦截工商储平台与客户端请求和响应,使用spring aop的before、after-returning和after-throwing切面技术,在请求的入口和出口处进行拦截,获取请求体和响应体的信息,并传递至日志生成模块。
3.根据权利要求1所述的一种工商储平台操作日志存储和分析系统,其特征在于:所述日志生成模块基于拦截模块传递的请求体和响应体信息,生成日志模型对象,日志模型包括...
【专利技术属性】
技术研发人员:雷海武,杨帅,
申请(专利权)人:浙江海得智慧能源有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。