一种基于数据分析管理的商用系统技术方案

技术编号:23161594 阅读:27 留言:0更新日期:2020-01-21 21:57
本发明专利技术公开了一种基于数据分析管理的商用系统,采用分布式服务框架Dubbo,包括全链路日志模块,使用Candao Sleuth在代码中进行链路标记,通过Flume进行日志的收集,并发往Kafka消息队列进行缓冲,Logstash从Kafka中消费日志并且插入到Elasticsearch中,从而进行全链路的日志存储及查询。本发明专利技术可以在日志后台输入关键字,轻松的将所有相关的日志查询出来,并且可以根据日志ID进行整条链路日志的查看,极大地提高了效率,具有较好的实用性。

A commercial system based on data analysis and management

【技术实现步骤摘要】
一种基于数据分析管理的商用系统
本专利技术属于数据处理的
,具体涉及一种基于数据分析管理的商用系统。
技术介绍
随着互联网技术的发展,各行业均纷纷开始引入大数据、物联网技术,以争取更高效的争取业务服务大众。例如,在出租车行业中,开始由传统的路边等待出租车打车转换到现在的网约车,传统的打车方式及时看到出租车也不一定是空车。在餐饮行业,开始由传统的出门点餐转换到现在的网上点餐,传统的出门点餐一般是集中在大家吃饭的时间,比较有规律,而且店家的营业时间较为集中,容易业务饱和;而现在的网上点餐业务往往是时间段分散,增加了商店的营业时间,不容易出现点餐集中饱和瘫痪的现象。然而,上述美好的实现都是基于点餐系统或者租车系统的数据的优化整合以及快速响应。现有技术中,智能系统可以采用分布式的架构,然而,在分布式的架构中,系统被拆分成了多个子系统,一个普通的请求可能需要经过多个子系统处理才能响应回去,并且每个子系统都是集群部署在N台服务器上,如果通过人工在服务器上查找日志文件的方式进行日志查询,效率会非常低效。>
技术实现思路
...

【技术保护点】
1.一种基于数据分析管理的商用系统,采用分布式服务框架Dubbo,其特征在于,包括全链路日志模块,使用Candao Sleuth在代码中进行链路标记,通过Flume进行日志的收集,并发往Kafka消息队列进行缓冲,Logstash从Kafka中消费日志并且插入到Elasticsearch中,从而进行全链路的日志存储及查询。/n

【技术特征摘要】
1.一种基于数据分析管理的商用系统,采用分布式服务框架Dubbo,其特征在于,包括全链路日志模块,使用CandaoSleuth在代码中进行链路标记,通过Flume进行日志的收集,并发往Kafka消息队列进行缓冲,Logstash从Kafka中消费日志并且插入到Elasticsearch中,从而进行全链路的日志存储及查询。


2.根据权利要求1所述的一种基于数据分析管理的商用系统,其特征在于,所述日志流向ELK进行日志存放、分析和展示、供维护人员在海量的日志数据里面实时搜索有用信息;所述日志流向SparkStreaming进行实时流计算,近实时的从海量数据里面分析出系统的当前运行状态,并进行监控和预警处理;所有日志进入分布式文件系统HDFS,每天凌晨定时分析前一天的系统性能情况,以便对系统的整体性能趋势及性能优化做出参考。


3.根据权利要求2所述的一种基于数据分析管理的商用系统,其特征在于,还包括实时预警模块,通过SparkStreaming实时流计算,根据配置的规则进行实时的短信与邮件方式预警。


4.根据权利要求2所述的一种基于数据分析管理的商用系统,其特征在于,还包括性能分析模块,通过Hadoop大数据处理,定时对每天的日志进行分析,统计出...

【专利技术属性】
技术研发人员:李振宏林良谭绍炜
申请(专利权)人:广州餐道信息科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1