一种基于logstash+kafka数据传输方法技术

本发明专利技术公开了一种基于logstash+kafka数据传输方法，包括业务数据生产端操作和业务数据消费端操作；1）通过业务数据生产端logstash，自动采集业务系统数据库中业务数据，并传输至中间件kafka；2）所述的中间件kafka收集各所述的业务数据生产端传输的数据，统一发送至业务数据消费端logstash；3）所述的业务数据消费端logstash接收所述的中间件kafka的消息，转为数据文件，并存储至目标数据库。本发明专利技术和现有技术相比，配置操作简便，处理速度快，能有效实现较为分散的业务数据的采集、处理、存储等操作，可以较为迅速方便的搭建业务数据生产端与消费端传输通道，且扩展性良好，降低开发及运维难度。

【技术实现步骤摘要】
一种基于logstash+kafka数据传输方法
本专利技术涉及高速数据采集应用领域，具体地说是一种基于logstash+kafka数据传输方法。
技术介绍
在企业应用过程中，每个信息企业有自己的信息系统，但每个企业之间的数据信息不能实现共享，也缺乏一个统一的数据平台来对这些业务数据进行整合、处理、挖掘与分析，严重的阻碍了企业信息化建设的整体进程。为解决这一问题，人们开始研究各种数据传输方式，尝试着将不同系统中的数据高效、安全的采集到一起，在统一集中数据平台的基础上，对数据进行进一步的挖掘分析，挖掘数据规律，辅助决策。现有数据传输方式主要分为以下几种：1）CDN技术通过在现有网络中添加一层新的网络架构，将站点的内容公布到最接近用户的网络“边缘”，使用户能够就近取得所需的内容，提高用户訪问站点的响应速度。但缺点也非常明显：非实时、非直接更新到指定对象，并且中间有人工干预环节，须要进行比較严密、周到的安排；2）基于FTP协议的传输技术FTP远程文件传输协议的作用是把文件从一个计算机移到还有一个计算机。最经常使用的是使用FTP的双向传输，即在远程系统和本地机之间数据传输。用户可将远程计算机本文档来自技高网...

【技术保护点】
1.一种基于logstash+kafka数据传输方法，其特征在于，包括业务数据生产端操作和业务数据消费端操作；操作步骤如下：步骤1）通过业务数据生产端logstash，自动采集业务系统数据库中业务数据，并传输至中间件kafka；步骤2）所述的中间件kafka收集各所述的业务数据生产端传输的数据，统一发送至业务数据消费端logstash；步骤3）所述的业务数据消费端logstash接收所述的中间件kafka的消息，转为数据文件，并存储至目标数据库。

【技术特征摘要】
1.一种基于logstash+kafka数据传输方法，其特征在于，包括业务数据生产端操作和业务数据消费端操作；操作步骤如下：步骤1）通过业务数据生产端logstash，自动采集业务系统数据库中业务数据，并传输至中间件kafka；步骤2）所述的中间件kafka收集各所述的业务数据生产端传输的数据，统一发送至业务数据消费端logstash；步骤3）所述的业务数据消费端logstash接收所述的中间件kafka的消息，转为数据文件，并存储至目标数据库。2.根据权利要求1所述的数据传输方法，其特征在于，所述的步骤1）自动采集业务系统数据库中业务数据，包括：所述的采集的业务数据由logstash配置文件中指定，不需要再通过开发接口程序。3.根据权利要求1所述的数据传输方法，其特征在于，所述的步骤1）中业务数据生产端可部署多台logstash工具。4.根据权利要求3所述的数据传输方法，其特征在于，每台所述的logstash工具抽取不同业务的数据。5.根据权利要求3所述的数据传输方法，其特征在于，所述的多台logstash工具并发执行数据抽取工作。6.根据权利要求1所述的数据传输...

【专利技术属性】
技术研发人员：颜朋，
申请(专利权)人：浪潮软件股份有限公司，
类型：发明
国别省市：山东,37