数据采集传输方法、装置和电子设备制造方法及图纸

本发明专利技术提供了一种数据采集传输方法、装置和电子设备，涉及数据处理的技术领域，包括统计Flume系统中的source组件在预设时间段内采集到的数据的字节数总和；在字节数总和超过预设阈值时，控制source组件在预设时间段内向channel组件发送的event报文的字节数总和不大于预设阈值；sink组件从channel组件中获取event报文，并将获取到的event报文发送至外部存储设备。该方法通过限制流向channel组件的event报文的字节数总和，实现控制sink组件对外发送的数据流量的效果，提高了服务端业务系统的稳定性，进而有效的缓解了现有技术中的数据采集传输方法存在的可靠性差的技术问题。

【技术实现步骤摘要】
数据采集传输方法、装置和电子设备
本专利技术涉及数据处理的
，尤其是涉及一种数据采集传输方法、装置和电子设备。
技术介绍
人们由于过度使用和依赖互联网相关技术而产生了大量的数据，企业能够通过对这些数据进行分析，从中获取数据价值，但由于产生数据的渠道多、产生的数据量大且数据格式多样化，导致收集和使用数据的难度较大。现有技术中，多采用Flume(日志收集系统)作为数据采集框架进行数据采集传输，但在采集和传输数据的过程中，经常出现服务端业务系统响应超时甚至服务器宕机的情况。综上所述，现有技术中的数据采集传输方法存在可靠性差的技术问题。
技术实现思路
本专利技术的目的在于提供一种数据采集传输方法、装置和电子设备，以缓解现有技术中的数据采集传输方法存在的可靠性差的技术问题。第一方面，本专利技术实施例提供一种数据采集传输方法，包括：统计Flume系统中的source组件在预设时间段内采集到的数据的字节数总和；判断所述字节数总和是否超过预设阈值；若是，则控制所述source组件向所述Flume系统中的channel组本文档来自技高网...

【技术保护点】
1.一种数据采集传输方法，其特征在于，包括：/n统计Flume系统中的source组件在预设时间段内采集到的数据的字节数总和；/n判断所述字节数总和是否超过预设阈值；/n若是，则控制所述source组件向所述Flume系统中的channel组件发送event报文，其中，在所述预设时间段内向所述channel组件发送的event报文的字节数总和不大于所述预设阈值；/n向所述Flume系统中的sink组件发送获取指令，以使sink组件从所述channel组件中获取event报文，并将获取到的event报文发送至外部存储设备。/n

【技术特征摘要】
1.一种数据采集传输方法，其特征在于，包括：
统计Flume系统中的source组件在预设时间段内采集到的数据的字节数总和；
判断所述字节数总和是否超过预设阈值；
若是，则控制所述source组件向所述Flume系统中的channel组件发送event报文，其中，在所述预设时间段内向所述channel组件发送的event报文的字节数总和不大于所述预设阈值；
向所述Flume系统中的sink组件发送获取指令，以使sink组件从所述channel组件中获取event报文，并将获取到的event报文发送至外部存储设备。


2.根据权利要求1所述的方法，其特征在于，在控制所述source组件向所述Flume系统中的channel组件发送event报文之前，所述方法还包括：
在每条待发送的event报文的报头header添加原始校验码，得到对应的多条待校验event报文，其中，每个所述原始校验码与每条待发送的event报文一一对应。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
利用预设加密算法对每条所述待校验event报文进行加密，得到对应的多条加密后的待校验event报文。


4.根据权利要求3所述的方法，其特征在于，所述外部存储设备包括：kafka本地集群系统。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
控制所述sink组件向所述kafka本地集群系统发送所述多条加密后的待校验event报文；
其中，所述kafka本地集群系统在接收到所述多条加密后的待校验event报文之后，对所述多条加密后的待校验event报文进行过滤，并将过滤后的event报文存入目标topic目录，所述过滤后的event报文为未被篡改的报文。


6.根据权利要求5所述的方法，其特征在于，对所述多条加密后的待校验event报文进行过滤，并将过滤...

【专利技术属性】
技术研发人员：蔡伟培，
申请(专利权)人：华青融天北京软件股份有限公司，
类型：发明
国别省市：北京;11