日志数据传输方法、装置和设备制造方法及图纸

本申请公开了日志数据处理方法、装置和设备。该方法包括：监听应用程序产生的日志数据；实时地将日志数据发送至Kafka消息队列的第一主题区域；在日志数据推送出现异常时，重试发送日志数据，如果重试成功，则停止发送日志数据至Kafka消息队列；如果重试未成功，则进一步确定日志数据被发送的次数是否达到阈值；如果达到所述阈值，则将日志数据发送到第二主题区域；如果未达到阈值，则重试将日志数据发送到第一主题区域，并进行计数统计，以统计日志数据被发送的次数。本申请实施例，在应用程序的日志数据发送出现异常时，通过确定日志数据的重新发送的结果来避免日志数据的发送错误，有效地提高日志数据传输的准确性。

Log data transmission method, device and equipment

【技术实现步骤摘要】
日志数据传输方法、装置和设备
本申请一般涉及数据处理
，尤其涉及日志数据处理方法、装置和设备。
技术介绍
随着电子商务技术的发展，网络的后端服务器承载的压力也越来越大，同时需要处理的“数据”也呈几何级增长，实时准确的收集、传输、计算海量日志随之成为电子商务中的迫切要求。现有技术中采集日志的工具，例如Flume、Scribe、Chukwa、ELK等，遵循传统的日志上报方式，即将日志数据先记录到文件系统，在通过采集Agent将日志的变化上报，可能是增量或全量地采集日志数据发送到消息队列。上述方式导致日志采集上报存在一定的延时，导致实时上报的效果不好。同时，日志数据被采集上报给消息队列后，仅依靠消息队列自身的反馈机制，导致上报的日志数据存在错误性。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种日志数据传输方法、装置和设备来提高日志传输的准确性。第一方面，本申请实施例提供了一种日志数据传输方法，该方法包括：监听应用程序产生的日志数据；实时地将日志数据发送至Kafka本文档来自技高网...

【技术保护点】
1.一种日志数据传输方法，其特征在于，该方法包括：/n监听应用程序产生的日志数据；/n实时地将所述日志数据发送至Kafka消息队列的第一主题区域；/n在所述日志数据推送出现异常时，重试发送所述日志数据，/n如果重试成功，则停止发送所述日志数据至所述Kafka消息队列；/n如果重试未成功，则进一步确定所述日志数据被发送的次数是否达到阈值；/n如果达到所述阈值，则将所述日志数据发送到第二主题区域；/n如果未达到所述阈值，则重试将所述日志数据发送到所述第一主题区域，并进行计数统计，以统计所述日志数据被发送的次数。/n

【技术特征摘要】
1.一种日志数据传输方法，其特征在于，该方法包括：
监听应用程序产生的日志数据；
实时地将所述日志数据发送至Kafka消息队列的第一主题区域；
在所述日志数据推送出现异常时，重试发送所述日志数据，
如果重试成功，则停止发送所述日志数据至所述Kafka消息队列；
如果重试未成功，则进一步确定所述日志数据被发送的次数是否达到阈值；
如果达到所述阈值，则将所述日志数据发送到第二主题区域；
如果未达到所述阈值，则重试将所述日志数据发送到所述第一主题区域，并进行计数统计，以统计所述日志数据被发送的次数。


2.根据权利要求1所述的方法，其特征在于，该方法还包括：
如果达到阈值，将所述日志数据记录到本地日志存储位置。


3.根据权利要求1或2所述的方法，其特征在于，实时地将所述日志数据推送至Kafka消息队列的第一主题区域，包括：
解析所述日志数据，并确定所述日志数据的目的地地址为所述Kafka消息队列的第一主题区域；
调用Kafka生产者接口将所述日志数据发送至所述第一主题区域。


4.根据权利要求1所述的方法，其特征在于，该方法还包括：
在所述日志数据发送正常时，按照所述Kafka消息队列的发送模式配置ACK响应消息。


5.根据权利要求1所述的方法，其特征在于，在监听到应用程序产生的日志数据之前，该方法还包括：
在所述应用程序中预先注册自定义的KafkaAppender类，通过所述KafkaAppender类来对所述日志数据进行监听、发送及异常处理。

【专利技术属性】
技术研发人员：陈东沂，姚小龙，郭林东，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44