【技术实现步骤摘要】
一种日志数据上报方法、装置、设备及存储介质
[0001]本公开涉及数据传输
，尤其涉及日志数据上报
，具体涉及一种日志数据上报方法、装置、设备及存储介质。
技术介绍
[0002]日志数据的分析是目前分析互联网产品的用户行为的重要方法。
[0003]用户在使用客户端的过程中，若产生点击、浏览或者购买等行为，则客户端根据用户的行为生成日志数据，并将日志数据上报到日志服务器。
技术实现思路
[0004]本公开提供了一种日志数据上报方法、装置、设备及存储介质。
[0005]根据本公开的一方面，提供了一种日志数据上报方法，该方法包括：
[0006]当检测到目标消息中间件存储有日志数据时，从所述目标消息中间件中拉取日志数据；其中，所述目标消息中间件所存储的日志数据为：客户端上报的日志数据；
[0007]按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据；
[0008]其中，所述预定的上报策略包括，针对所述目...
【技术保护点】
【技术特征摘要】
1.一种日志数据上报方法，所述方法包括：当检测到目标消息中间件存储有日志数据时，从所述目标消息中间件中拉取日志数据；其中，所述目标消息中间件所存储的日志数据为：客户端上报的日志数据；按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据；其中，所述预定的上报策略包括，针对所述目标消息中间件的日志数据的上报速率，不高于所述日志服务器的吞吐量。2.根据权利要求1所述的方法，其中，所述从所述目标消息中间件中拉取日志数据，包括：消息投递进程从所述目标消息中间件中拉取日志数据；所述按照预定的上报策略，向日志服务器发送所拉取的日志数据，包括：所述消息投递进程按照预定的上报策略，向日志服务器发送所拉取的日志数据。3.根据权利要求2所述的方法，还包括：基于所述目标消息中间所存储日志数据的统计信息，确定所述消息投递进程的数量；其中，所述统计信息包括：当前所存储的日志数据的数量，和/或，在预定时间段内能够存储的日志数据的预期数量。4.根据权利要求1
‑
3任一项所述的方法，其中，所述目标消息中间件为多个消息中间件中的任一个，不同的消息中间件位于不同的地域；其中，任一消息中间件所存储的日志数据为指定客户端所上报的日志数据，所述指定客户端为该消息中间件所属地域内的客户端；所述预定的上报策略还包括：针对各个消息中间件中的日志数据的总的上报速率，不高于所述日志服务器的吞吐量。5.根据权利要求4所述的方法，所述按照预定的上报策略，向日志服务器发送所拉取的日志数据之前，所述方法还包括：当所述目标消息中间件为部署于指定地域的消息中间件时，执行所述按照预定的上报策略，向日志服务器发送所拉取的日志数据的步骤；其中，所述指定地域为所述日志服务器所属的地域；当所述目标消息中间件不为部署于指定地域的消息中间件时，将所拉取的日志数据写入指定地域内的消息中间件中。6.一种日志数据上报系统，包括：部署有目标消息中间件的目标节点，以及客户端对应的服务器；所述服务器，用于接收所述客户端上报的日志数据，并将所接收到的日志数据写入所述目标消息中间件中；所述目标节点，用于当检测到目标消息中间件中存储有日志数据时，从所述目标消息中间件中拉取日志数据；按照预定的上报策略，向日志服务器发送所拉取的日志数据，以使所述日志服务器在接收到日志数据后，保存所接收到的日志数据；其中，所述预定的上报策略包括针对所述目标消息中间件的日志数据的上报速率，不高于所述日志服务器的吞吐量。7.根据权利要求6所述的系统，其中，所述目标消息中间件为多个消息中间件中的任一
个，不同的消息中间件部署于不同地域的目标节点中；不同地域内的客户端对应不同的服务器；所述服务器具体用于接收所属的地域内的客户端上报的日志数据，并将所接收到的日志数据写入所属地域的目标节点的目标消息中间件中；所述预定的上报策略还包括：针对各个消息中间件中的日志数据的总的上报速率，不高于所述日志服务器的吞吐量。8.根据权利要求7...
【专利技术属性】
技术研发人员：田召桐，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。