日志数据的传输方法、装置、电子设备及存储介质制造方法及图纸

技术编号:26385052 阅读:38 留言:0更新日期:2020-11-19 23:54
本申请提供一种日志数据的传输方法、装置、电子设备及存储介质,涉及数据处理技术领域。该方法可以应用于分布式集群系统中的服务器,该分布式集群系统可以包括多个服务器,该方法可以获取目标日志数据的目标发送端地址和目标接收端地址,目标接收端地址为服务器的地址,目标发送端地址为客户端的地址;根据目标发送端地址和目标接收端地址,生成针对目标日志数据的日志直传接口,并选择获取目标网络传输链路;通过目标网络传输链路接收客户端基于日志直传接口发送的目标日志数据,使得对于客户端来说,可以根据服务器中生成的日志直传接口直接向服务器发送目标日志数据,实现日志数据的自动化传输和实时传输,可以降低人力成本,提高传输效率。

【技术实现步骤摘要】
日志数据的传输方法、装置、电子设备及存储介质
本申请涉及数据处理
,特别涉及一种日志数据的传输方法、装置、电子设备及存储介质。
技术介绍
随着移动互联网的迅猛发展,日志数据在处理历史数据、诊断问题的追踪以及系统活动的理解等方面发挥着重要作用。以用户在游戏过程中产生的游戏日志为例,游戏日志可以记录用户在游戏过程中的操作行为,通过该游戏日志可以对用户的状态,行为等进行分析,挖掘出有价值的信息;同时也能够对游戏服务中存在的问题进行定位。其中,在一些特殊场景下,比如,对于出海的游戏,为了使得玩家可以获得良好的游戏体验,游戏服务器一般都部署在海外。现有的,对于出海游戏所产生的日志数据来说,一般都需要游戏运维工作人员将出海游戏所产生的日志打包到海外服务器之后,通过一些网络传输工具将推送到国内服务器。但由于现有游戏日志数据的收集、打包需要运维人工参与,因此,存在人力成本较高,且传输效率低的问题。
技术实现思路
本申请的目的在于,针对上述现有技术中的不足,提供一种日志数据的传输方法、装置、电子设备及存储介质,可以解决现本文档来自技高网...

【技术保护点】
1.一种日志数据的传输方法,其特征在于,应用于分布式集群系统中的服务器,所述分布式集群系统包括多个服务器,所述方法包括:/n获取目标日志数据的目标发送端地址和目标接收端地址,所述目标接收端地址为所述服务器的地址,所述目标发送端地址为客户端的地址;/n根据所述目标发送端地址和所述目标接收端地址,生成针对所述目标日志数据的日志直传接口,并选择获取目标网络传输链路;/n通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。/n

【技术特征摘要】
1.一种日志数据的传输方法,其特征在于,应用于分布式集群系统中的服务器,所述分布式集群系统包括多个服务器,所述方法包括:
获取目标日志数据的目标发送端地址和目标接收端地址,所述目标接收端地址为所述服务器的地址,所述目标发送端地址为客户端的地址;
根据所述目标发送端地址和所述目标接收端地址,生成针对所述目标日志数据的日志直传接口,并选择获取目标网络传输链路;
通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。


2.根据权利要求1所述的方法,其特征在于,所述获取目标日志数据的目标发送端地址和目标接收端地址,包括:
接收客户端发送的地址选择请求,所述地址选择请求包括:目标发送端地址;
根据所述地址选择请求,向客户端反馈目标接收端地址列表;
接收客户端根据所述目标接收端地址列表发送的地址响应,所述地址响应包括:目标接收端地址。


3.根据权利要求1所述的方法,其特征在于,所述根据所述目标发送端地址和所述目标接收端地址,选择获取目标网络传输链路,包括:
获取所述目标发送端地址和所述目标接收端地址之间多个网络传输链路的网络传输参数;
根据所述网络传输参数和预设时间间隔,分别计算获取所述目标发送端地址和所述目标接收端地址之间各所述网络传输链路的网络延迟参数和丢包率;
根据所述网络延迟参数和所述丢包率,选择所述网络延迟参数和所述丢包率最小的所述网络传输链路作为所述目标网络传输链路。


4.根据权利要求1所述的方法,其特征在于,所述通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据,包括:
监测获取所述客户端发送所述目标日志数据的传输速率;
根据所述目标日志数据的传输速率和预设阈值,确定分片扩容或分片缩容;
若获取扩容后的多个所述服务器,则采用扩容后的多个所述服务器,通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据;或者,
若获取缩容后的至少一个所述服务器,则采用缩容后的至少一个所述服务器,通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。


5.根据权利要求4所述的方法,其特征在于,所述根据所述目标日志数据的传输速率和预设阈值,确定分片扩容或分片缩容,包括:
根据所述目标日志数据的传输速率和预设阈值,获取需扩容的服务器数量或需缩容的服务器数量。


6.根据权利要求5所述的方法,其特征在于,所述根据所述目标日志数据的传输速率和预设阈值,获取需扩容的服务器数量或需缩容的服务器数量,包括:
若确定所述目标日志数据的传输速率大于预设阈值,根据当前分片数和所述目标日志数据的传输速率,获取需扩容的服务器数量;或,
若确定所述目标日志数据的传输速率小于预设阈值,根据当前分片...

【专利技术属性】
技术研发人员:冯阳刘柏周彩冬范长杰李仁杰胡志鹏
申请(专利权)人:网易杭州网络有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1