【技术实现步骤摘要】
日志数据的传输方法、装置、电子设备及存储介质
本申请涉及数据处理
,特别涉及一种日志数据的传输方法、装置、电子设备及存储介质。
技术介绍
随着移动互联网的迅猛发展,日志数据在处理历史数据、诊断问题的追踪以及系统活动的理解等方面发挥着重要作用。以用户在游戏过程中产生的游戏日志为例,游戏日志可以记录用户在游戏过程中的操作行为,通过该游戏日志可以对用户的状态,行为等进行分析,挖掘出有价值的信息;同时也能够对游戏服务中存在的问题进行定位。其中,在一些特殊场景下,比如,对于出海的游戏,为了使得玩家可以获得良好的游戏体验,游戏服务器一般都部署在海外。现有的,对于出海游戏所产生的日志数据来说,一般都需要游戏运维工作人员将出海游戏所产生的日志打包到海外服务器之后,通过一些网络传输工具将推送到国内服务器。但由于现有游戏日志数据的收集、打包需要运维人工参与,因此,存在人力成本较高,且传输效率低的问题。
技术实现思路
本申请的目的在于,针对上述现有技术中的不足,提供一种日志数据的传输方法、装置、电子设备及 ...
【技术保护点】
1.一种日志数据的传输方法,其特征在于,应用于分布式集群系统中的服务器,所述分布式集群系统包括多个服务器,所述方法包括:/n获取目标日志数据的目标发送端地址和目标接收端地址,所述目标接收端地址为所述服务器的地址,所述目标发送端地址为客户端的地址;/n根据所述目标发送端地址和所述目标接收端地址,生成针对所述目标日志数据的日志直传接口,并选择获取目标网络传输链路;/n通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。/n
【技术特征摘要】
1.一种日志数据的传输方法,其特征在于,应用于分布式集群系统中的服务器,所述分布式集群系统包括多个服务器,所述方法包括:
获取目标日志数据的目标发送端地址和目标接收端地址,所述目标接收端地址为所述服务器的地址,所述目标发送端地址为客户端的地址;
根据所述目标发送端地址和所述目标接收端地址,生成针对所述目标日志数据的日志直传接口,并选择获取目标网络传输链路;
通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。
2.根据权利要求1所述的方法,其特征在于,所述获取目标日志数据的目标发送端地址和目标接收端地址,包括:
接收客户端发送的地址选择请求,所述地址选择请求包括:目标发送端地址;
根据所述地址选择请求,向客户端反馈目标接收端地址列表;
接收客户端根据所述目标接收端地址列表发送的地址响应,所述地址响应包括:目标接收端地址。
3.根据权利要求1所述的方法,其特征在于,所述根据所述目标发送端地址和所述目标接收端地址,选择获取目标网络传输链路,包括:
获取所述目标发送端地址和所述目标接收端地址之间多个网络传输链路的网络传输参数;
根据所述网络传输参数和预设时间间隔,分别计算获取所述目标发送端地址和所述目标接收端地址之间各所述网络传输链路的网络延迟参数和丢包率;
根据所述网络延迟参数和所述丢包率,选择所述网络延迟参数和所述丢包率最小的所述网络传输链路作为所述目标网络传输链路。
4.根据权利要求1所述的方法,其特征在于,所述通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据,包括:
监测获取所述客户端发送所述目标日志数据的传输速率;
根据所述目标日志数据的传输速率和预设阈值,确定分片扩容或分片缩容;
若获取扩容后的多个所述服务器,则采用扩容后的多个所述服务器,通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据;或者,
若获取缩容后的至少一个所述服务器,则采用缩容后的至少一个所述服务器,通过所述目标网络传输链路接收所述客户端基于所述日志直传接口发送的目标日志数据。
5.根据权利要求4所述的方法,其特征在于,所述根据所述目标日志数据的传输速率和预设阈值,确定分片扩容或分片缩容,包括:
根据所述目标日志数据的传输速率和预设阈值,获取需扩容的服务器数量或需缩容的服务器数量。
6.根据权利要求5所述的方法,其特征在于,所述根据所述目标日志数据的传输速率和预设阈值,获取需扩容的服务器数量或需缩容的服务器数量,包括:
若确定所述目标日志数据的传输速率大于预设阈值,根据当前分片数和所述目标日志数据的传输速率,获取需扩容的服务器数量;或,
若确定所述目标日志数据的传输速率小于预设阈值,根据当前分片...
【专利技术属性】
技术研发人员:冯阳,刘柏,周彩冬,范长杰,李仁杰,胡志鹏,
申请(专利权)人:网易杭州网络有限公司,
类型:发明
国别省市:浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。