数据传输方法、装置、服务器以及存储介质制造方法及图纸

本公开关于一种数据传输方法、装置、服务器以及存储介质，属于数据传输技术领域，该方法包括：向数据源服务器发送对目标数据的数据读取请求，接收数据源服务器返回读取指示信息，按照读取指示信息携带的读取进度，从上层分发服务器读取目标数据。本公开数据源服务器基于分发节点树来响应分发服务器的数据需求，由于分发节点树表示对目标数据的读取进度快慢，因此，通过指示分发服务器从其上层分发服务器中读取数据，使得分发服务器执行数据的传输，数据源服务器只需完成分发节点树信息的维护以及向分发服务器分发节点信息的过程，无需进行数据的传输，减小了数据源服务器的所需带宽以及数据源服务器所需数量，极大的减小了资源的消耗。

【技术实现步骤摘要】
数据传输方法、装置、服务器以及存储介质
本公开涉及数据传输
，尤其涉及一种数据传输方法、装置、服务器以及存储介质。
技术介绍
随着互联网技术的不断发展，短视频业务逐渐进入人们的生活。短视频业务领域内涉及到大量的数据传输，例如，为实现业务推送的数据传输，具体包括：分发服务器通过数据源服务器获取大量的用户数据，基于该用户数据以及机器学习模型确定用户对应的推送内容，再从数据源服务器拉取完整的推送内容。在这个过程中，需要通过分发服务器和数据源服务器对用户数据以及推送内容进行数据的在线传输，再进行后续的业务推送。目前，数据传输方法通常为：通过kafka(卡夫卡)服务器集群进行数据的在线传输，相应过程可以：多个分发服务器想要获取用户数据或获取推送内容时，可以向kafka服务器集群发送数据获取请求，则服务器集群中的数据源服务器，对多个分发服务器的数据获取请求进行处理和数据传输。其中，kafka是一种高吞吐量的分布式发布订阅消息系统。上述技术中，由于设置的分发服务器数量很多，需要大量的用户数据且会产生大量的推送内容，导致数据的在线传输量很本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，应用于数据系统的分发服务器，所述分发服务器用于向客户端进行数据分发，所述方法包括：/n向所述数据系统中的数据源服务器发送对目标数据的数据读取请求，所述数据源服务器用于存储数据；/n接收所述数据源服务器响应于所述数据读取请求返回的读取指示信息，所述读取指示信息用于指示所述分发服务器按照所述读取指示信息所携带的读取进度从上层分发服务器进行读取；/n按照所述读取进度，从所述上层分发服务器中读取所述目标数据。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于数据系统的分发服务器，所述分发服务器用于向客户端进行数据分发，所述方法包括：
向所述数据系统中的数据源服务器发送对目标数据的数据读取请求，所述数据源服务器用于存储数据；
接收所述数据源服务器响应于所述数据读取请求返回的读取指示信息，所述读取指示信息用于指示所述分发服务器按照所述读取指示信息所携带的读取进度从上层分发服务器进行读取；
按照所述读取进度，从所述上层分发服务器中读取所述目标数据。


2.根据权利要求1所述的数据传输方法，其特征在于，所述上层分发服务器包括所述分发服务器的父节点服务器和祖父节点服务器，所述按照所述读取进度，从所述上层分发服务器中读取所述目标数据包括：
从所述分发服务器的父节点服务器中，按照所述读取进度，读取所述父节点服务器中存储的目标数据；
若所述目标数据读取失败，则从所述分发服务器的祖父节点服务器中，按照所述读取进度，读取所述祖父节点服务器中存储的目标数据。


3.一种数据传输方法，其特征在于，应用于数据系统的数据源服务器，所述数据源服务器用于存储数据，所述方法包括：
响应于所述数据系统中分发服务器对目标数据的数据读取请求，从分发节点树中，确定所述分发服务器的上层分发服务器，所述分发节点树用于表示多个分发服务器的读取进度排序；
获取所述分发服务器对所述目标数据的读取进度；
向所述分发服务器发送读取指示信息，所述读取指示信息用于指示所述分发服务器按照所述读取进度从所述上层分发服务器进行读取。


4.根据权利要求3所述的数据传输方法，其特征在于，所述响应于分发服务器对目标数据的数据读取请求，从分发节点树中，确定所述分发服务器的上层分发服务器包括：
响应于所述分发服务器对目标数据的数据读取请求，获取所述数据读取请求携带的分发服务器标识；
从所述分发节点树中，基于所述分发服务器标识，确定与所述分发服务器标识相连接的上一层分发服务器以及与所述上一层分发服务器相连接的上一层分发服务器中的至少一项，作为所述上层分发服务器。


5.根据权利要求3所述的数据传输方法，其特征在于，所述响应于分发服务器对目标数据的数据读取请求之前，所...

【专利技术属性】
技术研发人员：林涛，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11