本申请涉及一种数据在线分发方法、装置、设备、介质及产品，所述方法包括：当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；将所述各个服务器节点的数据分发量相对应的待分发数据，对应分发至所述各个服务器节点。本申请根据各个服务器节点的负载信息动态合理地切分需要处理的大型数据，充分利用各个服务器节点的空闲负载空间，避免大型数据引起服务器单点故障，使服务器集群内各个服务器节点负载均衡。点负载均衡。点负载均衡。
【技术实现步骤摘要】
数据在线分发方法、装置、设备、介质及产品
[0001]本申请涉及数据处理领域，尤其涉及一种数据在线分发方法、相应的装置、数据在线分发设备、计算机可读存储介质以及计算机程序产品。
技术介绍
[0002]在一些业务场景中，数据量庞大且对时效性的要求比较高，服务器需要在线处理庞大的数据量并保证一定的实时性，当服务器处理庞大的数据量时，常常会因服务器性能不足或网络阻塞等原因导致服务器单点故障，而服务器出现单点故障时可能导致用户无法正常地进行功能操作和影响信息交互的实时性，无论用户是通过何种渠道进入站点使用服务，这都会大大降低相应服务的用户体验。
[0003]目前，当服务器出现单点故障时，一般将数据依次加入延迟队列分批进行处理或对数据进行离线处理，这虽然可以减缓服务器的压力，但却损失了数据的时效性，无法保证业务的实时性，业务存在很高的延迟性。
[0004]综上，为了解决大型数据引起服务器单点故障而影响数据的实时性等问题，本申请人出于解决该问题的考虑做出相应的探索。
技术实现思路
[0005]本申请的目的在于解决上述问题而提供一种分布式数据的在线分发方法、相应的装置、数据在线分发设备、计算机可读存储介质以及计算机程序产品。
[0006]根据本申请的一个方面，提供一种数据在线分发方法，包括如下步骤：
[0007]当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；
[0008]获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；
[0009]根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；
[0010]将所述各个服务器节点的数据分发量相对应的待分发数据，对应分发至所述各个服务器节点。
[0011]根据本申请的另一方面，提供一种数据在线分发装置，包括：
[0012]数据接收模块，设置为当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；
[0013]负载信息获取模块，设置为获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；
[0014]数据切分模块，设置为根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；
[0015]数据分发模块，设置为将所述各个服务器节点的数据分发量相对应的待分发数
据，对应分发至所述各个服务器节点。
[0016]根据本申请的另一方面，提供一种数据在线分发设备，包括中央处理器和存储器，其特征在于，所述中央处理器用于调用运行存储于所述存储器中的计算机程序以执行本申请所述数据在线分发方法的步骤。
[0017]根据本申请的另一方面，提供一种计算机可读存储介质，其以计算机可读指令的形式存储有依据所述数据在线分发方法所实现的计算机程序，该计算机程序被计算机调用运行时，执行相应的方法所包括的步骤。
[0018]根据本申请的另一方面，提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现本申请所述数据在线分发方法的步骤。
[0019]相对于现有技术，本申请避免大型数据引起服务器单点故障而影响数据的实时性等问题，实时获取服务器集群内各个服务器节点的负载信息，当大型数据需要被处理时，根据各个服务器节点的负载信息动态合理地切分需要处理的大型数据，将适应各个服务器节点的负载信息相应的数据分发至各个服务器节点，当服务器集群内的服务器节点越多，服务器单点处理的数据量就越小，避免大型数据引起服务器单点故障，根据服务器集群内各个服务器节点合理分配相应的数据量，无需增加服务器成本，在避免大型数据引起服务器单点故障和无需增加服务器成本的基础上，保证了业务的实时性和低延迟性，根据各个服务器节点实时的负载信息动态分发大型数据至各个服务器节点，充分利用各个服务器节点的空闲负载空间，提高各个服务器节点的负载资源利用率，使服务器集群内各个服务器节点负载均衡，保证服务器集群的健康度。
附图说明
[0020]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0021]图1为本申请网络直播场景中网络直播服务所采用的示例性的网络架构；
[0022]图2为本申请实施例中数据在线分发方法的流程示意图；
[0023]图3为本申请实施例中获取服务器集群内服务器节点的负载信息的流程示意图；
[0024]图4为本申请实施例中根据CPU使用率和网络指标确定各个服务器节点的权重的流程示意图；
[0025]图5为本申请实施例中根据各个服务器节点的负载信息切分待分发数据得到各个服务器节点的数据分发量的流程示意图；
[0026]图6为本申请实施例中将数据处理请求相对应的待处理数据作为待分发数据的流程示意图；
[0027]图7为本申请实施例获取二度人脉用户的流程示意图；
[0028]图8为本申请实施例中数据在线分发装置的原理框图；
[0029]图9为本申请实施例中的一种数据在线分发设备的结构示意图。
具体实施方式
[0030]请参阅图1，本申请相关技术方案实施时所需的硬件基础可以按图中所示的架构进行部署。本申请所称服务器80部署在云端，作为一个在线服务器，其可以负责进一步连接
起相关数据服务器以及其他提供相关支持的服务器等，以此构成逻辑上相关联的服务器集群，来为相关的终端设备例如图中所示的智能手机81和个人计算机82或者第三方服务器提供服务。所述的智能手机和个人计算机均可通过公知的网络接入方式接入互联网，与云端的服务器80建立数据通信链路，以便运行所述服务器所提供的服务相关的终端应用程序，例如，智能手机81和个人计算机82一般运行应用程序以显示目标直播间的预览窗口或直播间界面的终端设备，而服务器80可向所述终端设备提供目标直播间的业务数据流，包括视频数据流和其他业务数据流等。
[0031]本申请所称的“服务器”，同理也可扩展到适用于服务集群的情况。依据本领域技术人员所理解的网络部署原理，所述各服务器应是逻辑上的划分，在物理空间上，这些服务器既可以是互相独立但可通过接口调用的，也可以是集成到一台物理计算机或一套计算机机群的。本领域技术人员应当理解这一变通，而不应以此约束本申请的网络部署方式的实施方式。
[0032]在参考以上示例性场景的基础上，请参阅图2，本申请的数据在线分发方法在其一个实施例中，包括如下步骤：
[0033]步骤S1100、当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；
[0034]需要通过本申请的技术方案进行数据分发的请求数据，可以视为本申请的所述待分发数据。所述待分发数据的类型及来源，根据实际应用场景而定，例如：在网络直播处理的场景中，所述待分发数据可以是大量用户进入一个或多个直播本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据在线分发方法，其特征在于，包括如下步骤：当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据；获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息；根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量；将所述各个服务器节点的数据分发量相对应的待分发数据，对应分发至所述各个服务器节点。2.根据权利要求1所述的一种数据在线分发方法，其特征在于，获取所述当前服务器节点以及与所述当前服务器节点处于同一服务器集群的各个服务器节点的负载信息的步骤，包括如下步骤：响应定时触发事件获取所述各个服务器节点的负载信息，所述负载信息包括CPU使用率和至少一个网络指标；根据所述CPU使用率和所述网络指标确定所述各个服务器节点的权重。3.根据权利要求2所述的一种数据在线分发方法，其特征在于，根据所述CPU使用率和所述网络指标确定所述各个服务器节点的权重的步骤，包括如下步骤：判断所述各个服务器节点的CPU使用率是否对应预设的最大数值区间，当对应最大数值区间时，将所述各个服务器节点的权重置为0；当所述各个服务器节点的权重为0时，保持在预设时长范围内不再获取其负载信息；当所述各个服务器节点的CPU使用率小于所述最大数值区间时，应用预设函数将所述各个服务器节点的CPU使用率和网络指标归一化为权重。4.根据权利要求2所述的一种数据在线分发方法，其特征在于，根据所述各个服务器节点的负载信息切分所述待分发数据，得到所述各个服务器节点的数据分发量的步骤，包括如下步骤：求取所述各个服务器节点的权重占所述各个服务器节点的总权重的权重占比；根据所述各个服务器节点的权重占比切分出所述各个服务器节点相对应的数据分发量。5.根据权利要求1所述的一种数据在线分发方法，其特征在于，当前服务器节点接收数据处理请求，将所述数据处理请求相对应的待处理数据作为待分发数据的步骤，包括如下步骤：接收所...
【专利技术属性】
技术研发人员：刘钰龙，陈培虎，胡啸飞，
申请(专利权)人：百果园技术新加坡有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。