数据的排序方法、装置及系统制造方法及图纸

本发明专利技术公开了一种数据的排序方法、装置及系统，涉及数据处理技术领域，主要目的在于解决现有技术中中心节点在接收并对该些观看次数较小的视频数据进行重新排名计算时，需要浪费大量的网络带宽资源，使得中心节点由于网络带宽资源的浪费，可能存在网络阻塞的情况发生的问题。本发明专利技术的主要技术方案包括：中心节点接收各个分布式节点发送的待处理数据，待处理数据至少包括第一部分待处理数据；根据属性维度对不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合；根据属性指标对聚合后的待处理数据中的第一部分待处理数据进行排名，并从排名结果中筛选出目标排名数的待处理数据。

【技术实现步骤摘要】
数据的排序方法、装置及系统
本专利技术涉及数据处理
，特别是涉及一种数据的排序方法、装置及系统。
技术介绍
在对业务数据按照某一个属性维度进行排名时，通常需要把所有的数据进行计算后，再对计算后的数据进行排名。在分布式系统中，包含多个分布式节点及一个中心节点，在对数据进行排名时，由各个分布式节点进行数据的排名计算，将确定的排名数据发送至中心节点，由中心节点对各个发送的排名数据再次进行排名计算，得到最终的排名结果。现有技术中，数据的排名统计可应用于对当前直播视频的频道排名、收视人数占比、当前点播视频的排名及收视率人数占比的实时系统中，在实施系统中，需结合分布式系统的应用场景。以对当前点播视频的排名为例进行说明，在实际应用中，观看视频的人数较多，点播的视频条目数也随之增多，但是，用户观看的视频也很分散，其中分散的视频中有大量观看次数较小的视频，该些观看次数较小的视频数据占总播放数据的比重较大。在分布式系统中心节点对所有的当前点播数据进行排名后，要统计出排名前几的点播数据时，很可能会将观看次数较小的视频数据进行丢弃，但是，该些观看次数较小的视频数据仍然会由各个分布式节点发送至中心节点。专利技术人在执行上述实施过程时发现，现有技术中，各个分布式节点将观看次数较小的视频数据发送至中心节点在时，会占用大量的网络带宽资源，中心节点在接收并对该些观看次数较小的视频数据进行重新排名计算时，仍然需要浪费大量的网络带宽资源，使得中心节点由于网络带宽资源的浪费，可能存在网络阻塞的情况发生，进而无法确保中心节点输出当前点播视频的排名的稳定性、实时性。
技术实现思路
有鉴于此，本专利技术提供的一种数据的排序方法、装置及系统，主要目的在于解决现有技术中中心节点在接收并对该些观看次数较小的视频数据进行重新排名计算时，需要浪费大量的网络带宽资源，使得中心节点由于网络带宽资源的浪费，可能存在网络阻塞的情况发生的问题。为了解决上述问题，本专利技术主要提供如下技术方案：第一方面，本专利技术提供了一种数据的排序方法，所述方法应用于分布式系统中，包括：中心节点接收各个分布式节点发送的待处理数据，所述待处理数据至少包括第一部分待处理数据；所述第一部分待处理数据为根据预设属性维度中的属性指标排序后的数据，且所述第一部分数据的数量为预设排序数量，所述预设排序数量等于所述分布式系统中的分布式节点的个数与目标排名数的乘积；根据所述属性维度对不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合；根据所述属性指标对聚合后的待处理数据中的第一部分待处理数据进行排名，并从排名结果中筛选出所述目标排名数的待处理数据。可选的，所述待处理数据还包括第二部分待处理数据；所述第二部分待处理数据为每个所述分布式节点所处理的全部数据中位于所述第一部分待处理数据后的数据，合并得到的数据，所述第二部分待处理数据的数量少于所述第一部分待处理数据的数量。可选的，所述属性维度为视频，所述属性指标为视频播放次数。可选的，根据所述属性维度对不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合具体包括：获取所述视频对应的视频标识，并根据所述视频标识计算各个分布式节点中第一部分待处理数据中各个视频对应的播放次数；根据所述属性指标对聚合后的待处理数据中的第一部分待处理数据进行排名具体包括：按照播放次数大小，对聚合后的各个视频对应的播放次数进行排名。可选的，在获取所述视频对应的视频标识，根据所述视频标识计算各个分布式节点中第一部分待处理数据中各个视频对应的播放次数之后，所述方法还包括：获取所述第二部分待处理数据中记录的合计播放次数，所述第二部分待处理数据中携带有各个视频的合计播放次数；将所述第一部分待处理数据中各个视频对应的播放次数与所述合计播放次数加和，得到视频播放总次数；根据所述第一部分待处理数据中各个视频的播放次数与所述播放总次数，分别计算不同视频对应的收视人数占比；根据所述收视人数占比对所述视频标识对应的视频进行排名；从排名结果中筛选出目标排名数的视频。第二方面，本专利技术还提供一种数据的排序方法，所述方法应用于分布式系统中，包括：分布式节点获取待处理数据，并对所述待处理数据按照属性维度中的属性指标进行排序，获得排序数据；将排序数据的数量与预设排序数量进行比对；其中，所述预设排序数量等于所述分布式系统中分布式节点个数与目标排名数的乘积；若所述排序数据的数量大于所述预设排序数量，则从所述排序数据中获取与所述预设排序数量相同的数据，作为第一部分待处理数据；将所述第一部分待处理数据发送至中心节点，以便所述中心节点根据各个分布式节点发送的第一部分待处理数据按照目标排名数进行排名。可选的，在从所述排序数据中获取与所述预设排序数量相同的数据之后，所述方法还包括：将所述排序数据中除所述第一部分待处理数据外的所有数据进行合并，作为第二部分待处理数据；其中，所述第二部分待处理数据的数量少于所述第一部分待处理数据的数量；将所述第一部分待处理数据发送至中心节点包括：将所述第一部分待处理数据及所述第二部分待处理数据发送至所述中心节点。可选的，所述方法还包括：若所述排序数据的数量小于所述预设排序数量，则将所述排序数据作为第二部分待处理数据；将所述第一部分待处理数据发送至中心节点包括：将所述第二部分待处理数据发送至所述中心节点。可选的，所述属性维度为视频，所述属性指标为视频播放次数。可选的，在将所述排序数据中除所述第一部分待处理数据外的所有数据进行合并之后，所述方法包括：计算所述第二部分待处理数据的各个视频的合计播放次数，并将所述合计播放次数标记于所述第二部分待处理数据中。第三方面，本专利技术还提供一种数据的排序装置，所述装置应用于分布式系统中，包括：接收单元，用于接收各个分布式节点发送的待处理数据，所述待处理数据至少包括第一部分待处理数据；所述第一部分待处理数据为根据预设属性维度中的属性指标排序后的数据，且所述第一部分数据的数量为预设排序数量，所述预设排序数量等于所述分布式系统中的分布式节点的个数与目标排名数的乘积；聚合单元，用于根据所述属性维度对所述接收单元接收到的不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合；第一排名单元，用于根据所述属性指标对所述聚合单元聚合后的待处理数据中的第一部分待处理数据进行排名；第一筛选单元，用于从所述排名单元的排名结果中筛选出所述目标排名数的待处理数据。可选的，所述待处理数据还包括第二部分待处理数据；所述第二部分待处理数据为每个所述分布式节点所处理的全部数据中位于所述第一部分待处理数据后的数据，合并得到的数据，所述第二部分待处理数据的数量少于所述第一部分待处理数据的数量。可选的，所述属性维度为视频，所述属性指标为视频播放次数。可选的，所述聚合单元，还用于获取所述视频对应的视频标识，并根据所述视频标识计算各个分布式节点中第一部分待处理数据中各个视频对应的播放次数；所述第一排名单元，还用于按照播放次数大小，对所述聚合单元聚合后的各个视频对应的播放次数进行排名。可选的，所述装置还包括：第一获取单元，用于在所述聚合单元获取所述视频对应的视频标识，根据所述视频标识计算各个分布式节点中第一部分待处理数据中各个视频对应的播放次数之后，获取所述第二部分待处理数据中记录的合计播放次数，所述本文档来自技高网...

【技术保护点】
一种数据的排序方法，其特征在于，所述方法应用于分布式系统中，包括：中心节点接收各个分布式节点发送的待处理数据，所述待处理数据至少包括第一部分待处理数据；所述第一部分待处理数据为根据预设属性维度中的属性指标排序后的数据，且所述第一部分数据的数量为预设排序数量，所述预设排序数量等于所述分布式系统中的分布式节点的个数与目标排名数的乘积；根据所述属性维度对不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合；根据所述属性指标对聚合后的待处理数据中的第一部分待处理数据进行排名，并从排名结果中筛选出所述目标排名数的待处理数据。

【技术特征摘要】
1.一种数据的排序方法，其特征在于，所述方法应用于分布式系统中，包括：中心节点接收各个分布式节点发送的待处理数据，所述待处理数据至少包括第一部分待处理数据；所述第一部分待处理数据为根据预设属性维度中的属性指标排序后的数据，且所述第一部分数据的数量为预设排序数量，所述预设排序数量等于所述分布式系统中的分布式节点的个数与目标排名数的乘积；根据所述属性维度对不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合；根据所述属性指标对聚合后的待处理数据中的第一部分待处理数据进行排名，并从排名结果中筛选出所述目标排名数的待处理数据。2.根据权利要求1所述的方法，其特征在于，所述待处理数据还包括第二部分待处理数据；所述第二部分待处理数据为每个所述分布式节点所处理的全部数据中位于所述第一部分待处理数据后的数据，合并得到的数据，所述第二部分待处理数据的数量少于所述第一部分待处理数据的数量。3.根据权利要求2所述的方法，其特征在于，所述属性维度为视频，所述属性指标为视频播放次数。4.根据权利要求3所述的方法，其特征在于，根据所述属性维度对不同分布式节点中的待处理数据中的第一部分待处理数据进行聚合具体包括：获取所述视频对应的视频标识，并根据所述视频标识计算各个分布式节点中第一部分待处理数据中各个视频对应的播放次数；根据所述属性指标对聚合后的待处理数据中的第一部分待处理数据进行排名具体包括：按照播放次数大小，对聚合后的各个视频对应的播放次数进行排名。5.根据权利要求4所述的方法，其特征在于，在获取所述视频对应的视频标识，根据所述视频标识计算各个分布式节点中第一部分待处理数据中各个视频对应的播放次数之后，所述方法还包括：获取所述第二部分待处理数据中记录的合计播放次数，所述第二部分待处理数据中携带有各个视频的合计播放次数；将所述第一部分待处理数据中各个视频对应的播放次数与所述合计播放次数加和，得到视频播放总次数；根据所述第一部分待处理数据中各个视频的播放次数与所述播放总次数，分别计算不同视频对应的收视人数占比；根据所述收视人数占比对所述视频标识对应的视频进行排名；从排名结果中筛选出目标排名数的视频。6.一种数据的排序方法，其特征在于，所述方法应用于分布式系统，包括：分布式节点获取待处理数据，并对所述待处理数据按照属性维度中的属性指标进行排序，获得排序数据；将排序数据的数量与预设排序数量进行比对；其中，所述预设排序数量等于所述分布式系统中分布式节点个数与目标排名数的乘积；若所述排序数据的数量大于所述预设排序数量，则从所述排序数据中获取与所述预设排序数量相同的数据，作为第一部分待处理数据；将所述第一部分待处理数据发送至中心节点，以便所述中心节点根据各个分布式节点发送的第一部分待处理数据按照目标排名数进行排名。7.根据权利要求6所述的方法，其特征在于，在从所述排序数据中获取与所述预设排序数量相同的数据之后，所述方法还包括：将所述排序数据中除所述第一部分待处理数据外的所有数据进行合并，作为第二部分待处理数据；其中，所述第二部分待处理数据的数量少于所述第一部分待处理数据的数量；将所述第一部分待处理数据发送至中心节点包括：将所述第一部分待处理数据及所述第二部分待处理数据发送至所述中心节点。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：若所述排序数据的数量小于所述预设排序数量，则将所述排序数据作为第二部分待处理数据；将所述第一部分待处理数据发送至中心节点包括：将所述第二部分待处理数据发送至所述中心节点。9.根据权利要求8所述的方法，其特征在于，所述属性维度为视频，所述属性指标为视频播放次数。10.根据权利要求9所述的方法，其特征在于，在将所述排序数据中除所述第一部分待处理数据外的所有数据进行合并之后，所述方法包括：计算所述第二部分待处理数据的各个视频的合计播放次数，并将所述合计播放次数标记于所述第二部分待处理数据中。11.一种数据的排序装置，其特征在于，所述装置应用于分布式系统中，包括：接收单元，用于接收各个分布式节点发送的待处理数据，所述待处理数据至少包括第一部分待处理数据；所述第一部分待处理数据为根据预设属性维度中的属性指标排序后的数据，且所述第一部分数据的数量为预设排序数量，所述预设排序数量等于所述分布式系统中的...

【专利技术属性】
技术研发人员：郭涛，
申请(专利权)人：北京国双科技有限公司，
类型：发明
国别省市：北京,11