【技术实现步骤摘要】
一种数据推送控制方法及装置
本专利技术属于在线搜索服务的索引数据推送
，尤其涉及一种数据推送控制方法及装置。
技术介绍
随着互联网技术的不断发展以及网络多媒体资源(如视频)的爆炸式增长，一些在线搜索服务的索引数据也随之增长。索引数据的不断增长，导致其精准的推送工作变得愈加困难，且在索引数据的推送处理过程中，由于带宽、服务器IO(Input/Output，输入/输出)、CPU(CentralProcessingUnit，中央处理器)等资源的消耗对在线服务产生的不良影响也在不断加大，鉴于此，本领域需提供一种较优的索引数据推送控制方案，以较好地解决海量索引数据的推送问题。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据推送控制方法及装置，旨在较好地解决海量索引数据的推送问题。为此，本专利技术公开如下技术方案：一种数据推送控制方法，包括：判断待推送数据是否符合预定条件，得到判断结果；若所述判断结果表示符合，则获取所述待推送数据的数据源端信息及接收端信息，并生成推送配置文件；其中，所述接收端信息对应的接收端包括多个集群，每个集群包括多个节点，所生成的推送配置文件...
【技术保护点】
1.一种数据推送控制方法，其特征在于，包括：判断待推送数据是否符合预定条件，得到判断结果；若所述判断结果表示符合，则获取所述待推送数据的数据源端信息及接收端信息，并生成推送配置文件；其中，所述接收端信息对应的接收端包括多个集群，每个集群包括多个节点，所生成的推送配置文件至少包括所述数据源端信息及所述接收端信息；根据所述推送配置文件中的数据源端信息获得待推送数据，并根据所述推送配置文件中的接收端信息，控制将获得的所述待推送数据推送至所述接收端信息所对应的各个集群。
【技术特征摘要】
1.一种数据推送控制方法，其特征在于，包括：判断待推送数据是否符合预定条件，得到判断结果；若所述判断结果表示符合，则获取所述待推送数据的数据源端信息及接收端信息，并生成推送配置文件；其中，所述接收端信息对应的接收端包括多个集群，每个集群包括多个节点，所生成的推送配置文件至少包括所述数据源端信息及所述接收端信息；根据所述推送配置文件中的数据源端信息获得待推送数据，并根据所述推送配置文件中的接收端信息，控制将获得的所述待推送数据推送至所述接收端信息所对应的各个集群。2.根据权利要求1所述的方法，其特征在于，所述预定条件包括：所述待推送数据属于已生产完成未启动推送的数据且属于无需被丢弃的数据；则所述判断待推送数据是否符合预定条件，得到判断结果，包括：判断待推送数据是否属于已生产完成未启动推送的数据且属于无需被丢弃的数据，得到判断结果。3.根据权利要求1所述的方法，其特征在于，所述获得待推送数据的数据源端信息及接收端信息，并基于所述数据源端信息及接收端信息生成推送配置文件，包括：获得待推送数据所在的数据源端设备的网络互连协议IP地址及存储路径；确定待推送数据所需要推送的各个集群，并获得所需要推送的集群中需推送的各节点的IP地址及推送路径；根据所述数据源端设备的IP地址、存储路径，以及各个所需推送的集群中需推送的各节点的IP地址及推送路径，生成推送配置文件。4.根据权利要求3所述的方法，其特征在于，所述根据所述推送配置文件中的接收端信息，控制将所述待推送数据推送至各个所需集群，包括：根据所述推送配置文件中配置的各个所需推送的集群中需推送的各节点的IP地址及推送路径，控制将所述待推送数据以块为单位推送至所述各个所需推送的集群的相应节点的相应推送路径下；其中，每个集群中的不同节点接收所述待推送数据中的不同数据部分，且每个集群中各个节点所接收的各个不同数据部分构成所述待推送数据。5.根据权利要求4所述的方法，其特征在于，所述推送路径包括临时推送路径及正式推送路径，则所述控制将所述待推送数据以块为单位推送至所述各个所需集群的相应节点的相应推送路径下，包括：控制将所述待推送数据以块为单位推送至各个所需集群的相应节点的相应临时路径下；其中，在推送时基于预定方式限制推送过程中所使用的带宽及中央处理器CPU资源量；每个集群利用预定的验证方式，验证相应临时路径下接收的待推送数据与数据源端的相应待推送数据是否一致，得到验证结果；若验证结果表示一致，则将每个集群在相应临时路径下的待推送数据转移至集群的正式推送...
【专利技术属性】
技术研发人员：王洪朋，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。