【技术实现步骤摘要】
数据资源调度方法、装置、电子设备及存储介质
[0001]本公开涉及数据处理领域，具体进一步涉及智能搜索、信息流领域。
技术介绍
[0002]互联网存在海量的数据，同时每天在不断生产新的数据，搜索引擎需要覆盖全网所有数据，但实际资源有限，需要高优先级覆盖优质和高价值的内容，相关技术中，在解决覆盖的资源使用的配额问题时，一般采用各自环节对配额权益进行独立计算的方法，此方法会出现配额权益设置不合理，浪费资源等问题。
技术实现思路
[0003]本公开提供了一种数据资源调度方法、装置、电子设备及存储介质，根据过筛率可以对节点的数据资源进行配额动态调整，可以提高优质资源覆盖，降低垃圾资源浪费。
[0004]根据本公开的一方面，提供了一种数据资源调度方法。
[0005]根据本公开的另一方面，提供了一种数据资源调度装置。
[0006]根据本公开的另一方面，提供了一种电子设备。
[0007]根据本公开的另一方面，提供了一种计算机可读存储介质。
[0008]根据本公开的另一方面，提供了一种
【技术保护点】
【技术特征摘要】
1.一种数据资源调度方法，包括：获取数据传输链路上需要对数据过筛的至少一个第一参与节点在各个粒度下的数据过筛率；根据每个所述第一参与节点在各个粒度下的数据过筛率，调度传输至所述第一参与节点的数据资源。2.根据权利要求1所述的方法，其中，所述根据每个所述第一参与节点在各个粒度下的数据过筛率，调度传输至所述第一参与节点的数据资源，包括：根据每个所述第一参与节点在各个粒度下的数据过筛率，对每个所述第一参与节点的数据资源配额进行调整，以确定所述第一参与节点的目标数据资源配额；根据所述目标数据资源配额，调度传输至所述第一参与节点的数据资源。3.根据权利要求1或2任一项所述的方法，其中，所述根据每个所述第一参与节点在各个粒度下的数据过筛率，对每个所述第一参与节点的数据资源配额进行调整，包括：针对每个所述第一参与节点，对所述第一参与节点在各个粒度下的所述数据过筛率进行加权，确定所述第一参与节点的过筛得分；根据所有的所述第一参与节点的所述过筛得分，确定一个临界过筛得分；将每个所述第一参与节点的所述过筛得分和所述临界过筛得分进行比较；响应于所述过筛得分大于所述临界过筛得分，升高所述第一参与节点的数据资源配额；或者，响应于所述过筛得分小于或者等于所述临界过筛得分，降低所述第一参与节点的数据资源配额。4.根据权利要求3所述的方法，其中，所述根据所有的所述第一参与节点的所述过筛得分，确定一个临界过筛得分，包括：对所有的所述第一参与节点的所述过筛得分进行排序，根据所述排序结果，确定中间顺序对应的所述过筛得分；将所述中间顺序对应的所述过筛得分，确定为所述临界过筛得分。5.根据权利要求3所述的方法，其中，所述方法还包括：响应于所述过筛得分大于所述临界过筛得分，且所述第一参与节点的已有数据资源配额小于第一设定值，则升高所述第一参与节点的数据资源配额；或者，响应于所述过筛得分小于或者等于所述临界过筛得分，且所述第一参与节点的已有数据资源配额大于或者等于第二设定值，降低所述第一参与节点的数据资源配额。6.根据权利要求3所述的方法，其中，所述获取数据传输链路上需要对数据过筛的至少一个第一参与节点在各个粒度下的数据过筛率，包括：获取所述数据传输链路上每个第一参与节点在各个粒度下的数据量；针对每个所述第一参与节点，获取处于所述第一参与节点下游的相邻参与节点，并根据所述相邻参与节点在任一粒度下的数据量与所述第一参与节点在所述任一粒度下的数据量，确定所述任一粒度下的所述数据过筛率。7.根据权利要求6所述的方法，其中，所述对所述第一参与节点在各个粒度下的所述数据过筛率进行加权，确定所述第一参与节点的过筛得分之前，还包括：从每个所述参与节点在所述任一粒度下的所述数据过筛率中，确定所述任一粒度的最
大数据过筛率和最小数据过筛率；根据每个所述参与节点在所述任一粒度下的所述数据过筛率，确定所述任一粒度的平均数据过筛率；根据所述最大数据过筛率、所述最小数据过筛率和所述平均数据过筛率，对每个所述参与节点在所述任一粒度下的所述数据过筛率进行归一化处理。8.一种数据资源调度装置，包括：数据过筛率获取模块，用于获取数据传输链路上需要对数据过筛的至少一个第一参与节点在各个粒度下的数据过筛率；数据资源获取模...
【专利技术属性】
技术研发人员：刘伟，王鹏，张博，林赛群，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。