本公开关于一种待处理数据的获取方法、装置、服务器和存储介质，涉及数据处理技术领域，其中，方法包括：接收获取请求，获取请求包括待处理列表的类别；统计待处理列表的当前总待标记量和各分表之中属于类别的待处理数据的当前待标记量；其中，分表为存储各待处理列表之中待处理数据的数据库表；根据待处理列表的当前总待标记量和各分表之中属于类别的待处理数据的当前待标记量，确定各分表之中属于类别的待处理数据的读取数量；根据各分表之中属于类别的待处理数据的读取数量，从各分表中读取相应读取数量的待处理数据。由此，本公开可以从各数据库分表中读取相应数量的待处理数据，解决相关技术中从数据库分表中获取待处理数据不均匀的问题。据不均匀的问题。据不均匀的问题。
【技术实现步骤摘要】
待处理数据的获取方法、装置、服务器和存储介质
[0001]本公开涉及数据处理
，尤其涉及一种待处理数据的获取方法、装置、服务器和存储介质。
技术介绍
[0002]通常，为了保证视频内容的安全性，在用户发布视频之前需要对用户上传的每条视频进行处理，例如审核处理，然而，随着短视频业务的不断发展，用户上传的视频量也不断增多。
[0003]相关技术中，通过单数据表方式存储视频数据，然而，随着视频量增大，会导致查询效率降低。为了支撑大数据量和高并发的需求，通过数据库分表方式存储视频数据。由于数据库中待处理视频数据往往会分派给多个处理员进行处理，其中每个处理员对应不同的待处理列表，每个待处理列表中具有一定数量的待处理视频数据，然而，当待处理列表众多时，可能存在一直从同一数据库分表中获取待处理数据的情况，从而造成从数据库分表中获取数据不均匀的问题。
技术实现思路
[0004]本公开提供一种待处理数据的获取方法、装置、服务器和存储介质，以至少解决相关技术中从数据库分表中获取待处理数据不均匀的问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供一种待处理数据的获取方法，包括：
[0006]接收获取请求，所述获取请求包括待处理列表的类别；
[0007]统计所述待处理列表的当前总待标记量和各分表之中属于所述类别的待处理数据的当前待标记量；其中，所述分表为存储各待处理列表之中待处理数据的数据库表；
[0008]根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量；
[0009]根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据。
[0010]在本公开一些实施例中，所述根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量，包括：
[0011]根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重；
[0012]根据所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重，确定所述各分表之中属于所述类别的待处理数据的读取数量。
[0013]在本公开一些实施例中，所述方法还包括：
[0014]根据所述各待处理列表的类别和所述各分表的标识，定时从所述各分表中读取每
种类别的待处理数据；
[0015]将从所述各分表中读取到的每种类别的待处理数据，加载至相应类别的待处理列表的缓存单元中。
[0016]在一种可能的实现方式中，所述根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据，包括：
[0017]根据所述各分表之中属于所述类别的待处理数据的读取数量，从与所述类别对应的待处理列表的目标缓存单元中，读取所述各分表相应读取数量的待处理数据。
[0018]在一种可能的实现方式中，所述根据所述各分表之中属于所述类别的待处理数据的读取数量，从与所述类别对应的待处理列表的目标缓存单元中，读取所述各分表相应读取数量的待处理数据，包括：
[0019]确定所述目标缓存单元之中已处理数据和被锁定数据；
[0020]将所述目标缓存单元之中所述已处理数据和被锁定数据进行过滤；
[0021]根据所述各分表之中属于所述类别的待处理数据的读取数量，从过滤掉所述已处理数据和被锁定数据的目标缓存单元之中读取所述各分表相应读取数量的待处理数据。
[0022]根据本公开实施例的第二方面，提供一种待处理数据的获取装置，包括：
[0023]接收模块，用于接收获取请求，所述获取请求包括待处理列表的类别；
[0024]统计模块，用于统计所述待处理列表的当前总待标记量和各分表之中属于所述类别的待处理数据的当前待标记量；其中，所述分表为存储各待处理列表之中待处理数据的数据库表；
[0025]确定模块，用于根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量；
[0026]读取模块，用于根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据。
[0027]在本公开一些实施例中，所述确定模块具体用于：
[0028]根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重；
[0029]根据所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重，确定所述各分表之中属于所述类别的待处理数据的读取数量。
[0030]在本公开一些实施例中，所述装置还包括：
[0031]缓存模块，用于根据所述各待处理列表的类别和所述各分表的标识，定时从所述各分表中读取每种类别的待处理数据，并将从所述各分表中读取到的每种类别的待处理数据，加载至相应类别的待处理列表的缓存单元中。
[0032]在一种可能的实现方式中，所述读取模块具体用于：
[0033]根据所述各分表之中属于所述类别的待处理数据的读取数量，从与所述类别对应的待处理列表的目标缓存单元中，读取所述各分表相应读取数量的待处理数据。
[0034]在一种可能的实现方式中，所述读取模块具体用于：
[0035]确定所述目标缓存单元之中已处理数据和被锁定数据；
[0036]将所述目标缓存单元之中所述已处理数据和被锁定数据进行过滤；
[0037]根据所述各分表之中属于所述类别的待处理数据的读取数量，从过滤掉所述已处理数据和被锁定数据的目标缓存单元之中读取所述各分表相应读取数量的待处理数据。
[0038]根据本公开实施例的第三方面，提供一种服务器，包括：
[0039]处理器；
[0040]用于存储所述处理器可执行指令的存储器；
[0041]其中，所述处理器被配置为所述指令，以实现第一方面实施例所述的待处理数据的获取方法。
[0042]根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由服务器的处理器执行时，使得服务器能够执行第一方面实施例所述的待处理数据的获取方法。
[0043]根据本公开实施例的第五方面，提供一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面实施例所述的方法的步骤。
[0044]本公开的实施例提供的技术方案至少带来以下有益效果：
[0045]接收获取请求，获取请求包括待处理列表的类别；统计待处理列表的当前总待标记量和各分表之中属于类别的待处理数据的当前待标记量；本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种待处理数据的获取方法，其特征在于，包括：接收获取请求，所述获取请求包括待处理列表的类别；统计所述待处理列表的当前总待标记量和各分表之中属于所述类别的待处理数据的当前待标记量；其中，所述分表为存储各待处理列表之中待处理数据的数据库表；根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量；根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据。2.根据权利要求1所述的方法，其特征在于，所述根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据的读取数量，包括：根据所述待处理列表的当前总待标记量和所述各分表之中属于所述类别的待处理数据的当前待标记量，确定所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重；根据所述各分表之中属于所述类别的待处理数据占所述当前总待标记量的比重，确定所述各分表之中属于所述类别的待处理数据的读取数量。3.根据权利要求1所述的方法，其特征在于，还包括：根据所述各待处理列表的类别和所述各分表的标识，定时从所述各分表中读取每种类别的待处理数据；将从所述各分表中读取到的每种类别的待处理数据，加载至相应类别的待处理列表的缓存单元中。4.根据权利要求3所述的方法，其特征在于，所述根据所述各分表之中属于所述类别的待处理数据的读取数量，从所述各分表中读取相应读取数量的待处理数据，包括：根据所述各分表之中属于所述类别的待处理数据的读取数量，从与所述类别对应的待处理列表的目标缓存单元中，读取所述各分表相应读取数量的待处理数据。5.根据权利要求4所述的方法，其特征在于，所述根据所述各分表之中属于所述类别的待处理数据的读取数量，从与所述类别对应的待处理列表的目标缓存单元中，读取所述各分表相...
【专利技术属性】
技术研发人员：郭鹏，贾碧莹，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。