广告物料的处理方法和装置制造方法及图纸

本公开提供了一种广告物料的处理方法和装置，涉及数据处理和计算机技术，具体涉及大数据和智能搜索。实现方案为：获取广告物料的下载请求，下载请求中包括广告物料的层级信息，根据层级信息，将下载请求拆分为多个分片任务，分片任务为下载请求对应的请求业务的最小任务单元，根据多个分片任务和获取到的线程数量，为各线程分配分片任务，得到各线程各自对应的线程任务，并控制各线程并行执行各自对应的线程任务，每一线程任务中包括至少一个分片任务，避免了用于执行下载请求的整体任务的操作单元的负载热点的弊端，提高了执行下载请求的有效性和可靠性，且提高了下载效率，减少了用户的等待时间，实现了负载均衡，提高了用户的下载体验。户的下载体验。户的下载体验。

【技术实现步骤摘要】
广告物料的处理方法和装置


[0001]本公开涉及数据处理和计算机技术，具体涉及大数据和智能搜索，尤其涉及一种广告物料的处理方法和装置。

技术介绍

[0002]随着互联网技术地发展，广告已从传统的方式发展为互联网广告，互联网广告可以理解为通过网络广告平台在网络上投放广告，广告物料可以理解为广告在互联网中展现的内容。
[0003]在一些实施例中，可以通过串行的方式下载广告物料。
[0004]然而，由于广告在互联网中的发展较为迅速，广告物料的数量较为庞大，采用上述方式存在下载效率低的弊端。

技术实现思路

[0005]本公开提供了一种用于提高下载广告物料的效率的广告物料的处理方法和装置。
[0006]根据本公开的第一方面，提供了一种广告物料的处理方法，获取广告物料的下载请求，其中，所述下载请求中包括所述广告物料的层级信息；
[0007]根据所述层级信息，将所述下载请求拆分为多个分片任务，其中，分片任务为所述下载请求对应的请求业务的最小任务单元；
[0008]根据所述多个分片任务和获取到的线程数量，为各线程分配分片任务，得到各线程各自对应的线程任务，并控制各线程并行执行各自对应的线程任务，其中，每一线程任务中包括至少一个分片任务。
[0009]根据本公开的第二方面，提供了一种广告物料的处理装置，包括：
[0010]第一获取单元，用于获取广告物料的下载请求，其中，所述下载请求中包括所述广告物料的层级信息；
[0011]拆分单元，用于根据所述层级信息，将所述下载请求拆分为多个分片任务，其中，分片任务为所述下载请求对应的请求业务的最小任务单元；
[0012]分配单元，用于根据所述多个分片任务和获取到的线程数量，为各线程分配分片任务，得到各线程各自对应的线程任务；
[0013]控制单元，用于控制各线程并行执行各自对应的线程任务，其中，每一线程任务中包括至少一个分片任务。
[0014]根据本公开的第三方面，提供了一种电子设备，包括：
[0015]至少一个处理器；以及
[0016]与所述至少一个处理器通信连接的存储器；其中，
[0017]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法。
[0018]根据本公开的第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储
介质，其中，所述计算机指令用于使所述计算机执行根据第一方面所述的方法。
[0019]根据本公开的第五方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法。
[0020]本公开提供的广告物料的处理方法和装置，包括：获取广告物料的下载请求，其中，下载请求中包括广告物料的层级信息，根据层级信息，将下载请求拆分为多个分片任务，其中，分片任务为下载请求对应的请求业务的最小任务单元，根据多个分片任务和获取到的线程数量，为各线程分配分片任务，得到各线程各自对应的线程任务，并控制各线程并行执行各自对应的线程任务，其中，每一线程任务中包括至少一个分片任务，通过基于层级信息将下载请求拆分为最小任务单元的多个分片任务，并结合线程数量为各线程分配分片任务，以得到并控制各线程并行执行各自对应的线程任务的技术特征，避免了用于执行下载请求的整体任务的操作单元的负载热点的弊端，提高了执行下载请求的有效性和可靠性，且提高了执行下载请求的效率，减少了用户的等待时间，实现了负载均衡，提高了用户的下载体验。
[0021]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0022]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0023]图1是根据本公开第一实施例的示意图；
[0024]图2是根据本公开第二实施例的示意图；
[0025]图3是根据本公开广告物料的处理方法的原理示意图一；
[0026]图4是根据本公开第三实施例的示意图；
[0027]图5是根据本公开广告物料的处理方法的原理示意图二；
[0028]图6是根据本公开第四实施例的示意图；
[0029]图7是根据本公开第五实施例的示意图；
[0030]图8是根据本公开第六实施例的示意图；
[0031]图9是根据本公开第七实施例的示意图；
[0032]图10是用来实现本公开实施例的广告物料的处理方法的电子设备的框图。
具体实施方式
[0033]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0034]为便于读者理解本公开，现对本公开的至少部分术语解释如下：
[0035]广告物料，是指广告在互联网中展现的内容。广告物料的形式包括文字、图片、以及动画等。广告物料用于描述产品的信息。
[0036]分页(Paging)，是一种操作系统里存储器管理的一种技术，可以使电脑的主存可以使用存储在辅助存储器中的数据。
[0037]线程(thread)，是指操作系统能够进行运算调度的最小单位。它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的控制流，一个进程中可以并发多个线程，每条线程并行执行不同的任务。
[0038]在互联网广告领域，操作系统可以接收用户基于客户端发起的广告物料的下载请求，并将下载请求分发给相应的操作单元，以由该操作单元通过串行的方式执行下载请求。
[0039]其中，操作单元可以为物理机器，如计算机，也可以为物理机器中的部分组件，如计算机中从处理器或者芯片。
[0040]基于任务的内容的多少可以将任务分为大任务和小任务，大任务是指内容相对较多的任务，小任务是指内容相对较少的任务。
[0041]相对而言，广告物料数量可能会较大，如广告物料数量可能达到千万级别，因此，广告物料的下载请求很可能为操作单元需要执行的大任务，针对如此庞大数量的广告物料的下载请求，若采用串行的方式完成，一方面，很容易造成操作单元的负载热点，尤其当多个下载请求被分配至同一操作单元时，造成负载热点，可能导致该操作单元上的全部下载请求均执行失败；另一方面，串行下载需逐一下载，消耗的时间更多，效率较低。
[0042]为了避免上述技术问题中的至少一种，本公开提供了经过创造性劳动后的技术构思：在接收到广告物料的下载请求之后，根据下载请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种广告物料的处理方法，包括：获取广告物料的下载请求，其中，所述下载请求中包括所述广告物料的层级信息；根据所述层级信息，将所述下载请求拆分为多个分片任务，其中，分片任务为所述下载请求对应的请求业务的最小任务单元；根据所述多个分片任务和获取到的线程数量，为各线程分配分片任务，得到各线程各自对应的线程任务，并控制各线程并行执行各自对应的线程任务，其中，每一线程任务中包括至少一个分片任务。2.根据权利要求1所述的方法，其中，根据所述层级信息，将所述下载请求拆分为多个分片任务，包括：根据所述层级信息中的层级，生成所述层级对应的目标层级任务，所述层级具有对应的目标计划标识列表；根据所述目标计划标识列表生成所述目标层级任务的多个目标分组任务；对每一目标分组任务进行分页处理，得到各目标分组任务各自对应的分片任务。3.根据权利要求2所述的方法，其中，所述目标计划标识列表中包括多个目标计划标识；根据所述计划标识列表生成所述目标层级任务的多个目标分组任务，包括：获取各目标计划标识各自对应的广告物料数量；根据预设的广告物料参照数量、各目标计划标识各自对应的广告物料数量，对各目标计划标识进行合并，得到所述多个目标分组任务；其中，所述广告物料参照数量是基于获取历史广告物料数量的时长确定的。4.根据权利要求3所述的方法，其中，根据预设的广告物料参照数量、各目标计划标识各自对应的广告物料数量，对各目标计划标识进行合并，得到所述多个目标分组任务，包括：将所述目标计划标识列表中的每一目标计划标识确定为一个初始任务；将满足预设条件的多个初始任务合并得到一个目标分组任务，其中，预设条件为：多个初始任务的广告物料数量的总和、与所述广告物料参照数量之间的数量差异值小于预设第一阈值。5.根据权利要求2
‑
4中任一项所述的方法，其中，对每一目标分组任务进行分页处理，得到各目标分组任务各自对应的分片任务，包括：针对每一目标分组任务，获取该目标分组任务对应的广告物料数量；根据该目标分组任务对应的广告物料数量、所述线程数量、获取到的预设最大广告物料数量，计算得到该目标分组任务的每一分片任务对应的广告物料数量；根据该目标分组任务对应的广告物料数量、计算得到的该目标分组任务的每一分片任务对应的广告物料数量，生成该目标分组任务对应的分片任务。6.根据权利要求2
‑
5中任一项所述的方法，在根据所述层级信息中的层级，生成所述层级对应的目标层级任务之后，所述方法还包括：获取预存层级任务，其中，所述预存层级任务是基于在前的广告物料的下载请求确定的，所述预存层级任务中包括至少一个初始层级任务；以及根据所述目标计划标识列表生成所述目标层级任务的多个目标分组任务，包括：若所述预存层级任务中，没有与所述目标层级任务相同或相似的初始层级任务，则根据所
述目标计划标识列表生成所述多个目标分组任务。7.根据权利要求6所述的方法，所述方法还包括：若所述预存层级任务中，包括与所述目标层级任务相同或相似的第一初始层级任务，则根据所述第一初始层级任务生成所述多个目标分组任务。8.根据权利要求7所述的方法，其中，所述目标计划标识列表中包括多个目标计划标识；若所述预存层级任务中，包括与所述目标层级任务相似的第一初始层级任务，则根据所述第一初始层级任务生成所述多个目标分组任务，包括：建立所述第一初始层级任务的各初始分组任务各自对应的初始空集合，其中，每一初始分组任务对应的初始空集合用于指示该初始分组任务包括的初始计划标识；针对每一目标计划标识，若该目标计划标识与所述第一初始层级任务的初始计划标识列表中的第一初始计划标识相同，则将该目标计划标识添加至与所述第一初始计划标识所属的初始分组任务的初始空集合中，若该目标计划标识与各初始计划标识均不相同，则将该目标计划标识添加至新增集合中，得到各目标集合，其中，所述各目标集合包括增加了目标计划标识的初始空集合、新增集合；根据所述各目标集合确定所述多个目标分组任务。9.根据权利要求8所述的方法，其中，根据所述各目标集合确定所述多个目标分组任务，包括：针对每一目标集合，获取该目标集合对应的广告物料数量；若该目标集合对应的广告物料数量等于预设的广告物料参照数量，则将该目标集合中的目标计划标识确定为一个目标分组任务；若该目标集合对应的广告物料数量大于所述广告物料参照数量，则将该目标集合中的目标计划标识拆分为多个目标分组任务；若该目标集合对应的广告物料数量小于所述广告物料参照数量，则将该目标集合中的目标计划标识与其他目标计划标识组合得到一个目标分组任务，或者，将该目标集合中的目标计划标识确定为一个目标分组任务；其中，所述广告物料参照数量是基于获取历史广告物料数量的时长确定的。10.根据权利要求9所述的方法，其中，将该目标集合中的目标计划标识拆分为多个目标分组任务，包括：根据目标集合中各目标计划标识各自对应的广告物料数量、以及所述广告物料参照数量，将该目标集合中的目标计划标识拆分为多个目标分组任务。11.根据权利要求7所述的方法，其中，若所述第一初始层级任务与所述目标层级任务相同，则根据所述第一初始层级生成所述多个目标分组任务，包括：将所述第一初始层级任务对应的多个初始分组任务，确定为所述多个目标分组任务。12.根据权利要求7
‑
11中任一项所述的方法，所述目标计划标识列表中包括多个目标计划标识；所述方法还包括：将所述目标计划标识列表、与每一初始层级任务对应的初始计划标识列表分别进行比对；若所述目标计划标识列表、与第二初始层级任务对应的初始计划标识列表相同，则确定所述目标层级任务与所述第二初始层级任务相同；
若所述预存层级任务中，没有与所述目标层级任务相同的初始层级任务，则从所述预存层级任务中，获取包括所述多个目标计划标识最多的第三初始层级任务，并确定所述第三初始层级任务是否为与所述目标层级任务相似的初始层级任务。13.根据权利要求12所述的方法，其中，确定所述第三初始层级任务是否为与所述目标层级任务相似的初始层级任务，包括：确定所述第三初始层级任务中的初始计划标识的第一数量；计算所述第三初始层级任务中的初始计划标识、与所述目标计划标识之间的差异数量；计算所述差异数量与所述第一数量之间的商值，若所述商值小于等于预设第二阈值，则将所述第三初始层级任务确定为与所述目标层级任务相似的初始层级任务。14.根据权利要求2
‑
13中任一项所述的方法，还包括：若下载失败，则获取下载失败对应的第一目标分组任务、以及所述第一目标分组任务对应的广告物料数量；根据预设的广告物料参照数量、所述第一目标分组任务对应的广告物料数量，对下载失败的广告物料重新下载，其中，所述广告物料参照数量是基于获取历史广告物料数量的时长确定的。15.根据权利要求14所述的方法，其中，根据预设的广告物料参照数量、所述第一目标分组任务对应的广告物料数量，对下载失败的广告物料重新下载，包括：若所述第一目标分组任务对应的广告物料数量小于等于所述广告物料参照数量，则重新执行所述第一目标分组任务对应的线程任务；若所述第一目标分组任务对应的广告物料数量大于所述广告物料参照数量，则重新对所述第一目标分组任务进行分页处理，得到所述第一目标分组任务的多个新分片任务，并根据所述多个新分片任务对下载失败的广告物料重新下载。16.一种广告物料的处理装置，包括：第一获取单元，用于获取广告物料的下载请求，其中，所述下载请求中包括所述广告物料的层级信息；拆分单元，用于根据所述层级信息，将所述下载请求拆分为多个分片任务，其中，分片任务为所述下载请求对应的请求业务的最小任务单元；分配单元，用于根据所述多个分片任务和获取到的线程数量，为各线程分配分片任务，得到各线程各自对...

【专利技术属性】
技术研发人员：张佳，刘家强，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：