一种任务处理方法、装置及计算机设备、存储介质、产品制造方法及图纸

本申请实施例提供了一种任务处理方法、装置及计算机设备、存储介质、产品，其中方法包括：根据携带有多媒体对象的对象请求，生成任务请求，并在缓存单元中缓存生成的任务请求，获取在缓存单元中缓存的任务请求的缓存任务参数；获取人工智能芯片中的人工智能计算核的负载信息；基于缓存任务参数和负载信息，对缓存单元中缓存的任务请求进行分发调整；分发调整包括：对分发给人工智能芯片中的人工智能计算核的任务请求的数量进行调整、或基于请求类型对分发给人工智能芯片中的人工智能计算核的任务请求的数量进行调整。本申请实施例能够对分发给人工智能计算核的任务请求进行灵活调整，提升对AI计算核的利用灵活性。提升对AI计算核的利用灵活性。提升对AI计算核的利用灵活性。

【技术实现步骤摘要】
一种任务处理方法、装置及计算机设备、存储介质、产品


[0001]本申请涉及计算机
，具体涉及一种任务处理方法、装置及计算机设备、存储介质、产品。

技术介绍

[0002]目前，随着计算机技术的发展，AI(Artificial Intelligence，人工智能)相关的一些应用可以通过部署在GPU(Graphics Processing Unit，图像处理单元)平台上来实现，其中，针对图像、音视频等多媒体对象的文本分析，例如OCR(Optical Character Recognition，光学字符识别)，是AI在文字识别领域的一种应用，基于OCR的业务也多是在GPU部署，并通过AI计算核进行OCR业务处理。
[0003]在业务部署中，常见的GPU调度方案通常更侧重于对GPU平台中的AI计算核的算力挖掘，比如通过增加AI计算核的数量或者提高AI计算核的性能来增加算力，针对产生的任务请求，往往是通过固定的分发模式向AI计算核分发任务请求，对AI计算核的利用不够灵活。

技术实现思路

[0004]本申请实施例提供一种任务处理方法、装置及计算机设备、存储介质、产品，能够对分发给人工智能计算核的任务请求进行灵活调整。
[0005]一方面，本申请实施例提供了一种任务处理方法，该方法包括：
[0006]根据携带有多媒体对象的对象请求，生成任务请求，并在缓存单元中缓存所述生成的任务请求，所述任务请求用于触发人工智能芯片中的人工智能计算核进行针对多媒体对象的文本分析处理；
[0007]获取在所述缓存单元中缓存的任务请求的缓存任务参数；
[0008]获取所述人工智能芯片中的人工智能计算核的负载信息；
[0009]基于所述缓存任务参数和所述负载信息，对缓存单元中缓存的任务请求进行分发调整；
[0010]其中，所述分发调整包括：对分发给所述人工智能芯片中的人工智能计算核的任务请求的数量进行调整、或基于请求类型对分发给所述人工智能芯片中的人工智能计算核的任务请求的数量进行调整。
[0011]一方面，本申请实施例提供了一种任务处理装置，该装置包括：
[0012]处理单元，用于根据携带有多媒体对象的对象请求，生成任务请求，并在缓存单元中缓存所述生成的任务请求，所述任务请求用于触发人工智能芯片中的人工智能计算核进行针对所述多媒体对象的文本分析处理；
[0013]获取单元，用于获取在所述缓存单元中缓存的任务请求的缓存任务参数；
[0014]所述获取单元，还用于获取所述人工智能芯片中的人工智能计算核的负载信息；
[0015]处理单元，还用于基于所述缓存任务参数和所述负载信息，对所述缓存单元中缓
存的任务请求进行分发调整；
[0016]其中，所述分发调整包括：对分发给所述人工智能芯片中的人工智能计算核的任务请求的数量进行调整、或基于请求类型对分发给所述人工智能芯片中的人工智能计算核的任务请求的数量进行调整。
[0017]可选地，该任务请求是在对对象请求中携带的多媒体对象进行解码得到多媒体对象的解码信息后，基于多媒体对象的解码信息生成的，处理单元，还用于：
[0018]根据缓存任务参数，对对象请求携带的多媒体对象进行解码的解码速率进行调整；解码速率的调整包括降低解码速率或者提高解码速率。
[0019]可选地，处理单元，具体用于：
[0020]若缓存任务参数所指示的任务请求的数量大于预设数量阈值，则降低对对象请求携带的多媒体对象进行解码的解码速率；
[0021]若缓存任务参数所指示的任务请求的数量小于或等于预设数量阈值，则提高对对象请求携带的多媒体对象进行解码的解码速率；
[0022]预设数量阈值是根据人工智能芯片中的人工智能计算核的数量来确定的。
[0023]可选地，负载信息包括：人工智能芯片中的人工智能计算核的占用信息、由人工智能芯片中的人工智能计算核所构成的调度单元的占用信息、已从缓存单元中获取并输出以等待人工智能计算核处理的任务请求的任务信息中的一种或者多种；
[0024]任务请求包括：用于触发进行文本检测的文本检测任务请求和用于触发进行文本识别的文本识别任务请求；文本分析处理包括：文本检测任务请求对应的文本检测处理和文本识别任务请求对应的文本识别处理；
[0025]缓存单元包括：用于缓存文本检测任务请求的检测任务缓存单元、用于缓存文本识别任务请求的识别任务缓存单元。
[0026]可选地，任务请求包括文本检测任务请求和文本识别任务请求；
[0027]人工智能芯片中的人工智能计算核响应文本检测任务请求执行文本检测任务得到多媒体对象中的文本存在信息；
[0028]文本存在信息用于使得人工智能芯片中的文本框提取单元对多媒体对象进行文本框连通域分析得到多媒体对象上所包括的一个或多个文本框；
[0029]文本识别任务请求是基于每个文本框所生成的，一个文本框被允许对应一个文本识别任务请求。
[0030]可选地，任务请求包括文本检测任务请求，处理单元，具体用于：
[0031]响应于携带有多媒体对象的对象请求，确定多媒体对象的对象格式；
[0032]若确定的对象格式为目标对象格式，则调用人工智能芯片包括的硬件解码单元对多媒体对象进行解码处理，得到多媒体对象的解码信息；
[0033]若确定的对象格式不为目标对象格式，则通过软解码规则对多媒体对象进行解码处理，得到多媒体对象的解码信息；
[0034]基于多媒体对象的解码信息，生成文本检测任务请求。
[0035]可选地，人工智能芯片中的人工智能计算核的数量为多个，缓存任务参数指示了任务请求的请求类型和对应请求类型下的任务请求的数量，请求类型包括：文本识别任务请求对应的类型和文本检测任务请求对应的类型，处理单元701，具体用于：
[0036]确定缓存任务参数所指示的文本识别任务请求的数量和文本检测任务请求的数量；
[0037]根据文本识别任务请求的数量和文本检测任务请求的数量，以及负载信息，基于分发调整策略向人工智能芯片的各人工智能计算核分发所述缓存单元中缓存的任务请求；
[0038]其中，分发调整策略包括：优先向人工智能芯片的人工智能计算核分发所述缓存单元中缓存的文本识别任务请求，且人工智能芯片的人工智能计算核处理文本检测任务请求所占用的算力占比不低于预设的算力占比阈值；算力占比是指：用来执行文本检测任务请求的人工智能计算核的算力占所有人工智能计算核的总算力的比值。
[0039]可选地，负载信息包括：通过算力耗费模型计算的每个人工智能计算核各自执行已分配的任务请求所需要的任务总时长；处理单元，具体用于：
[0040]根据每个人工智能计算核对应的任务总时长，优先向任务总时长最短的人工智能计算核分配所述缓存单元中缓存的任务请求；
[0041]或者，确定每个待分配的任务请求的执行时长，将执行时长最长的任务请求分配至任务总时长最短的人工智本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，其特征在于，所述方法包括：根据携带有多媒体对象的对象请求，生成任务请求，并在缓存单元中缓存所述生成的任务请求，所述任务请求用于触发人工智能芯片中的人工智能计算核进行针对所述多媒体对象的文本分析处理；获取在所述缓存单元中缓存的任务请求的缓存任务参数；获取所述人工智能芯片中的人工智能计算核的负载信息；基于所述缓存任务参数和所述负载信息，对所述缓存单元中缓存的任务请求进行分发调整；其中，所述分发调整包括：对分发给所述人工智能芯片中的人工智能计算核的任务请求的数量进行调整、或基于请求类型对分发给所述人工智能芯片中的人工智能计算核的任务请求的数量进行调整。2.如权利要求1所述的方法，其特征在于，所述任务请求是在对所述对象请求中携带的多媒体对象进行解码得到所述多媒体对象的解码信息后，基于所述多媒体对象的解码信息生成的，所述方法还包括：根据所述缓存任务参数，对所述对象请求携带的多媒体对象进行解码的解码速率进行调整；所述解码速率的调整包括降低解码速率或者提高解码速率。3.如权利要求2所述的方法，其特征在于，所述根据所述缓存任务参数，对所述对象请求携带的多媒体对象进行解码的解码速率进行调整，包括以下步骤中的任意一个或者两个：若所述缓存任务参数所指示的任务请求的数量大于预设数量阈值，则降低对所述对象请求携带的多媒体对象进行解码的解码速率；若所述缓存任务参数所指示的任务请求的数量小于或等于预设数量阈值，则提高对所述对象请求携带的多媒体对象进行解码的解码速率；所述预设数量阈值是根据所述人工智能芯片中的人工智能计算核的数量来确定的。4.如权利要求1
‑
3任一项所述的方法，其特征在于，所述负载信息包括：所述人工智能芯片中的人工智能计算核的占用信息、由所述人工智能芯片中的人工智能计算核所构成的调度单元的占用信息、已从所述缓存单元中获取并输出以等待所述人工智能计算核处理的任务请求的任务信息中的一种或者多种；所述任务请求包括：用于触发进行文本检测的文本检测任务请求和用于触发进行文本识别的文本识别任务请求；所述文本分析处理包括：所述文本检测任务请求对应的文本检测处理和所述文本识别任务请求对应的文本识别处理；所述缓存单元包括：用于缓存文本检测任务请求的检测任务缓存单元、用于缓存文本识别任务请求的识别任务缓存单元。5.如权利要求1
‑
3任一项所述的方法，其特征在于，所述任务请求包括文本检测任务请求和文本识别任务请求；所述人工智能芯片中的人工智能计算核响应所述文本检测任务请求执行文本检测任务得到所述多媒体对象中的文本存在信息；所述文本存在信息用于使得所述人工智能芯片中的文本框提取单元对所述多媒体对象进行文本框连通域分析得到所述多媒体对象上所包括的一个或多个文本框；
所述文本识别任务请求是基于每个文本框所生成的，一个文本框被允许对应一个文本识别任务请求。6.如权利要求1
‑
3任一项所述的方法，其特征在于，所述任务请求包括文本检测任务请求，所述根据携带有多媒体对象的对象请求，生成任务请求，包括：响应于携带有多媒体对象的对象请求，确定所述多媒体对象的对象格式；若确定的对象格式为目标对象格式，则调用所述人工智能芯片包括的硬件解码单元对所述多媒体对象进行解码处理，得到所述多媒体对象的解码信息；若所述确定的对象格式不为所述目标对象格式，则通过软解码规则对所述多媒体对象进行解码处理，得到所述多媒体对象的解码信息；基于所述多媒体对象的解码信息，生成所述文本检测任务请求。7.如权利要求1所述的方法，其特征在于，所述人工智能芯片中的人工智能计算核的数量为多个，所述缓存任务参数指示了任务请求的请求类型和对应请求类型下的任务请求的数量，请求类型包括：文本识别任务请求对应的类型和文本检测任务请求对应的类型，所述基于所述缓存任务参数和所述负载信息，对所述缓存单元中缓存的任务请求进行分发调整，包括：确定所述缓存任务参数所指示的文本识别任务请求的数量和文本检测任务请求的数量；根据文本识别任务请求的数量和文本检测任务请求的数量，以及负载信息，基于分发调整策略向所述人工智能芯片的各...

【专利技术属性】
技术研发人员：陈文鹏，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：