推理任务的处理方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种推理任务的处理方法、装置、设备及可读存储介质，属于云技术领域。方法包括：获取云端设备或者第一边端设备发送的第一请求；基于设备参数满足参数条件，根据第一请求对多个级联的推理任务中的目标推理任务进行处理；基于多个级联的推理任务中存在目标推理任务的下一个推理任务，基于目标推理任务的处理结果生成第二请求；向第二边端设备发送第二请求，第二请求用于请求对下一个推理任务进行处理。通过云端设备或者边端设备对推理管线中的一个推理任务进行处理，实现了通过边端设备处理推理管线，或者，通过云端设备和边端设备协同处理推理管线，降低云端设备的处理压力。力。力。

【技术实现步骤摘要】
推理任务的处理方法、装置、设备及可读存储介质


[0001]本申请实施例涉及云
，特别涉及一种推理任务的处理方法、装置、设备及可读存储介质。

技术介绍

[0002]推理管线包括多个级联的推理任务，而任一个推理任务是一种对输入数据进行推理处理得到推理结果的任务。其中，输入数据可以为图像数据、文本数据、音频数据等任意类型的数据，推理处理可以为检测处理、识别处理、转换处理等任意处理方式。例如，推理管线包括两个级联的推理任务，第一个推理任务为对车辆图像进行检测处理得到车牌图像的任务，第二个推理任务为对车牌图像进行识别处理得到车牌文本的任务。
[0003]通常情况下，由云端设备对推理管线中的各个推理任务进行处理，然而，这种处理方式会增加云端设备的数据处理压力。

技术实现思路

[0004]本申请提供了一种推理任务的处理方法、装置、设备及可读存储介质，可以降低云端设备的处理压力，所述技术方案包括如下内容。
[0005]一方面，提供了一种推理任务的处理方法，所述方法包括：
[0006]获取云端设备或者第一边端设备发送的第一请求，所述第一请求用于请求对多个级联的推理任务中的目标推理任务进行处理；
[0007]基于设备参数满足参数条件，根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果；
[0008]基于所述多个级联的推理任务中存在所述目标推理任务的下一个推理任务，基于所述目标推理任务的处理结果生成第二请求；
[0009]向第二边端设备发送所述第二请求，所述第二请求用于请求基于所述目标推理任务的处理结果对所述下一个推理任务进行处理。
[0010]另一方面，提供了一种推理任务的处理装置，所述装置包括：
[0011]获取模块，用于获取云端设备或者第一边端设备发送的第一请求，所述第一请求用于请求对多个级联的推理任务中的目标推理任务进行处理；
[0012]处理模块，用于基于设备参数满足参数条件，根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果；
[0013]生成模块，用于基于所述多个级联的推理任务中存在所述目标推理任务的下一个推理任务，基于所述目标推理任务的处理结果生成第二请求；
[0014]发送模块，用于向第二边端设备发送所述第二请求，所述第二请求用于请求基于所述目标推理任务的处理结果对所述下一个推理任务进行处理。
[0015]在一种可能的实现方式中，所述处理模块，用于通过基准对象根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果，所述基准对象为初始
对象或者基于部署环境对所述初始对象进行优化得到，所述初始对象用于对所述目标推理任务进行处理。
[0016]在一种可能的实现方式中，所述装置还包括：
[0017]优化模块，用于基于所述部署环境，对所述初始对象进行第一优化处理，得到第一对象；
[0018]所述处理模块，还用于通过所述第一对象对所述目标推理任务进行处理，得到第一结果；
[0019]所述获取模块，还用于获取初始结果，所述初始结果是通过所述初始对象对所述目标推理任务进行处理得到的；
[0020]确定模块，用于基于所述初始结果和所述第一结果之间的误差满足设定条件，确定所述第一对象为所述基准对象。
[0021]在一种可能的实现方式中，所述处理模块，用于获取第一数据，所述第一数据是通过所述初始对象对所述目标推理任务进行处理得到所述初始结果时使用的数据；通过所述第一对象根据所述第一数据对所述目标推理任务进行处理，得到第一结果。
[0022]在一种可能的实现方式中，所述处理模块，用于获取第三数据，所述第三数据是通过各个前序任务的对象或者优化后的对象对指定数据进行处理得到，所述各个前序任务是所述推理管线中级联在所述目标推理任务之前的至少一个推理任务，所述初始结果是通过所述初始对象根据第二数据对所述目标推理任务进行处理得到，所述第二数据是通过所述各个前序任务的对象对所述指定数据进行处理得到；通过所述第一对象根据所述第三数据对所述目标推理任务进行处理，得到第一结果。
[0023]在一种可能的实现方式中，所述优化模块，还用于基于所述初始结果和所述第一结果之间的误差不满足所述设定条件，基于所述部署环境，对所述初始对象进行第二优化处理，得到第二对象；
[0024]所述处理模块，还用于通过所述第二对象对所述目标推理任务进行处理，得到第二结果；
[0025]所述确定模块，还用于基于所述初始结果和所述第二结果之间的误差满足所述设定条件，确定所述第二对象为所述基准对象。
[0026]在一种可能的实现方式中，所述发送模块，还用于基于所述设备参数不满足所述参数条件，则向所述云端设备或者所述第一边端设备发送拒绝指令，所述拒绝指令用于指示未根据所述第一请求对所述目标推理任务进行处理，并指示所述云端设备或者所述第一边端设备向其他设备发送所述第一请求。
[0027]在一种可能的实现方式中，所述获取模块，还用于基于所述设备参数不满足所述参数条件，且所述第一请求满足转发条件，则获取第一设备列表，所述第一设备列表包括具备对所述目标推理任务进行处理的能力的至少一个边端设备；
[0028]所述装置还包括：
[0029]确定模块，用于从所述第一设备列表中确定第三边端设备；
[0030]所述发送模块，还用于向所述第三边端设备发送所述第一请求。
[0031]在一种可能的实现方式中，所述发送模块，还用于基于所述设备参数不满足所述参数条件，且所述第一请求不满足转发条件，则向所述云端设备发送所述第一请求；
[0032]或者，所述处理模块，还用于基于所述设备参数不满足所述参数条件，且所述第一请求不满足转发条件，则根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果。
[0033]在一种可能的实现方式中，所述发送模块，用于获取第二设备列表，所述第二设备列表包括具备对所述下一个推理任务进行处理的能力的至少一个边端设备；从所述第二设备列表中确定所述第二边端设备；向所述第二边端设备发送所述第二请求。
[0034]在一种可能的实现方式中，所述装置还包括：
[0035]扩容模块，用于基于所述云端设备的设备参数满足扩容条件，则对所述云端设备进行扩容处理，得到扩容处理后的虚拟容器，所述扩容处理后的虚拟容器用于根据所述第一请求对所述目标推理任务进行处理；
[0036]缩容模块，用于基于所述云端设备的设备参数满足缩容条件，则对所述云端设备进行缩容处理，得到缩容处理后的虚拟容器，所述缩容处理后的虚拟容器用于根据所述第一请求对所述目标推理任务进行处理。
[0037]另一方面，提供了一种电子设备，所述电子设备包括处理器和存储器，所述存储器中存储有至少一条计算机程序，所述至少一条计算机程序由所述处理器加载并执行，以使所述电子设备实现上述任一所述的推理任务的处理方法。
...

【技术保护点】

【技术特征摘要】
1.一种推理任务的处理方法，其特征在于，所述方法包括：获取云端设备或者第一边端设备发送的第一请求，所述第一请求用于请求对多个级联的推理任务中的目标推理任务进行处理；基于设备参数满足参数条件，根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果；基于所述多个级联的推理任务中存在所述目标推理任务的下一个推理任务，基于所述目标推理任务的处理结果生成第二请求；向第二边端设备发送所述第二请求，所述第二请求用于请求基于所述目标推理任务的处理结果对所述下一个推理任务进行处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果，包括：通过基准对象根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果，所述基准对象为初始对象或者基于部署环境对所述初始对象进行优化得到，所述初始对象用于对所述目标推理任务进行处理。3.根据权利要求2所述的方法，其特征在于，所述通过基准对象根据所述第一请求对所述目标推理任务进行处理，得到所述目标推理任务的处理结果之前，还包括：基于所述部署环境，对所述初始对象进行第一优化处理，得到第一对象；通过所述第一对象对所述目标推理任务进行处理，得到第一结果；获取初始结果，所述初始结果是通过所述初始对象对所述目标推理任务进行处理得到的；基于所述初始结果和所述第一结果之间的误差满足设定条件，确定所述第一对象为所述基准对象。4.根据权利要求3所述的方法，其特征在于，所述通过所述第一对象对所述目标推理任务进行处理，得到第一结果，包括：获取第一数据，所述第一数据是通过所述初始对象对所述目标推理任务进行处理得到所述初始结果时使用的数据；通过所述第一对象根据所述第一数据对所述目标推理任务进行处理，得到第一结果。5.根据权利要求3所述的方法，其特征在于，所述通过所述第一对象对所述目标推理任务进行处理，得到第一结果，包括：获取第三数据，所述第三数据是通过各个前序任务的对象或者优化后的对象对指定数据进行处理得到，所述各个前序任务是所述推理管线中级联在所述目标推理任务之前的至少一个推理任务，所述初始结果是通过所述初始对象根据第二数据对所述目标推理任务进行处理得到，所述第二数据是通过所述各个前序任务的对象对所述指定数据进行处理得到；通过所述第一对象根据所述第三数据对所述目标推理任务进行处理，得到第一结果。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于所述初始结果和所述第一结果之间的误差不满足所述设定条件，基于所述部署环境，对所述初始对象进行第二优化处理，得到第二对象；通过所述第二对象对所述目标推理任务进行处理，得到第二结果；
基于所述初始结果和所述第二结果之间的误差满足所述设定条件，确定所述第二对象为所述基准对象。7.根据权利要求1至6任一项所述的方法，其特征在于，所述获取云端设备或者第一边端设备发送的第一请求之后，还包括：基于所述设备参数不满足所述参数条件，则向所述云端设备或者所述第一边端设备发送拒绝指令，所述拒绝指令用于指示未根据所述第一请求对所述...

【专利技术属性】
技术研发人员：赖文星，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：