本申请属于计算机应用领域，并公开了一种任务执行方法、系统、设备及可读存储介质，该方法包括：接收目标终端发送的任务请求，并确定执行任务请求对应的目标模型；确定在去中心化自治区内执行目标模型的分割策略和调度策略；按照分割策略分割目标模型，得到若干个任务镜像；按照调度策略，依次执行任务镜像，得到应答结果；将应答结果发送给目标终端。在本申请中，针对边缘计算资源受限问题，提出基于边端协同的深度学习推理优化技术，对原有深度学习推理任务进行分割，从而可将计算任务推送至边缘端和用户终端设备进行协同处理，提高边缘网络资源利用效率。源利用效率。源利用效率。
【技术实现步骤摘要】
一种任务执行方法、系统、设备及可读存储介质
[0001]本申请涉及计算机应用
，特别是涉及一种任务执行方法、系统、设备及可读存储介质。
技术介绍
[0002]以深度学习算法为代表的人工智能技术，已经在移动互联时代得到了广泛的应用，并为终端用户提供各类智能化的通用服务。通常，深度学习等技术的实现需要占用大量的计算、内存、通信资源，例如在基于图像识别、自然语言处理等的应用中，要提前建立规模庞大的神经网络模型，并在云端或大型数据中心中对网络模型进行训练，以达到较高的推理精度。在应用过程中，终端用户需要将待处理的数据通过网络上传至云端或数据中心，利用已经训练并部署完成的神经网络模型进行推理并输出结果。然而，这种基于云的服务模式，在移动互联时代面临的主要问题包括：面对终端用户具有高并发性的请求，现有云端计算架构无法有效提升资源的并发效率，导致云端在处理高并发服务请求时，面临较大的处理压力，任务等待时间增加；终端设备直接与云端或远端的网络连接具有较高的不稳定性，且通信延迟较大，会影响用户的体验质量。此外，由于移动终端设备具有的灵活性，由于用户设备位置和设备资源等变化产生的不确定性，也导致云端提供服务时面临较大的编排和管理的挑战。
[0003]边缘计算（EC，Edge Computing）技术，通过将原属云端的各类资源进行下沉，放置在靠近终端用户的网络边缘，且与用户之间能够通过本地网络进行通信，有效降低传输延迟和不稳定性；边缘计算基于云原生等技术实现资源的分布式部署和伸缩，可以将终端用户的任务负载进行分散，实现去中心化区域自治及区域间的协同，有效缓解云计算面临的高并发问题，且能够覆盖更多的地理空间区域和终端用户。
[0004]虽然边缘计算能够弥补云计算技术面临的一些挑战，但是，在人工智能推理等应用领域，仍有一些亟需解决的问题：基于深度学习等技术的人工智能服务，对计算资源需求较大，但边缘计算网络中节点拥有的计算资源相对有限，无法有效满足用户服务对资源的需求；基于云原生技术实现去中心化的边缘资源管理和调度，目前并未专门针对特定应用领域进行优化。
[0005]综上所述，如何有效地解决如何在面向人工智能服务的网络环境中，提升边缘服务效率等问题，是目前本领域技术人员急需解决的技术问题。
技术实现思路
[0006]本申请的目的是提供一种任务执行方法、系统、设备及可读存储介质，能够在面向人工智能服务的网络环境中，提升边缘服务效率。
[0007]为解决上述技术问题，本申请提供如下技术方案：一种任务执行方法，包括：接收目标终端发送的任务请求，并确定执行所述任务请求对应的目标模型；
确定在去中心化自治区内执行所述目标模型的分割策略和调度策略；按照所述分割策略分割所述目标模型，得到若干个任务镜像；按照所述调度策略，依次执行所述任务镜像，得到应答结果；将所述应答结果发送给所述目标终端。
[0008]可选地，确定在去中心化自治区内执行所述目标模型的分割策略，包括：获取所述目标终端的计算能力值；利用所述计算能力值，确定所述目标模型中的深层任务部分与浅层任务部分的目标分割点；确定所述深层任务部分的协同分割点；将所述目标分割点和所述协同分割点加入所述分割策略。
[0009]可选地，利用所述计算能力值，确定所述目标模型中的深层任务部分与浅层任务部分的目标分割点，包括：从所述目标模型的输入层开始，逐层累加当前层所需的计算量，直到累加至目标层，使得所述计算量大于所述计算能力值；在所述输入层与所述目标层之间确定所述目标分割点。
[0010]可选地，所述在所述输入层与所述目标层之间确定所述目标分割点，包括：在所述输入层与所述目标层之间随机确定所述目标分割点。
[0011]可选地，确定所述深层任务部分的协同分割点，包括：获取去中心化自治区当前有效的边缘计算节点数量，及子任务量阈值；获取所述深层任务部分的层间数据交换量；利用所述边缘计算节点数量、所述子任务量阈值和所述层间数据交换量确定所述协同分割点。
[0012]可选地，利用所述边缘计算节点数量、所述子任务量阈值和所述层间数据交换量确定所述协同分割点，包括：利用边缘计算节点数量和所述子任务量阈值，确定所有分割组合；结合所述层间数据交换量，并利用分割策略函数，对所有所述分割组合进行遍历，得到最优分割策略所对应的所述协同分割点。
[0013]可选地，按照所述分割策略分割所述目标模型，得到若干个任务镜像，包括：获取所述目标模型的模型参数文件；按照所述分割策略将所述模型参数文件分割为若干个模型代码段；根据所述模型代码段的属性，生成镜像描述文件；根据镜像描述文件修改对应内容；生成所述镜像描述符文件对应的所述任务镜像。
[0014]可选地，所述根据镜像描述文件修改对应内容，包括：所述根据镜像描述文件，修改基础镜像名称、Python层、PyTorch层及运行相应的代码文件命令。
[0015]可选地，确定在去中心化自治区内执行所述目标模型的调度策略，包括：预估各个计算节点对各个所述任务镜像的执行时间；利用所述执行时间，得到最小任务总时延所对应的各个所述计算节点的排列；
将所述排列确定为所述调度策略。
[0016]可选地，利用所述执行时间，得到最小任务总时延所对应的各个所述计算节点的排列，包括：利用各个所述计算节点所对应的所述执行时间，构造NP问题；求解所述NP问题，得到近似最优解；利用所述近似最优解，确定所述排列。
[0017]可选地，所述求解所述NP问题，得到所述近似最优解，包括：将所述计算节点的一个批量组合确定为一条遗传信息个体，得到多个个体；将得到的分割后的任务镜像从前到后依次分配给所述个体代表的边缘节点顺序，得到当前所述个体的执行任务总延迟；所述执行任务总延迟为评价所述个体优劣的指标；利用所述指标对所述个体进行选择、交叉和变异，在达到终止条件时，得到所述近似最优解。
[0018]可选地，利用所述指标对个体进行选择、交叉和变异，包括：从当前种群中选择评价最优的多个所述个体，组成新的子代种群；从目标位置随机交叉任意两个所述个体被所述目标位置分割的部分；检查是否存在重复；若有重复则替代其中重复的元素，使得所述个体有效；在达到终止条件时，得到所述近似最优解。
[0019]可选地，按照所述调度策略，依次执行所述任务镜像，得到应答结果，包括：按照所述调度策略，将若干个所述任务镜像分散发送给所述去中心化自治区中的计算节点；依次实例化运行所述计算节点中的所述任务镜像，得到所述应答结果。
[0020]可选地，依次实例化运行所述计算节点中的所述任务镜像，得到所述应答结果，包括：按照所述调度策略，为每个所述计算节点生成部署容器所需的yaml文件；执行所述yaml文件，将所述任务镜像调度至对应的计算节点上执行，得到所述应答结果。
[0021]一种容器调度框架系统，包括：模型分割器，用于接收目标终端发送的任务请求，并确定执行所述任务请求对应的目标模型，确定在去中心化自治区内执行所述目标模型的分割策略和调度策略；本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种任务执行方法，其特征在于，包括：接收目标终端发送的任务请求，并确定执行所述任务请求对应的目标模型；确定在去中心化自治区内执行所述目标模型的分割策略和调度策略；按照所述分割策略分割所述目标模型，得到若干个任务镜像；按照所述调度策略，依次执行所述任务镜像，得到应答结果；将所述应答结果发送给所述目标终端。2.根据权利要求1所述的任务执行方法，其特征在于，确定在去中心化自治区内执行所述目标模型的分割策略，包括：获取所述目标终端的计算能力值；利用所述计算能力值，确定所述目标模型中的深层任务部分与浅层任务部分的目标分割点；确定所述深层任务部分的协同分割点；将所述目标分割点和所述协同分割点加入所述分割策略。3.根据权利要求2所述的任务执行方法，其特征在于，利用所述计算能力值，确定所述目标模型中的深层任务部分与浅层任务部分的目标分割点，包括：从所述目标模型的输入层开始，逐层累加当前层所需的计算量，直到累加至目标层，使得所述计算量大于所述计算能力值；在所述输入层与所述目标层之间确定所述目标分割点。4.根据权利要求3所述的任务执行方法，其特征在于，所述在所述输入层与所述目标层之间确定所述目标分割点，包括：在所述输入层与所述目标层之间随机确定所述目标分割点。5.根据权利要求2所述的任务执行方法，其特征在于，确定所述深层任务部分的协同分割点，包括：获取去中心化自治区当前有效的边缘计算节点数量，及子任务量阈值；获取所述深层任务部分的层间数据交换量；利用所述边缘计算节点数量、所述子任务量阈值和所述层间数据交换量确定所述协同分割点。6.根据权利要求5所述的任务执行方法，其特征在于，利用所述边缘计算节点数量、所述子任务量阈值和所述层间数据交换量确定所述协同分割点，包括：利用边缘计算节点数量和所述子任务量阈值，确定所有分割组合；结合所述层间数据交换量，并利用分割策略函数，对所有所述分割组合进行遍历，得到最优分割策略所对应的所述协同分割点。7.根据权利要求1所述的任务执行方法，其特征在于，按照所述分割策略分割所述目标模型，得到若干个任务镜像，包括：获取所述目标模型的模型参数文件；按照所述分割策略将所述模型参数文件分割为若干个模型代码段；根据所述模型代码段的属性，生成镜像描述文件；根据镜像描述文件修改对应内容；生成所述镜像描述符文件对应的所述任务镜像。
8.根据权利要求7所述的任务执行方法，其特征在于，所述根据镜像描述文件修改对应内容，包括：所述根据镜像描述文件，修改基础镜像名称、Python层、PyTorch层及运行相应的代码文件命令。9.根据权利要求1所述的任务执行方法，其特征在于，确定在去中心化自治区内执行所述目标模型的调度策略，包括：预估各个计算节点对各个所述任务镜...
【专利技术属性】
技术研发人员：张亚强，李茹杨，胡奇夫，邓琪，赵雅倩，李仁刚，
申请(专利权)人：山东海量信息技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。