一种面向机器人任务划分的端、边、云协同计算装置制造方法及图纸

本发明专利技术公开了一种面向机器人任务划分的端、边、云协同计算装置，属于机器人技术领域。该装置包括任务建模计算层、任务离线切分层和任务在线执行层；任务建模计算层对不同的机器人任务在不同的设备下分层执行的计算时延以及传输时延进行计算；任务离线切分层根据计算时延和传输时延对目标网络模型进行水平和垂直切分，生成最佳的任务执行策略；任务在线执行层则根据任务离线切分层输出的任务执行策略进行任务的分配、下发和调度，完成任务的在线运行。本发明专利技术的协同计算装置可以保护机器人终端的数据隐私，有效地提升了机器人给定任务的执行效率，同时显著地提高了任务划分的性能，具有较好的实用性。具有较好的实用性。具有较好的实用性。

【技术实现步骤摘要】
一种面向机器人任务划分的端、边、云协同计算装置


[0001]本专利技术属于机器人
，具体涉及一种面向机器人任务划分的端、边、云协同计算装置。

技术介绍

[0002]随着物联网、云计算、大数据、边缘计算和人工智能等新一代信息技术的快速发展，机器人已实现了从感知到认知、推理、决策的智能化进阶，并逐渐成为了各行业领域未来发展的主要趋势之一，在工业制造、生活服务等许多方面都有着巨大的应用价值。目前的机器人技术融合了云端智能，利用云计算和云存储增强其能力，然而受限于网络带宽以及延迟，大多数的机器人系统都以本体计算为主，以云端处理非实时、大计算量的任务为辅。通常来说，为了能够精准地感知理解环境以服务于人机交互，机器人系统通常集成了大量的传感器，从而产生大量的数据。比如采用了高清摄像头，深度摄像头，麦克风阵列以及激光雷达等传感器的机器人，每秒钟可以产生 250MB 以上的数据量。如此海量的数据全部传输到云端处理既不现实，也不高效，同时还会涉及数据隐私安全问题。除此之外，机器人所使用的诸如人脸检测、人脸识别、语音识别等AI算法通常需要很强的算力，虽然机器人本体计算平台的计算能力在不断提高，但是相对于AI 算法的需求依然有限。因此，边缘计算的引入可以很好地解决机器人终端能力受限和云计算的实时响应的问题。端-边-云融合的计算架构则可以为执行不同AI推理任务的机器人提供一个可以适应其计算、存储和协同合作之间的分布关系，在云和边缘侧提供算力的支撑，以实现在大规模机器人应用场景下，更有效、更经济的计算力部署。
[0003]目前，针对AI模型的推理任务划分，国内外的研究更多集中在端-云协同、端-边协同、或者边-云协同，将AI模型以层为单位细粒度地进行划分后部署到终端设备和云服务器之间，或者终端设备和边缘之间，或者边缘设备和云服务器之间，包括SIGRAPH会议论文《NeuroSurgeon: Collaborative intelligence between the cloud and mobile edge》所述的NeuroSurgeon，期刊论文《Edge AI: On-demand accelerating deep neural network inference via edge computing》所述的端-边协同AI推理，以及INFOCOM会议论文《Dynamic adaptive DNN surgery for inference acceleration on the edge》所述的针对边-云之间的min-cut切割算法。
[0004]NeuroSurgeon将AI模型每层的计算时延、功耗以及端-云传输时延及功耗结合起来，通过决策遍历寻找最优的任务划分点，根据划分点，在划分点之前由端设备计算，划分点的输出发送至云端，由云端完成后续的计算，再把结果发回设备端执行。
[0005]Edge AI中提出的Edgent是一个针对移动设备和边缘协同作用的AI协同推理框架。Edgent将模型划分和模型规模调整结合在一起，设计了模型分区点和出口点选择的联合优化搜索过程，最终将模型部署到设备端及边缘侧执行。
[0006]DNN Surgery中将AI模型转换成有向无环图的形式，并引入了边缘节点和云节点，构造新的连边关系，构建新图，并采用图优化算法来寻找最佳的模型划分点，划分后模型部
署到边缘侧及云侧执行。
[0007]上述方法存在如下几个问题：（1）只考虑了把任务划分成两部分执行，没有充分利用端-边-云三者协同处理的能力，执行效率不能保证最优，而对于大多数机器人任务来说，需要实时快速的响应；（2）通常对任务模型进行水平分割，找到的最优切分点无法保证任务执行时间满足真实场景下的响应时间，缺乏对推理任务进一步加速的解决方案。

技术实现思路

[0008]针对现有技术中存在的不足，本专利技术提供一种面向机器人任务划分的端、边、云协同计算装置。
[0009]本专利技术的技术目的通过如下技术方案实现：一种面向机器人任务划分的端、边、云协同计算装置，所述装置包括依次连接的任务建模计算层、任务离线切分层和任务在线执行层；所述任务建模计算层实时监控当前的硬件资源情况和网络带宽情况，根据机器人任务下的目标网络模型的分层配置信息结合硬件资源预测目标网络模型的各层在不同设备下的计算时延，根据机器人任务下目标网络模型分层的数据输出尺寸信息结合网络带宽计算目标网络模型各层输出在不同设备之间的传输时延；所述任务离线切分层根据计算时延和传输时延对机器人任务下的目标网络模型进行水平切分，将所述目标网络模型划分成子网络模型，使得机器人任务下的目标网络模型从数据输入到经过目标网络模型运行后输出的推理时延最小；并判断所述推理时延是否满足任务需求，如满足需求，输出水平切分的任务执行策略；如不满足需求，则在运行的子网络模型中的一个或多个进行垂直切分，输出水平切分的任务执行策略和垂直切分的任务执行策略；所述子网络模型的连接方式为串联连接；所述任务在线执行层根据任务离线切分层输出的任务执行策略，进行任务的分配、下发和调度，完成机器人任务的在线运行。
[0010]进一步地，所述设备包括机器人终端设备、边缘设备以及云服务器，所述硬件资源包括：CPU、GPU、FPGA、ASIC、NPU；硬件资源情况的实时监控包括对CPU、GPU、FPGA、ASIC、NPU的利用率、主频、内存占用、资源消耗的监控。
[0011]进一步地，所述目标网络模型的分层配置信息包括：每一层的滤波器数目、滤波器尺寸、滤波器相关的参数、输入数据的尺寸、神经元数量；所述网络带宽包括端、边之间的网络带宽，端、云之间的网络带宽以及边、云之间的网络带宽；对网络带宽的实时监控包括对上下行流量、网络延迟的监控。
[0012]进一步地，所述子网络模型分别运行在机器人终端上、边缘设备上和云服务器上。
[0013]进一步地，所述子网络模型分别运行在机器人终端上和边缘设备上，或者分别运行在机器人终端上和云服务器上，或者分别运行在边缘设备和云服务器上。
[0014]进一步地，所述水平切分的方法具体为：将机器人任务下的目标网络模型建模成有向无环图，对所述有向无环图上的每个节点进行编号，所述有向无环图上的各节点代表目标网络模型的每一层，所述节点的特征信息代表每一层在不同设备上的计算时延，节点间的边权重代表每一层数据输出在不同设备间的传输时延。
[0015]与现有技术相比，本专利技术具有如下有益效果：本专利技术提出的面向机器人任务划分的端、边、云协同计算装置，通过对机器人任务下的目标网络模型进行离线的水平切分，将目标网络模型划分成可以分别运行在端、边、云三者或其中两者之上的子网络模型，使得机器人任务下的目标网络模型从数据输入到经过目标网络模型运行后输出的推理时延最小，还可以根据任务需求选择性地将子网络模型进行垂直切分，将子网络模型再划分成多个可以并行运行的子块下发多台设备处理，加速机器人任务的推理。本专利技术的装置可满足机器人任务实时快速推理的需求，同时最大限度地保护数据隐私不泄露。<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向机器人任务划分的端、边、云协同计算装置，其特征在于，所述装置包括依次连接的任务建模计算层、任务离线切分层和任务在线执行层；所述任务建模计算层实时监控当前的硬件资源情况和网络带宽情况，根据机器人任务下的目标网络模型的分层配置信息结合硬件资源预测目标网络模型的各层在不同设备下的计算时延，根据机器人任务下目标网络模型分层的数据输出尺寸信息结合网络带宽计算目标网络模型各层输出在不同设备之间的传输时延；所述任务离线切分层根据计算时延和传输时延对机器人任务下的目标网络模型进行水平切分，将所述目标网络模型划分成子网络模型，使得机器人任务下的目标网络模型从数据输入到经过目标网络模型运行后输出的推理时延最小；并判断所述推理时延是否满足任务需求，如满足需求，输出水平切分的任务执行策略；如不满足需求，则在运行的子网络模型中的一个或多个进行垂直切分，输出水平切分的任务执行策略和垂直切分的任务执行策略；所述子网络模型的连接方式为串联连接；所述任务在线执行层根据任务离线切分层输出的任务执行策略，进行任务的分配、下发和调度，完成机器人任务的在线运行。2.根据权利要求1所述面向机器人任务划分的端、边、云协同计算装置，其特征在于，所述设备包括机器人终端设备、边缘设备以及云服务器，所述硬件资源包括：CPU、GPU、FPGA、ASIC、NPU；硬件...

【专利技术属性】
技术研发人员：向甜，张北北，张鸿轩，朱世强，顾建军，李特，
申请(专利权)人：之江实验室，
类型：发明
国别省市：