面向深度学习Transformer类模型的移动设备协同推断系统技术方案

本发明专利技术涉及一种面向深度学习Transformer类模型的移动设备协同推断系统，包括如下步骤：准备阶段：评估可用硬件资源，确定切分粒度，切片并分发至各设备。部署阶段：通过DNS组网来控制设备进行异构设备的协同推断。各待推断设备均部署推断服务程序。控制节点发送待推断样本到各设备，当前节点将中间结果传递至负责下一个模型切片的节点，以此类推，直至最后一个节点完成推理，再将最终结果发送给控制节点输出。避免因为整个Transformer模型占用空间较大而单个设备不能运行。间较大而单个设备不能运行。间较大而单个设备不能运行。

【技术实现步骤摘要】
面向深度学习Transformer类模型的移动设备协同推断系统


[0001]本专利技术涉及一种面向深度学习Transformer类模型的移动设备协同推断系统，属于计算机深度学习应用


技术介绍

[0002]随着深度学习技术的不断发展，基于深度学习模型的推断服务广泛地应用在人们的日常生活当中，如视频网站的自动字幕生成，翻译网站，自动问答服务系统，音频文本互相转换等等，为人们的生活提供了巨大的便利。随着移动智能设备的普及以及感知能力的大大增强（有越来越多的传感器）为生活中的深度学习服务部署提供了最重要的应用场景之一。
[0003]在此场景下，深度学习服务在移动端的部署可以挖掘利用移动设备的计算资源而避免使用云端，以此来节省计算资源的开销。同时，直接将服务部署在移动设备上也可以避免将用户信息传递到云端从而降低了隐私泄露的概率。最后，直接在边缘端部署深度学习服务还可以允许整个系统在网络不可用地区进行部署。如智能家居场景中各种设备利用自身的传感器收集的数据来为家庭成员服务，比如老人的跌倒检测，窃贼入侵检测等，野外勘探时设备直接对传感器上搜本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向深度学习Transformer类模型的移动设备协同推断系统，其特征在于：包括如下步骤：步骤1：准备阶段：对设备进行设备性能评估测试，将准备部署的模型切片，分派至不同移动端设备上；步骤1.1：评估移动端设备的可用硬件资源：获取每一待使用设备的硬件信息；步骤1.2：确定切分粒度：结构分析Transformer模型，结合步骤1.1中得到的各待使用设备硬件信息，分析得到适配的模型切分粒度；步骤1.3：进行切片：根据步骤1.2中得到的模型切分粒度，对Transformer模型进行切分，得到若干模型切片；步骤1.4：分发切片：对步骤1.3中的模型切片通过分发算法进行分发至各待使用设备；步骤2：部署阶段：通过SDN组网来控制设备进行异构设备的协同推断；步骤2.1：SDN组网：从各设备中确定参与深度学习的待推断设备，使用SDN进行组网，保证连入同一网络，使用网络处理能力最强的设备作为控制节点，部署SDN控制程序，所有节点均参与协同推理，各待推断设备均部署推断服务程序；步骤2.2：当有深度学习推断的需求时，请求推断服务的请求发起程序向步骤2.1中节点中的控制节点发送提供服务的请求；步骤2.3：控制节点与其他节点进行通信，确保步骤2.1中的所有节点正常进行协同推断服务；步骤2.4：请求发起程序将待推断样本发送至控制节点，控制节点发送待推断样本到各待推断设备，即各其他节点；步骤2.5：当前节点按照给定顺序将中间结果传递至负责下一个模型切片的节点，以此类推，直至最后一个模型切片的节点完成推理，再将最终结果发送给控制节点；步骤2.6：控制节点将步骤2.5得到的最终结果输出。2.根据权利要求1所述的面向深度学习Transformer类模型的移动设备协同推断系统，其特征在于：所述步骤1.1中的硬件信息包括内存、储存空间，cpu计算频率。3.根据权利要求1所述的面向深度学习Transformer类模型的移动设备协同推断系统，其特征在于：所述步骤1.4中分发算法的步骤为：在各设备上使用各模型切片进行测试，推理出实际所需的时间开销，查找当前负载最小的设备并将模型切片分配到这个设备上，所述负载最小的设备指运行当前已分配的模型切片需要的时间最少的设备。4.根据权利要求3所述的面向深度学习Transformer...

【专利技术属性】
技术研发人员：许封元，吴昊，柯晓鹏，赵鑫，姚荣春，
申请(专利权)人：南京大学，
类型：发明
国别省市：