用于算网融合环境中面向实时视频流应用的推断加速方法技术

本发明专利技术公开了一种用于算网融合环境中面向实时视频流应用的超分辨率推断加速方法，首先构建了基于多尺度特征提取的超分辨率神经网络模型，并在算网融合环境下合理部署多尺度特征提取模型，进而构建面向实时视频流应用的执行框架；然后采集算网融合环境中计算与网络资源的性能特征；结合超分辨率推断执行框架构建控制端到端时延的优化模型；最后提出推断加速决策算法，针对不同的实时视频流应用提出个性化的计算和传输控制方案，在端到端时延的限制条件下最小化应用执行时间，进而满足实时视频流应用高视频质量低延迟的需求。本发明专利技术解决了传统端云结构下的超分辨率推断模式无法同时满足实时视频流应用视频质量与实时性要求的问题。的问题。的问题。

【技术实现步骤摘要】
用于算网融合环境中面向实时视频流应用的推断加速方法


[0001]本专利技术涉及边缘计算和深度学习领域，具体地说是一种用于算网融合环境中面向实时视频流应用的推断加速方法。

技术介绍

[0002]随着高清摄像头和高清屏幕等多媒体设备的不断普及，人们对实时视频流应用的清晰度要求越来越高。然而，由于网络边缘侧和核心侧基础设施建设的差异，核心网络越来越难以承受大量高清实时视频流用户带来的压力，进而催生了以超分辨率为代表的利用终端计算能力提升视频清晰度的技术。随着5G等移动通信技术的高速发展，越来越多的用户开始在移动终端上观看实时视频流，在移动终端上运行实时视频流超分辨率应用已成为必然趋势。超分辨率技术为视频传输的过程增加了一个计算步骤，即利用客户端的计算能力提升视频的画质，使得客户端只需要接收低清晰度的视频流就能为用户呈现高清晰度的视频内容，从而将视频传输的压力部分转移为了客户端设备的计算压力。然而，超分辨率技术所使用的深度学习模型通常计算量较大，移动设备上有限的计算资源很难在保证输出视频质量的情况下支持超分辨率模型实时运行。设备计算资源受限问题在视频超分辨率等深度学习应用中普遍存在，是阻碍深度学习技术实现移动终端智能化的主要障碍之一。
[0003]在实际情况下，实时视频传输应用中的数据流通常是从云数据中心发出，经过广域网到达终端侧。而随着NFV等虚拟化技术的发展和网络基础设施的不断完善，广域网中逐渐产生了大量的冗余算力。基于此，为解决类似的广域网应用所面临的计算障碍，学术界和工业界提出一种支持终端智能服务的新型计算范式——算网融合，并逐渐成为分布式计算领域的研究热点之一。算网融合借助虚拟化等技术在网络设备上运行计算任务，从而将部分计算任务从云计算中心或终端迁移至网络设备，基于网络内生资源，进行数据的在网处理，实现应用处理在网络内部的加速，减小应用响应延迟，提高应用效率，使网络成为为全社会提供算力的基础设施。但是，与位于网络核心区域的云计算中心相比，算网融合系统中占主要部分的区域节点和边缘节点往往只是一些微型服务器或支持虚拟化功能的网络设备，其计算资源远不如云端，且其可用算力和带宽也可能发生变化。而目前超分辨率模型领域具有较高输出质量的模型大都需要消耗巨量的计算资源，以至于单个区域节点和边缘节点的算力并不足以支持高质量超分辨率模型稳定的实时推断。同时，在面向多用户的使用场景下，为数量较多的终端用户提供服务容易造成局部区域节点的算力和网络资源紧张，进一步增加了保证视频质量和视频传输实时性的难度。因此，面对算网融合系统中普遍存在的资源有限、计算和网络环境动态改变，以及用户分布不均等问题，如何充分发挥算网融合的优势实现超分辨率实时视频流传输的高视频质量和高实时性，以保证用户的视频观看体验，是算网融合应用于实时视频流超分辨率传输时需要解决的重点问题。
[0004]现有超分辨率推断执行框架以及控制机制的局限性主要体现在以下两点：(1)经过大量训练生成的超分辨率模型的参数量与所需的计算量通常十分庞大，但并不是模型每一个部分都对最终输出的图像质量有同等重要的贡献。基于此，超分辨率模型结构优化算
法通过跳过模型中不重要的计算过程，达到推断加速的目的。但缩减超分辨率模型所需要处理的数据范围的方式要求待处理的数据尽可能地已知，运行时输入视频数据的不确定性会显著影响这种方法输出的视频质量，因此很难适用于视频数据几乎完全未知的实时视频流超分辨率应用。(2)边缘节点协同计算过程的优化研究中，通常的计算模式是根据算力和带宽等实际情况，将来自终端的计算任务部分卸载到单个边缘节点。但由于边缘节点通常离用户非常近，单个边缘节点通常只会服务于少量用户，在用户量较大的实时视频流应用中，用户在网络中的不同位置获取相同内容，超分辨率模型势必要部署于大量的边缘节点上，占用大量的计算资源却只执行相同的计算任务、输出相同的内容。因此将超分辨率计算部署于单个边缘节点会消耗大量的计算资源。此外，利用边缘节点间缓存的移动应对用户移动性的方式要求将用户将要播放的内容提前一段时间在边缘节点上提前进行缓存，这势必会让用户播放和视频缓存间保持一个较高的延迟，因此并不适合需要尽可能降低延迟的实时视频流传输场景。

技术实现思路

[0005]技术问题：为了克服
技术介绍
中所指出的现有算网融合环境中模型计算量大、模式单一的推断加速模式无法有效利用边缘侧的计算能力，导致端到端时延延长、额外计算开销大、响应速度低的问题。本专利技术提出了一种用于算网融合环境中面向实时视频流应用的推断加速方法，该方法实现针对实时视频流应用和超分辨率神经网络模型的结构提出分布式协同推断加速方案，在一定的延迟限制下最大化输出视频的质量，提高终端设备的资源利用率，从而满足实时视频流应用高质量、低延迟的应用需求。
[0006]技术方案：本专利技术是一种用于算网融合环境中面向实时视频流应用的推断加速方法，包含四个部分，分别是构建超分辨率神经网络模型，搭建推断执行框架，系统信息采集，延迟建模分析和推断加速决策。具体实现方法如下：
[0007]在构建超分辨率神经网络模型部分中，利用多尺度特征提取的思想对深度神经网络模型进行改造，并合理划分多个分块。具体步骤如下：
[0008]步骤1，解开超分辨率模型中的多尺度特征提取结构的数据依赖，根据超分辨率模型中的数据流动路径取出超分辨率模型分块组成分支结构，使得每个尺度的特征都由独立分支计算得来，而剩余部分作为聚合分块聚合各多尺度分块所输出的数据；
[0009]步骤2，对于所述步骤1中得到的解开了多尺度特征提取结构数据依赖的超分辨率模型，对其在解开依赖时各分支中的重复分块进行裁剪，使得各分支在相同设备上都具有相近的时延；
[0010]步骤3，在数据集上对所述步骤2中的模型进行训练，得到优化后的具有较高精度的超分辨率模型；
[0011]在搭建推断执行框架部分中，基于构建超分辨率神经网络模型部分中构建的超分辨率推断执行框架，采集系统中的相关数据并分析相应的特征，具体包括：算网融合环境下当前网络传输能力特征、超分辨率多尺度特征提取模型的中间数据特征、压缩视频流的数据特征。该执行框架的主要执行步骤如下：
[0012]步骤1，对构建超分辨率神经网络模型部分中所得到的超分辨率模型，将其多尺度特征提取分支和聚合分块打包为多个可独立部署的部件，并部署于多个计算设备上；
[0013]步骤2，各个多尺度特征提取分支分块所在设备接收低清视频流，以指定帧序列长度和吞吐量运行分块对视频流进行处理，并将结果发送给聚合分块所在设备；
[0014]步骤3，聚合分块所在设备接收来自分支分块的计算结果，运行聚合分块对接收数据进一步推断。将结果输出给终端设备。
[0015]在系统信息采集部分中，基于所构建的超分辨率推断执行框架，采集系统中的相关数据并分析相应的特征，具体包括：算网融合环境下当前网络传输能力特征、超分辨率多尺度特征提取模型的中间数据特征、压缩视频流的数据特征。具体步骤如下所示:
[0016]步骤1，根据算网融合环境下的历史日志数据，分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于算网融合环境中面向实时视频流应用的推断加速方法，其特征在于：该方法利用算网融合环境中各层不同的计算能力与网络链路特性，构建面向实时视频流应用的超分辨率推断执行框架，并通过不断对网络状况及相关系统参数进行采集分析，完成对计算过程的动态调节；该方法包括以下步骤：步骤1)利用多尺度特征提取的思想对深度神经网络模型进行改造，并合理划分多个分块；步骤2)基于步骤1)构建面向实时视频流应用的超分辨率推断执行框架；具体有：框架将深度神经网络模型分块分布式地部署在算网融合环境中不同的位置，能动态决定推断序列长度和吞吐量，以控制实现计算过程的动态调节；步骤3)基于步骤2)所构建的超分辨率推断执行框架，采集系统中的相关数据并分析相应的特征，具体包括：算网融合环境下当前网络传输能力特征、超分辨率多尺度特征提取模型的中间数据特征、压缩视频流的数据特征；步骤4)根据历史数据对步骤1)中的超分辨率模型和步骤2)中推断执行框架的计算过程进行建模，得到超分辨率推断执行框架的各部分在不同特征参数下的推断时延期望值；将步骤3)中所得到的特征数据作为输入参数，进一步分析得到任务在不同序列长度下端到端时延的期望值，构建端到端时延的估算模型作为优化限制条件；步骤5)根据历史数据统计步骤1)中的超分辨率模型在不同特征参数下的推断视频质量期望值，构建视频质量的估算函数，以最大化视频质量为优化目标；在步骤4)中所得到的构建端到端时延限制条件下，对视频质量最大化模型的解空间进行搜索，得到最优超分辨率推断执行方案，进而在满足实时性限制的条件下获得较高的视频质量。2.根据权利要求1所述的用于算网融合环境中面向实时视频流应用的推断加速方法，其特征在于：所述步骤1)中，对于面向实时视频流应用的超分辨率推断执行框架的构建，根据超分辨率深度神经网络的结构特点将其划分为多个相互独立的多尺度分支分块和聚合分块；多尺度分块互相之间无数据依赖而独立运行，聚合分块依赖各多尺度分块所输出的数据；步骤1)包括以下步骤：步骤101)解开超分辨率模型中的多尺度特征提取结构的数据依赖，根据超分辨率模型中的数据流动路径取出超分辨率模型分块组成分支结构，使得每个尺度的特征都由独立分支计算得来，而剩余部分作为聚合分块聚合各多尺度分块所输出的数据；步骤102)对于所述步骤101)中得到的解开了多尺度特征提取结构数据依赖的超分辨率模型，对其在解开依赖时各分支中的重复分块进行裁剪，使得各分支在相同设备上都具有相近的时延；步骤103)在数据集上对所述步骤102)中的模型进行训练，得到优化后的具有较高精度的超分辨率模型。3.根据权利要求1所述的用于算网融合环境中面向实时视频流应用的推断加速方法，其特征在于：所述步骤2)对步骤1)所获得的模型进行部署并为步骤5)的提供对推断过程进行控制的手段；步骤2)包括以下步骤：步骤201)对步骤1)中所得到的超分辨率模型，将其多尺度特征提取分支和聚合分块打包为多个可独立部署的部件，并部署于多个计算设备上；步骤202)各个多尺度特征提取分支分块所在设备接收低清视频流，以指定帧序列长度
和吞吐量运行分块对视频流进行处理，并将结果发送给聚合分块所在设备；步骤203)聚合分块所在设备接收来自分支分块的计算结果，运行聚合分块对接收数据进一步推断；将结果输出给终端设备。4.根据权利要求1所述的用于算网融合环境中面向实时视频流应用的推断加速方法，其特征在于：所述步骤3)用于采集步骤4)建模和步骤5)分析所需参数；步骤3)包括以下步骤：步骤301)根据算网融合环境下的历史日志数据，分析超分辨率模型输出视频质量与帧序列长度，压缩视频包大小，压缩视频内运动矢量量级和残差数据量大小等特征间的关系，得到视频质量Q关于帧序列长度w和压缩视频特征f之间的关系；步骤302)获取各计算设备CPU性能，内存容量，磁盘大小等数据特征，结合历史数据特征，计算在不同帧序列长度w下模型各分块在各个计算设备上的平...

【专利技术属性】
技术研发人员：东方，尹达恒，沈典，郭晓琳，罗军舟，
申请(专利权)人：东南大学，
类型：发明
国别省市：