【技术实现步骤摘要】
边端协同的并发实时流式数据分析任务处理方法及设备
本专利技术属于边缘计算领域，具体是一种边端协同的并发实时流式数据分析任务处理方法及设备。
技术介绍
随着人工智能技术的发展，实时流式数据处理成为信息获取的关键手段。一方面许多应用对于实时流式数据处理要求较低的时延，另一方面为了减少在广域网上传输大量元数据对于广域网造成的压力，实时流式数据分析任务越来越多的在靠近数据产生端的边缘站点上进行执行。对于实时流式数据分析任务来说，数据处理的采样周期越高，每次采样的采样率越高，数据处理得到的准确率就越高。由于边缘站点上的可用计算资源是有限的，当边缘站点上同时执行多个实时流式数据分析任务时，实时视频流的处理效果与处理时延成为需要进行权衡的两个方面。当一个实时流式数据分析任务的采样周期和每个采样周期中采样率较高时，其需要的处理时间就较多，很可能导致其他实时流式数据分析任务的处理产生排队，进而出现较高的时延。因而，当站点上同时运行着多条实时流式数据分析任务时，需要合理的为每个视频流选择合适的采样周期以及每个采样周期中的采样率(以下将实时流式数...
【技术保护点】
1.一种边端协同的并发实时流式数据分析任务处理方法，其特征在于，包括以下步骤：/n基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选，确定实时流式数据分析任务的可选配置集合；/n根据实时流式数据分析任务的可选配置集合，基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略；/n根据确定的侧写策略以及执行策略执行实时流式数据分析任务。/n
【技术特征摘要】
1.一种边端协同的并发实时流式数据分析任务处理方法，其特征在于，包括以下步骤：
基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选，确定实时流式数据分析任务的可选配置集合；
根据实时流式数据分析任务的可选配置集合，基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略；
根据确定的侧写策略以及执行策略执行实时流式数据分析任务。
2.根据权利要求1所述的并发实时流式数据分析任务处理方法，其特征在于，所述基于帕累托最优对服务器站点上运行的实时流式数据分析任务的配置进行初步筛选，确定实时流式数据分析任务的可选配置集合包括：
每个实时流式数据分析任务的所有配置项的可选值集合的笛卡尔积构成实时流式数据分析任务的候选配置方案集合；
将单一实时流式数据分析任务的所有配置方案及其计算资源开销进行升序排序；
分析相邻配置方案之间的优先级以及计算资源开销的变化情况；
将在后续一定不会被选到的配置方案从候选配置方案集合中除去，留下的配置方案构成实时流式数据分析任务的可选配置集合。
3.根据权利要求2所述的并发实时流式数据分析任务处理方法，其特征在于，按照下述方式分析相邻配置方案之间的优先级：
以cij表示实时流式数据分析任务i以配置j执行的配置方案，根据配置方案cij的计算资源开销wij以及侧写次数pij和执行次数eij，按下式计算配置方案cij的优先级μ′ij：
其中μij是当前时刻配置方案cij的统计准确率，aij为配置方案cij处理一秒钟的数据量的平均准确率，表示本次策略更新之前的μij，wi0为黄金配置的计算资源开销。
4.根据权利要求3所述的并发实时流式数据分析任务处理方法，其特征在于，后续一定不会被选到的配置方案为满足以下任一条件的配置方案：
μ′ij-1＞μ′ij，wij-1＜wij(a)
其中μ′ij-1为配置方案cij-1的优先级，wij-1配置方案cij-1的计算资源开销，cij-1为实时流式数据分析任务i以配置j-1执行的配置方案；μ′ij+1为配置方案cij+1的优先级，wij+1配置方案cij+1的计算资源开销，cij+1为实时流式数据分析任务i以配置j+1执行的配置方案。
5.根据权利要求1所述的并发实时流式数据分析任务处理方法，其特征在于，所述基于服务器站点执行任务的总效用值最大化的原则为该站点上执行的所有实时流式数据分析任务选择侧写策略和执行策略包括：
对每个实时流式数据分析任务的所有可选配置方案，按照其计算资源开销进行升序排序，并为每个实时流式数据分析任务选择一个初始配置方案；
尝试将初始配置方案替换为先前排序中的下一个配置方案，在满足约束条件的前提下，从其他配置方案中选择单位计算资源能够获得最大效用值的配置方案进行替换。
6.根据权利要...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。