【技术实现步骤摘要】
本专利技术属于物联网领域，涉及物联网中的视觉感知协同方法，尤其涉及大规模视觉物联网设备的端边云协同处理方法和系统。
技术介绍
1、近年来，随着物联网、边缘计算和人工智能等技术的快速发展，万物互联已经成为一个可以预见的必然趋势。物联网终端拥有海量的数据，而视频是终端数据里存储量最大的一种类型。视觉物联网为物联网的视觉信息感知部分，利用各类摄像头采集人、车、物等视频数据并采用智能分析技术对视觉信息进行处理，为后续分析提供支撑。然而在面对资源密集型的视频任务时，如果所有视频数据都在云上进行处理，即使云服务器具有很高的计算能力，但是由于带宽资源受限，大量数据可能会导致网络拥塞，很难满足有超低时延要求的任务。在深度神经网络驱动下，边缘智能在物联网场景中得到了广泛的应用，主要用于智慧城市中各类新型场景的推理服务，包括智能交通、智慧社区、工业物联网等。具有视觉信息采集能力的物联网设备日益普及将导致大量数据从云端流向边缘侧。当前研究通过将海量的视频数据在边缘端进行处理，将关键的信息和复杂的信息数据集上传到云端，减轻云服务器的负载，同时边缘计算也会增加实时性。边缘计算因更分散且更靠近数据源，在节省传输带宽方面具有很大的优势。但是，边缘设备的算力资源受限，通常只能处理一些简单的推理服务，难以满足复杂推理服务的准确率需求。
2、当前对端边云协同的研究都局限于任务迁移、资源分配等层面的基础技术。在物联网设备越来越智能化的背景下无法满足更高效率的数据协同处理。例如，有研究通过智能任务分配器来平衡不同计算节点之间的负载，通过从边缘侧和云侧上的算
技术实现思路
1、因此，本专利技术的目的在于克服上述现有技术的缺陷，提供一种基于视觉场景感知的端边云协同方法方法及系统。
2、根据本专利技术的第一方面，提供一种基于视觉场景感知的端边云协同方法，所述端边云为智能终端、边缘服务器和云服务器，包括以下步骤：
3、s1:智能终端感知视觉场景复杂度，
4、s2：根据所述视觉场景复杂度将要处理的视频任务分为简单视频任务，中等视频任务和复杂视频任务；
5、s3:对于所述简单视频任务，智能终端将视频任务传送给边缘服务器进行计算；对于所述复杂视频任务，智能终端将视频任务传送给云服务器进行计算；以及对于所述中等视频任务，智能终端根据边缘服务器和云服务器的可用资源比例在所述边缘服务器和云服务器之间分配视频任务。
6、根据本专利技术的一个实施例，根据下式计算场景复杂度c：
7、c＝α·cg+β·cl
8、其中，cg为全局复杂度，cl为局部复杂度，α，β分别为全局复杂度和局部复杂度的权重。
9、根据本专利技术的一个实施例，所述简单视频任务，中等视频任务和复杂视频任务的划分方法为：当场景复杂度低于或者等于预设阈值c1时，为简单视频任务，当场景复杂度高于或者等于预设阈值c2时，为复杂视频任务，当场景复杂度高于预设阈值c1且低于预设阈值c2时，为中等视频任务，其中c1小于c2。
10、根据本专利技术的一个实施例，所述边缘服务器的可用资源比例计算方法为
11、
12、其中，ie，be，ge，de分别为边缘服务器当前状态的算力资源可用比例、带宽资源可用比例、内存资源可用比例、存储空间的可用比例，
13、所述云服务器的可用资源比例计算方法为
14、
15、其中，ic，bc，gc，dc分别为云服务器当前状态的算力资源可用比例、带宽资源可用比例、内存资源可用比例、存储空间的可用比例。
16、根据本专利技术的一个实施例，所述分配视频任务的方法为：将任务系数tc与服务器可用资源系数src比较，
17、若tc≤src，视频任务上传到边缘服务器处理，
18、若tc>src，视频任务上传到云服务器处理，
19、其中c1，c2为预设阈值且c1<c2，
20、根据本专利技术的一个实施例，所述图像的全局复杂度cg的计算方法如下：
21、cg＝α1·h+α2·sf+α3·φ
22、其中，h为信息熵，sf为空间频率，φ为噪声标准偏差，α1，α2，α3分别为信息熵，空间频率和噪声标准偏差的权重。
23、根据本专利技术的一个实施例，所述信息熵h的计算方法如下：
24、
25、其中，pi,j为图像中特征二元组的灰度值的发生概率。
26、根据本专利技术的一个实施例，所述空间频率sf的计算方法如下：
27、
28、
29、
30、其中，rf为空间行频率，cf为空间列频率，m,n分别为图像在宽度方向和高度方向的像素数目，y(i,j)为图像在第i行第j列的灰度值。
31、根据本专利技术的一个实施例，所述图像的局部复杂度cl的计算方法如下：
32、cl＝β1·δh+β2·δθ
33、其中，δh为互信息，δθ为对比度差，β1，β2分别为互信息和对比度差的权重。
34、根据本专利技术的一个实施例，所述互信息δh的计算方法如下：
35、δh＝ht+hb-ht,b
36、其中ht和hb分别为目标区域和背景区域的信息熵，ht,b是联合熵。
37、根据本专利技术的一个实施例，所述对比度差的计算方法如下：
38、
39、其中μt为目标区域的灰度均值，μb为背景区域的灰度均值，为目标区域的灰度标准差。
40、根据本专利技术的第二方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序可被处理器执行以实现上述任一项所述的方法。
41、根据本专利技术的第三方面，提供一种计算系统，包括：存储装置、以及一个或者多个处理器；其中，所述存储装置用于存储一个或者多个计算机程序，所述计算机程序在被所述处理器执行时用于实现上述任意一项所述的方法。
42、与现有技术相比，本专利技术的优点在于：将智能终端的场景感知能力和服务器资源分配结合在一起综合分析，根据分析结果把各个视频任务合理分配给云服务器和边缘服务器，进而实现大规模视频数据的协同处理并提高整个系统的运行效率。
本文档来自技高网...【技术保护点】
1.一种基于视觉场景感知的端边云协同方法，所述端边云为智能终端、边缘服务器和云服务器，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于视觉场景感知的端边云协同方法，其特征在于，在步骤S1中根据下式计算场景复杂度C：
3.根据权利要求1所述的基于视觉场景感知的端边云协同方法，其特征在于，在步骤S2中，所述简单视频任务，中等视频任务和复杂视频任务的划分方法为：当场景复杂度低于或者等于预设阈值C1时，为简单视频任务，当场景复杂度高于或者等于预设阈值C2时，为复杂视频任务，当场景复杂度高于预设阈值C1且低于预设阈值C2时，为中等视频任务，其中C1小于C2。
4.根据权利要求1所述的基于视觉场景感知的端边云协同方法，其特征在于，在步骤S3中，所述边缘服务器的可用资源比例计算方法为
5.根据权利要求4所述的基于视觉场景感知的端边云协同方法，其特征在于，所述分配视频任务的方法为：将任务系数Tc与服务器可用资源系数SRc比较，
6.根据权利要求2所述的基于视觉场景感知的端边云协同方法，其特征在于，所述图像的全局复杂度Cg
7.根据权利要求6所述的基于视觉场景感知的端边云协同方法，其特征在于，所述信息熵H的计算方法如下：
8.根据权利要求6所述的基于视觉场景感知的端边云协同方法，其特征在于，所述空间频率SF的计算方法如下：
9.根据权利要求2所述的基于视觉场景感知的端边云协同方法，其特征在于，所述图像的局部复杂度Cl的计算方法如下：
10.根据权利要求9所述的基于视觉场景感知的端边云协同方法，其特征在于，所述互信息ΔH的计算方法如下：
11.根据权利要求9所述的基于视觉场景感知的端边云协同方法，其特征在于，所述对比度差的计算方法如下：
12.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，所述计算机程序可被处理器执行以实现权利要求1-11任一项所述的方法。
13.一种计算系统，包括：
...【技术特征摘要】
1.一种基于视觉场景感知的端边云协同方法，所述端边云为智能终端、边缘服务器和云服务器，其特征在于，所述方法包括以下步骤：
2.根据权利要求1所述的基于视觉场景感知的端边云协同方法，其特征在于，在步骤s1中根据下式计算场景复杂度c：
3.根据权利要求1所述的基于视觉场景感知的端边云协同方法，其特征在于，在步骤s2中，所述简单视频任务，中等视频任务和复杂视频任务的划分方法为：当场景复杂度低于或者等于预设阈值c1时，为简单视频任务，当场景复杂度高于或者等于预设阈值c2时，为复杂视频任务，当场景复杂度高于预设阈值c1且低于预设阈值c2时，为中等视频任务，其中c1小于c2。
4.根据权利要求1所述的基于视觉场景感知的端边云协同方法，其特征在于，在步骤s3中，所述边缘服务器的可用资源比例计算方法为
5.根据权利要求4所述的基于视觉场景感知的端边云协同方法，其特征在于，所述分配视频任务的方法为：将任务系数tc与服务器可用资源系数src比较，
【专利技术属性】
技术研发人员：纪雯，杨哲铭，赵健，李宁洲，杨元昊，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。