本发明专利技术涉及数据处理，具体涉及一种基于边缘计算的遥感卫星大数据处理方法及系统，传输节点选取覆盖区域内的采集终端组成传输簇，采集终端确定每个子传输簇的大小，并上报给传输节点；传输节点确定各采集终端对应子传输簇内的数据终端，数据终端通过采集终端将数据发送至传输节点；获取边缘节点在预设间隔时间段内的任务量，并基于该边缘节点的一系列任务量获得分类特征图；对分类特征图的每个通道的特征矩阵进行全局平均池化，以获得特征向量，并基于特征向量得到分类特征向量；将分类特征向量输入分类器以获得边缘节点的工作状态；本发明专利技术提供的技术方案能够有效克服现有技术所存在的无法满足用户对数据处理高时效性需求的缺陷。陷。陷。
【技术实现步骤摘要】
一种基于边缘计算的遥感卫星大数据处理方法及系统
[0001]本专利技术涉及数据处理，具体涉及一种基于边缘计算的遥感卫星大数据处理方法及系统。
技术介绍
[0002]随着卫星遥感的快速发展，遥感卫星数据在国土、林业等领域逐渐呈现出业务化应用的趋势。然而，目前遥感卫星数据处理系统基于现有技术发展水平，以满足用户需求为导向，尚未对具有“3V(Volume、Variety、Velocity)”特征且不能用常规手段处理的遥感卫星大数据进行适应性分析与设计。
[0003]随着硬件成本的降低，网络带宽的提升，分布式计算的兴起，网络技术的发展，智能终端及物联网的兴起与应用，遥感卫星数据的时空尺度和要素类型全面拓展，其种类和数据量急剧膨胀，逐渐呈现出多源、多维、大量、多态和高速的特征，且用户在大数据时代对于数据信息的需求呈现多元化趋势，有效处理、存储、分析和应用这些大数据，满足用户的多元化需求已经成为当前遥感卫星数据处理系统设计的关键。
[0004]随着在轨遥感卫星越来越密集，其载荷数据及应用多样性越来越显著，同时遥感卫星数据规模急速增长，用户对数据处理及应用的高时效性需求越来越强烈，系统还面临着高可扩展性需求及资源整合紧迫性需求。当前，遥感卫星数据处理系统还无法满足用户对数据处理高时效性的需求，因此必须结合当前大数据技术的发展，解决目前系统面临的挑战。
技术实现思路
[0005](一)解决的技术问题
[0006]针对现有技术所存在的上述缺点，本专利技术提供了一种基于边缘计算的遥感卫星大数据处理方法及系统，能够有效克服现有技术所存在的无法满足用户对数据处理高时效性需求的缺陷。
[0007](二)技术方案
[0008]为实现以上目的，本专利技术通过以下技术方案予以实现：
[0009]一种基于边缘计算的遥感卫星大数据处理方法，包括以下步骤：
[0010]S1、传输节点选取覆盖区域内的采集终端组成传输簇，采集终端确定每个子传输簇的大小，并上报给传输节点；
[0011]S2、传输节点确定各采集终端对应子传输簇内的数据终端，数据终端通过采集终端将数据发送至传输节点；
[0012]S3、获取边缘节点在预设间隔时间段内的任务量，并基于该边缘节点的一系列任务量获得分类特征图；
[0013]S4、对分类特征图的每个通道的特征矩阵进行全局平均池化，以获得特征向量，并基于特征向量得到分类特征向量；
[0014]S5、将分类特征向量输入分类器以获得边缘节点的工作状态，传输节点根据工作状态对边缘节点进行数据分配。
[0015]优选地，S1中传输节点选取覆盖区域内的采集终端组成传输簇，包括：
[0016]传输节点基于相应覆盖区域内采集终端的通信状况对采集终端进行排序，并优选采集终端组成传输簇；
[0017]其中，采集终端的通信状况包括采集终端与传输节点之间的路径损耗、信干噪比。
[0018]优选地，S1中采集终端确定每个子传输簇的大小，并上报给传输节点，包括：
[0019]每个传输簇中的采集终端基于采集终端与传输节点之间单次数据传输的能量消耗、采集终端与传输节点之间的通信状况、剩余可用能量以及子传输簇大小调整比例中的一个或多个参数，计算对应子传输簇的容纳数据量，并上报给传输节点。
[0020]优选地，S2中传输节点确定各采集终端对应子传输簇内的数据终端，包括：
[0021]传输节点根据采集终端和对应子传输簇内所有数据终端之间的距离、数据终端单次传输的数据大小以及该子传输簇的容纳数据量，确定该子传输簇内的数据终端。
[0022]优选地，S2中数据终端通过采集终端将数据发送至传输节点，包括：
[0023]各采集终端将对应子传输簇内所有数据终端的数据打包为子传输簇数据包，并发送至传输节点；
[0024]其中，子传输簇数据包包括子传输簇ID、各数据终端在子传输簇内的索引以及子传输簇中所有数据终端的数据。
[0025]优选地，S3中获取边缘节点在预设间隔时间段内的任务量，并基于该边缘节点的一系列任务量获得分类特征图，包括：
[0026]将同一天内的任务量按时间先后顺序排列成行，再将不同天的任务量按时间先后顺序排列成列，构造数据矩阵，并利用深度残差网络提取数据矩阵中的模式以获得分类特征图。
[0027]优选地，S4中基于特征向量得到分类特征向量，包括：
[0028]计算特征向量中各个位置的分类函数值，并对小于阈值的分类函数值进行删除，以得到分类特征向量；
[0029]其中，特征向量中各个位置分类函数值的计算公式为：V＝exp(
‑
x
i
)/∑
i
exp(
‑
x
i
)，x
i
为特征向量中各个位置的特征值。
[0030]优选地，S5中将分类特征向量输入分类器以获得边缘节点的工作状态，包括：
[0031]将分类特征向量输入分类函数，分别获得该边缘节点的满载、非满载概率，以及基于满载、非满载概率确定的工作状态。
[0032]一种基于边缘计算的遥感卫星大数据处理系统，包括传输簇生成模块、子传输簇大小确定模块、子传输簇结构确定模块、数据传输模块、分类特征图获取模块、特征向量获取模块、分类特征向量获取模块、工作状态确定模块和数据分配模块；
[0033]传输簇生成模块，基于相应覆盖区域内采集终端的通信状况对采集终端进行排序，并优选采集终端组成包含传输节点的传输簇；
[0034]子传输簇大小确定模块，基于采集终端与传输节点之间单次数据传输的能量消耗、采集终端与传输节点之间的通信状况、剩余可用能量以及子传输簇大小调整比例中的一个或多个参数，计算对应子传输簇的容纳数据量；
[0035]子传输簇结构确定模块，根据采集终端和对应子传输簇内所有数据终端之间的距离、数据终端单次传输的数据大小以及该子传输簇的容纳数据量，确定该子传输簇内的数据终端；
[0036]数据传输模块，将对应子传输簇内所有数据终端的数据打包为子传输簇数据包，并发送至传输节点；
[0037]分类特征图获取模块，利用边缘节点在预设间隔时间段内的任务量构造数据矩阵，并利用深度残差网络提取数据矩阵中的模式以获得分类特征图；
[0038]特征向量获取模块，对分类特征图的每个通道的特征矩阵进行全局平均池化，以获得特征向量；
[0039]分类特征向量获取模块，计算特征向量中各个位置的分类函数值，并对小于阈值的分类函数值进行删除，以得到分类特征向量；
[0040]工作状态确定模块，将分类特征向量输入分类函数，分别获得该边缘节点的满载、非满载概率，以及基于满载、非满载概率确定的工作状态；
[0041]数据分配模块，根据工作状态对边缘节点进行数据分配。
[0042](三)有益效果
[0043]与现有技术相比，本专利技术所提供的一种基于边缘计算的遥感卫星大数据处理方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于边缘计算的遥感卫星大数据处理方法，其特征在于：包括以下步骤：S1、传输节点选取覆盖区域内的采集终端组成传输簇，采集终端确定每个子传输簇的大小，并上报给传输节点；S2、传输节点确定各采集终端对应子传输簇内的数据终端，数据终端通过采集终端将数据发送至传输节点；S3、获取边缘节点在预设间隔时间段内的任务量，并基于该边缘节点的一系列任务量获得分类特征图；S4、对分类特征图的每个通道的特征矩阵进行全局平均池化，以获得特征向量，并基于特征向量得到分类特征向量；S5、将分类特征向量输入分类器以获得边缘节点的工作状态，传输节点根据工作状态对边缘节点进行数据分配。2.根据权利要求1所述的基于边缘计算的遥感卫星大数据处理方法，其特征在于：S1中传输节点选取覆盖区域内的采集终端组成传输簇，包括：传输节点基于相应覆盖区域内采集终端的通信状况对采集终端进行排序，并优选采集终端组成传输簇；其中，采集终端的通信状况包括采集终端与传输节点之间的路径损耗、信干噪比。3.根据权利要求1所述的基于边缘计算的遥感卫星大数据处理方法，其特征在于：S1中采集终端确定每个子传输簇的大小，并上报给传输节点，包括：每个传输簇中的采集终端基于采集终端与传输节点之间单次数据传输的能量消耗、采集终端与传输节点之间的通信状况、剩余可用能量以及子传输簇大小调整比例中的一个或多个参数，计算对应子传输簇的容纳数据量，并上报给传输节点。4.根据权利要求1所述的基于边缘计算的遥感卫星大数据处理方法，其特征在于：S2中传输节点确定各采集终端对应子传输簇内的数据终端，包括：传输节点根据采集终端和对应子传输簇内所有数据终端之间的距离、数据终端单次传输的数据大小以及该子传输簇的容纳数据量，确定该子传输簇内的数据终端。5.根据权利要求1所述的基于边缘计算的遥感卫星大数据处理方法，其特征在于：S2中数据终端通过采集终端将数据发送至传输节点，包括：各采集终端将对应子传输簇内所有数据终端的数据打包为子传输簇数据包，并发送至传输节点；其中，子传输簇数据包包括子传输簇ID、各数据终端在子传输簇内的索引以及子传输簇中所有数据终端的数据。6.根据权利要求1所述的基于边缘计算的遥感卫星大数据处理方法，其特征在于：S3中获取边缘节点在预设间隔时间段内的任务量，并基于该边缘节点的一系列任务量获得分类特征图，包括：将同一天内的任务量按时间先后顺序排列成行，再将不同天的任务量按时间先后顺序排列成列，构造数据矩阵，并利用深度残差网络提...
【专利技术属性】
技术研发人员：方明，高扬，谢正傲，范浩然，
申请(专利权)人：六安市空间数据应用有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。