System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及工业互联网领域,尤其涉及一种虚拟电厂边缘计算网关的数据处理方法及系统。
技术介绍
1、边缘计算(edge computing)是一种在物理上靠近数据源头的网络边缘检测,融合网络、计算、存储、应用核心能力的开放平台,就近提供边缘智能服务的计算模式。随着系统信息化与智能化水平的不断提高,边缘计算已变得越发重要,一方面,其在大数据处理分析方面的优势,另一方面,边缘计算在低延时与高可靠的场景中有着其他技术无法替代的优势;再者,边缘计算可提供弹性扩展的云服务能力,具有快速响应、低延迟和轻量计算等特点。边缘计算及系统能够广泛的应用于内容分发网络、电商、游戏、音视频、物联网、物流、工业大脑、城市大脑等各种应用场景中,被云厂商、电信运营商、软件/行业解决方案厂商、系统集成商、制造商、基础设施建设方等所广泛使用。边缘计算在各个行业中发挥了积极有效的作用。
2、边缘计算中的边缘网关节点的管理和控制是提高数据处理效率的关键节点,除了承担计算、储存、通讯功能外,还具备任务管理、数据管理、数据分析等功能;在针对不同应用场景网络、不同的接入终端、接入数量、不同时间、不同环节、不同接入请求等多种因素形成的复杂场景下,如何对异构网络的数据进行处理,使之能够准确地下发到对应网络的终端设备,保障边缘计算服务效率,是亟需需要解决的问题。
技术实现思路
1、本专利技术提供了一种虚拟电厂边缘计算网关的数据处理方法及系统,解决了边缘计算中边缘网关节点对于异构网络中不同的任务调度指令识别效率和准确度低
2、本专利技术第一方面提供的一种虚拟电厂边缘计算网关的数据处理方法,包括:
3、获取多种样例集合;所述样例集合包括位置样本数据和多模态样本数据,其中,所述位置样本数据为异构网络在不同场景下的有效信息在传输数据中的位置,所述多模态样本数据为不同格式的多模态数据;
4、基于任务训练模型,利用所述样例集合的所述多模态样本数据对所述任务训练模型进行预训练;
5、根据所述样例集合中设定异构网络的所述位置样本数据对预训练后的所述任务训练模型进行感知训练;
6、将感知训练后的所述任务训练模型作为第一模型,从所述样例集合中获取第一多模态样本数据;
7、基于所述第一多模态样本数据对所述第一模型进行训练,输出预测结果;
8、对当前输出的预测结果进行参数指标分析,并判断分析的参数指标是否收敛;
9、若收敛,则将当前输出的预测结果,作为所述第一多模态样本数据的伪标签结果,得到伪标签样本数据并补充到所述样例集合中;
10、若不收敛,则根据当前输出的预测结果对所述第一模型进行更新,并返回执行采用所述第一多模态样本数据对更新后的所述第一模型进行训练处理;
11、基于所述样例集合和训练后的所述任务训练模型,进行迁移学习,形成任务调度指令模型。
12、可选地,所述若收敛,则将当前输出的预测结果,作为所述第一多模态样本数据的伪标签结果,得到伪标签样本数据并补充到所述样例集合中的步骤,包括:
13、将当前输出的预测结果作为所述第一多模态样本数据的伪标签结果,对所述伪标签结果按照预设规则进行筛选;
14、将筛选后的所述多模态样本数据和所述伪标签结果,确定为伪标签样本数据,并补充到所述样例集合中。
15、可选地,所述对所述伪标签结果按照预设规则进行筛选的步骤,包括:
16、验证所述伪标签结果中不同异构网络的任务标注结果的一致性;
17、根据一致性结果筛选伪标签结果。
18、可选地,所述将感知训练后的所述任务训练模型作为第一模型,从所述样例集合中获取第一多模态样本数据的步骤之前,还包括:
19、根据感知训练后的所述任务训练模型初始化第一模型和第二模型,从所述样例集合中获取第二多模态样本数据;
20、对所述第二多模态样本数据采用两种不同扰动方式进行扰动处理,以分别形成第一训练数据和第二训练数据;
21、将所述第一训练数据输入所述第一模型,输出第一预测结果;
22、将所述第二训练数据输入所述第二模型,输出第二预测结果;
23、计算所述第一预测结果和所述第二预测结果之间的损失,作为伪标签损失;
24、根据所述第一模型和所述第二模型中输出的特征,进行特征一致性计算,以获取特征一致性损失;
25、根据所述伪标签损失和所述特征一致性损失,确定梯度;
26、根据所述梯度和所述伪标签损失,对所述第二模型的参数进行更新;
27、根据所述第二模型的更新后参数引导所述第一模型的参数进行更新。
28、可选地,所述任务训练模型包括预处理网络、主体网络和多任务输出网络。
29、本专利技术第二方面提供的一种虚拟电厂边缘计算网关的数据处理系统,包括:
30、样例集合模块,用于获取多种样例集合;所述样例集合包括位置样本数据和多模态样本数据,其中,所述位置样本数据为异构网络在不同场景下的有效信息在传输数据中的位置,所述多模态样本数据为不同格式的多模态数据;
31、任务训练模型模块,用于基于任务训练模型,利用所述样例集合的所述多模态样本数据对所述任务训练模型进行预训练;
32、感知训练模块,用于根据所述样例集合中设定异构网络的所述位置样本数据对预训练后的所述任务训练模型进行感知训练;
33、样本数据模块,用于将感知训练后的所述任务训练模型作为第一模型,从所述样例集合中获取第一多模态样本数据;
34、预测结果模块,用于基于所述第一多模态样本数据对所述第一模型进行训练,输出预测结果;
35、收敛判断模块,用于对当前输出的预测结果进行参数指标分析,并判断分析的参数指标是否收敛;
36、第一数据处理模块,用于若收敛,则将当前输出的预测结果,作为所述第一多模态样本数据的伪标签结果,得到伪标签样本数据并补充到所述样例集合中;
37、第二数据处理模块,用于若不收敛,则根据当前输出的预测结果对所述第一模型进行更新,并返回执行采用所述第一多模态样本数据对更新后的所述第一模型进行训练处理;
38、任务调度指令模型模块,用于基于所述样例集合和训练后的所述任务训练模型,进行迁移学习,形成任务调度指令模型。
39、可选地,所述第一数据处理模块包括:
40、筛选子模块,用于将当前输出的预测结果作为所述第一多模态样本数据的伪标签结果,对所述伪标签结果按照预设规则进行筛选;
41、补充子模块,用于将筛选后的所述多模态样本数据和所述伪标签结果,确定为伪标签样本数据,并补充到所述样例集合中。
42、可选地,所述筛选子模块包括:
43、验证单元,用于验证所述伪标签结果中不同异构网络的任务标注结果的一致性;
44、伪本文档来自技高网...
【技术保护点】
1.一种虚拟电厂边缘计算网关的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述若收敛,则将当前输出的预测结果,作为所述第一多模态样本数据的伪标签结果,得到伪标签样本数据并补充到所述样例集合中的步骤,包括:
3.根据权利要求2所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述对所述伪标签结果按照预设规则进行筛选的步骤,包括:
4.根据权利要求1所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述将感知训练后的所述任务训练模型作为第一模型,从所述样例集合中获取第一多模态样本数据的步骤之前,还包括:
5.根据权利要求1所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述任务训练模型包括预处理网络、主体网络和多任务输出网络。
6.一种虚拟电厂边缘计算网关的数据处理系统,其特征在于,包括:
7.根据权利要求6所述的虚拟电厂边缘计算网关的数据处理系统,其特征在于,所述第一数据处理模块包括:
8.根据权利要求7所述的虚拟电厂边缘计
9.根据权利要求6所述的虚拟电厂边缘计算网关的数据处理系统,其特征在于,还包括:
10.根据权利要求6所述的虚拟电厂边缘计算网关的数据处理系统,其特征在于,所述任务训练模型包括预处理网络、主体网络和多任务输出网络。
11.一种电子设备,其特征在于,包括存储器及处理器,所述存储器中储存有计算机程序,所述计算机程序被所述处理器执行时,使得所述处理器执行如权利要求1-5任一项所述的虚拟电厂边缘计算网关的数据处理方法的步骤。
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-5任一项所述的虚拟电厂边缘计算网关的数据处理方法。
...【技术特征摘要】
1.一种虚拟电厂边缘计算网关的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述若收敛,则将当前输出的预测结果,作为所述第一多模态样本数据的伪标签结果,得到伪标签样本数据并补充到所述样例集合中的步骤,包括:
3.根据权利要求2所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述对所述伪标签结果按照预设规则进行筛选的步骤,包括:
4.根据权利要求1所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述将感知训练后的所述任务训练模型作为第一模型,从所述样例集合中获取第一多模态样本数据的步骤之前,还包括:
5.根据权利要求1所述的虚拟电厂边缘计算网关的数据处理方法,其特征在于,所述任务训练模型包括预处理网络、主体网络和多任务输出网络。
6.一种虚拟电厂边缘计算网关的数据处理系统,其特征在于,包括:
...【专利技术属性】
技术研发人员:李江南,程韧俐,王滔,欧鸣宇,赵文猛,毛田,黄光磊,蒋季儒,
申请(专利权)人:深圳供电局有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。