能源相关数据的选择方法、装置、计算机设备和介质制造方法及图纸

技术编号:37441345 阅读:8 留言:0更新日期:2023-05-06 09:13
本公开的实施例提供了能源相关数据的选择方法、装置、计算机设备和介质。该方法包括:获取能源系统的训练发起方的训练数据;响应于确定上述训练数据不符合预设数据量,接收至少一个参与方传输的能源相关数据,得到能源相关数据集合;基于上述训练数据,确定上述能源相关数据集合中每个能源相关数据与上述训练数据的数据相似性,得到相似性集合;基于上述相似性集合,从上述能源相关数据集合中选择符合预设标准的能源相关数据作为目标能源相关数据,得到目标能源相关数据集合。本公开可以在训练发起方的训练数据不足的情况下,对参与方传输的数据进行相似性的确定,由此选择出符合需求的目标能源相关数据。需求的目标能源相关数据。需求的目标能源相关数据。

【技术实现步骤摘要】
能源相关数据的选择方法、装置、计算机设备和介质


[0001]本公开涉及能源数据处理
,尤其涉及一种能源相关数据的选择方法、装置、计算机设备和介质。

技术介绍

[0002]能源系统中能源设备的运行状态的监测和运行数据的预测通常离不开神经网络模型的帮助。传统方法下神经网络模型是根据本地数据训练得到的,在本地数据过少的情况下神经网络模型的应用效果往往不佳。因此,经常联合其他方数据对神经网络模型进行训练,但数据的种类、相似性往往有很大差别。所以如何筛选参与方的数据进行联合学习成为收腰解决的问题。

技术实现思路

[0003]有鉴于此,本公开实施例提供了一种能源相关数据的选择方法、装置、计算机设备和介质,以解决现有技术中无法准确筛选相似性高的数据用于对模型训练的技术问题。
[0004]本公开实施例的第一方面,提供了一种能源相关数据的选择方法,包括:获取联合学习架构中训练发起方的训练数据;响应于确定上述训练数据不符合预设数据量,接收至少一个参与方传输的能源相关数据,得到能源相关数据集合;基于上述训练数据,确定上述能源相关数据集合中每个能源相关数据与上述训练数据的数据相似性,得到相似性集合;基于上述相似性集合,从上述能源相关数据集合中选择符合预设标准的能源相关数据作为目标能源相关数据,得到目标能源相关数据集合。
[0005]本公开实施例的第二方面,提供了一种能源相关数据的选择装置,包括:获取单元,被配置成获取联合学习架构中训练发起方的训练数据;接收单元,被配置成响应于确定上述训练数据不符合预设数据量,接收至少一个参与方传输的能源相关数据,得到能源相关数据集合;确定单元,被配置成基于上述训练数据,确定上述能源相关数据集合中每个能源相关数据与上述训练数据的数据相似性,得到相似性集合;选择单元,被配置成基于上述相似性集合,从上述能源相关数据集合中选择符合预设标准的能源相关数据作为目标能源相关数据,得到目标能源相关数据集合。
[0006]本公开实施例的第三方面,提供了一种计算机设备,包括存储器、处理器以及存储在存储器中并且可以在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
[0007]本公开实施例的第四方面,提供了一种计算机可读存储介质,该计算机可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
[0008]本公开的上述各个实施例中的一个实施例具有如下有益效果:首先,获取能源系统的训练发起方的训练数据;然后,响应于上述训练数据不符合预设数据量,接收参与方传输的能源相关数据,得到能源相关数据集合;之后,确定上述能源相关数据集合中每个能源相关数据与上述训练数据的数据相似性;最后,根据相似性从上述能源相关数据集合中选
择符合预设标准的能源相关数据作为目标能源相关数据。本公开提供的方法可以在训练发起方的训练数据不足的情况下,对参与方传输的数据进行相似性的确定,由此选择出符合需求的目标能源相关数据。为神经网络模型的训练提供了重要帮助,也提高了神经网络模型的应用的准确度。
附图说明
[0009]结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,元件和元素不一定按照比例绘制。
[0010]图1是根据本公开的实施例的一种联合学习的架构示意图;
[0011]图2是根据本公开的能源相关数据的选择方法的实施例的流程图;
[0012]图3是根据本公开的能源相关数据的选择装置的实施例的结构示意图;
[0013]图4是适于用来实现本公开的实施例的电子设备的结构示意图。
具体实施方式
[0014]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例。相反,提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。
[0015]另外还需要说明的是,为了便于描述,附图中仅示出了与有关专利技术相关的部分。在不冲突的情况下,本公开中的实施例及实施例中的特征可以相互组合。
[0016]需要注意,本公开中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。
[0017]需要注意,本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的,本领域技术人员应当理解,除非在上下文另有明确指出,否则应该理解为“一个或多个”。
[0018]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的,而并不是用于对这些消息或信息的范围进行限制。
[0019]下面将参考附图并结合实施例来详细说明本公开。
[0020]联合学习是指在确保数据安全及用户隐私的前提下,综合利用多种AI(Artificial Intelligence,人工智能)技术,联合多方合作共同挖掘数据价值,催生基于联合建模的新的智能业态和模式。联合学习至少具有以下特点:
[0021](1)参与节点控制自有数据的弱中心化联合训练模式,确保共创智能过程中的数据隐私安全。
[0022](2)在不同应用场景下,利用筛选和/或组合AI算法、隐私保护计算,建立多种模型聚合优化策略,以获取高层次、高质量的模型。
[0023](3)在确保数据安全及用户隐私的前提下,基于多种模型聚合优化策略,获取提升联合学习引擎的效能方法,其中效能方法可以是通过解决包括计算架构并行、大规模跨域网络下的信息交互、智能感知、异常处理机制等,提升联合学习引擎的整体效能。
[0024](4)获取各场景下多方用户的需求,通过互信机制,确定合理评估各联合参与方的
真实贡献度,进行分配激励。
[0025]基于上述方式,可以建立基于联合学习的AI技术生态,充分发挥行业数据价值,推动垂直领域的场景落地。
[0026]下面将结合附图详细说明根据本公开实施例的一种能源相关数据的选择方法和装置。
[0027]图1是本公开实施例的一种联合学习的架构示意图。如图1所示,联合学习的架构可以包括服务器(中心节点)101以及参与方102、参与方103和参与方104。其中,参与方可以是一个或多个客户端组成。
[0028]在联合学习过程中,基本模型可以通过服务器101建立,服务器101将该模型发送至与其建立通信连接的参与方102、参与方103和参与方104。基本模型还可以是任一参与方建立后上传至服务器101,服务器101将该模型发送至与其建立通信连接的其他参与方。参与方102、参与方103和参与方104根据下载的基本结构和模型参数构建模型,利用本地数据进行模型训练,获得更新的模型参数,并将更新的模型参数加密上传至服务器101。服务器101对本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种能源相关数据的选择方法,其特征在于,包括:获取联合学习架构中训练发起方的训练数据;响应于确定所述训练数据不符合预设数据量,接收至少一个参与方传输的能源相关数据,得到能源相关数据集合;基于所述训练数据,确定所述能源相关数据集合中每个能源相关数据与所述训练数据的数据相似性,得到相似性集合;基于所述相似性集合,从所述能源相关数据集合中选择符合预设标准的能源相关数据作为目标能源相关数据,得到目标能源相关数据集合。2.根据权利要求1所述的能源相关数据的选择方法,其特征在于,所述基于所述训练数据,确定所述能源相关数据集合中每个能源相关数据与所述训练数据的数据相似性,得到相似性集合,包括:确定所述能源相关数据集合中是否存在与所述训练数据有预设数目个相同子数据的能源相关数据;响应于确定不存在,计算所述能源相关数据集合中每个能源相关数据与所述训练数据之间的皮尔逊相关系数,得到皮尔逊相关系数集合;将所述皮尔逊相关系数确定为数据相似性,得到相似性集合。3.根据权利要求2所述的能源相关数据的选择方法,其特征在于,所述基于所述训练数据,确定所述能源相关数据集合中每个能源相关数据与所述训练数据的数据相似性,得到相似性集合,包括:确定所述能源相关数据集合中每个能源相关数据与所述训练数据之间的欧氏距离,得到欧氏距离集合;将所述欧式距离确定为数据相似性,得到相似性集合。4.根据权利要求3所述的能源相关数据的选择方法,其特征在于,所述基于所述训练数据,确定所述能源相关数据集合中每个能源相关数据与所述训练数据的数据相似性,得到相似性集合,包括:利用预设算法,确定所述能源相关数据集合中每个能源相关数据与所述训练数据之间的哈希值,得到哈希值集合;将所述哈希值确定为数据相似性,得到相似性集合。5.根据权利要求4所述的能源相关数据的选择方法,其特征在于,所述基于所述训练数据,确定所述能源相关数据集合中每个能源相关数据与所述训练数据的数据相似性,得到相似性集合,包括:基于预设权...

【专利技术属性】
技术研发人员:刘国柄刘嘉吕宏强
申请(专利权)人:新智我来网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1