System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种清算数据逻辑关系确定方法、系统、存储介质及设备技术方案_技高网

一种清算数据逻辑关系确定方法、系统、存储介质及设备技术方案

技术编号:40672768 阅读:3 留言:0更新日期:2024-03-18 19:09
本发明专利技术公开了一种清算数据逻辑关系确定方法、系统、存储介质及设备,本发明专利技术针对不同结构的清算数据,分别采用语法规则匹配方式和语言模型抽取数据中的实体关系,构建血缘图谱,将数据血缘和知识图谱的结合,能够有效地识别清算数据之间的源头、流向和关联关系,即清算数据的逻辑关系,为电力清算系统的数据管理和分析提供了有力支持。

【技术实现步骤摘要】

本专利技术涉及一种清算数据逻辑关系确定方法、系统、存储介质及设备,属于人工智能。


技术介绍

1、市场清算是在市场结算(出具账单并进行财务支付)后,发现历史账单数据需要计量数据修正或是计算规则变更、结算价格调整以及账单计算错误等原因,对历史已结数据进行的追退补处理。

2、目前我国现货日清数据量已达百万或千万级,某些省份月结数据量达到亿级,任何机组上网关口或用户计量点在某一时刻的数据修正,可能都将导致日清数据、月结的大规模数据重算。由于结算数据之间耦合性高,单个市场主体的数据修正会带来大规模的数据重算,因此清算要识别好数据之间的逻辑关系,但是目前还没有相应的方法。


技术实现思路

1、本专利技术提供了一种清算数据逻辑关系确定方法、系统、存储介质及设备,解决了
技术介绍
中披露的问题。

2、为了解决上述技术问题,本专利技术所采用的技术方案是:

3、一种清算数据逻辑关系确定方法,包括:

4、获取电力系统的清算数据;

5、对清算数据中的结构化数据,采用语法规则匹配方式,进行结构化数据中的实体关系抽取;

6、对清算数据中的非结构化数据,采用预训练的语言模型,进行非结构化数据中的实体关系抽取;

7、根据抽取的实体关系,构建清算数据的血缘图谱;

8、根据血缘图谱,确定清算数据的逻辑关系。

9、在抽取实体关系之前,对清算数据进行预处理,用以去除重复和异常数据,并统一数据的单位和格式。

10、结构化数据中的实体包括机组唯一标识和时间段,结构化数据中的实体关系包括交易类型;其中,交易类型中添加日期属性,时间段添加电价及电量属性;

11、非结构化数据中的实体包括机组唯一标识、时间段、供应商唯一标识、消费者唯一标识和电价,非结构化数据中的实体关系包括交易类型、供应和耗费;

12、抽取的实体关系为三元组数据,三元组数据中的第一位和最后一位均为实体,第二位为第一位实体和最后一位实体之间的关系。

13、对清算数据中的结构化数据,采用语法规则匹配方式,进行结构化数据中的实体关系抽取,包括:

14、对结构化数据中的每个实体,采用正则匹配方式,抽取结构化数据中的实体关系。

15、语言模型采用bert模型;在预训练阶段,删除bert模型分类层中nsp任务的权重;在实体关系抽取的下游任务中,验证集在输入bert模型之前,使用bioes标注方式对训练集中的实体进行标记;在bert模型的输出添加额外的全连接层,并使用交叉熵损失函数计算预测结果与真实标签之间的误差。

16、根据抽取的实体关系,构建清算数据的血缘图谱,包括:

17、根据抽取的实体关系,采用neo4j数据库,构建清算数据的血缘图谱。

18、一种清算数据逻辑关系确定系统,包括:

19、获取模块,获取电力系统的清算数据;

20、第一抽取模块,对清算数据中的结构化数据,采用语法规则匹配方式,进行结构化数据中的实体关系抽取;

21、第二抽取模块,对清算数据中的非结构化数据,采用预训练的语言模型,进行非结构化数据中的实体关系抽取;

22、图谱构建模块,根据抽取的实体关系,构建清算数据的血缘图谱;

23、逻辑关系确定模块,根据血缘图谱,确定清算数据的逻辑关系。

24、第一抽取模块和第二抽取模块中,结构化数据中的实体包括机组唯一标识和时间段,结构化数据中的实体关系包括交易类型;其中,交易类型中添加日期属性,时间段添加电价及电量属性;非结构化数据中的实体包括机组唯一标识、时间段、供应商唯一标识、消费者唯一标识和电价,非结构化数据中的实体关系包括交易类型、供应和耗费;抽取的实体关系为三元组数据,三元组数据中的第一位和最后一位均为实体,第二位为第一位实体和最后一位实体之间的关系。

25、一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行清算数据逻辑关系确定方法。

26、一种计算机设备,包括一个或多个处理器、以及一个或多个存储器,一个或多个程序存储在所述一个或多个存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序包括用于执行清算数据逻辑关系确定方法的指令。

27、本专利技术所达到的有益效果:本专利技术针对不同结构的清算数据,分别采用语法规则匹配方式和语言模型抽取数据中的实体关系,构建血缘图谱,将数据血缘和知识图谱的结合,能够有效地识别清算数据之间的源头、流向和关联关系,即清算数据的逻辑关系,为电力清算系统的数据管理和分析提供了有力支持。

本文档来自技高网...

【技术保护点】

1.一种清算数据逻辑关系确定方法,其特征在于,包括:

2.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,在抽取实体关系之前,对清算数据进行预处理,用以去除重复和异常数据,并统一数据的单位和格式。

3.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,结构化数据中的实体包括机组唯一标识和时间段,结构化数据中的实体关系包括交易类型;其中,交易类型中添加日期属性,时间段添加电价及电量属性;

4.根据权利要求3所述的清算数据逻辑关系确定方法,其特征在于,对清算数据中的结构化数据,采用语法规则匹配方式,进行结构化数据中的实体关系抽取,包括:

5.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,语言模型采用BERT模型;在预训练阶段,删除BERT模型分类层中NSP任务的权重;在实体关系抽取的下游任务中,验证集在输入BERT模型之前,使用BIOES标注方式对训练集中的实体进行标记;在BERT模型的输出添加额外的全连接层,并使用交叉熵损失函数计算预测结果与真实标签之间的误差。

6.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,根据抽取的实体关系,构建清算数据的血缘图谱,包括:

7.一种清算数据逻辑关系确定系统,其特征在于,包括:

8.根据权利要求1所述的清算数据逻辑关系确定系统,其特征在于,第一抽取模块和第二抽取模块中,

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序包括指令,所述指令当由计算设备执行时,使得所述计算设备执行权利要求1~6所述的任一方法。

10.一种计算机设备,其特征在于,包括:

...

【技术特征摘要】

1.一种清算数据逻辑关系确定方法,其特征在于,包括:

2.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,在抽取实体关系之前,对清算数据进行预处理,用以去除重复和异常数据,并统一数据的单位和格式。

3.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,结构化数据中的实体包括机组唯一标识和时间段,结构化数据中的实体关系包括交易类型;其中,交易类型中添加日期属性,时间段添加电价及电量属性;

4.根据权利要求3所述的清算数据逻辑关系确定方法,其特征在于,对清算数据中的结构化数据,采用语法规则匹配方式,进行结构化数据中的实体关系抽取,包括:

5.根据权利要求1所述的清算数据逻辑关系确定方法,其特征在于,语言模型采用bert模型;在预训练阶段,删除bert模型分类层中nsp任务的权重;在...

【专利技术属性】
技术研发人员:徐占洋侍虹言王哲赵鸿许健
申请(专利权)人:南京信息工程大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1