System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 面向电力系统实时推演的百维数据并行查询方法技术方案_技高网

面向电力系统实时推演的百维数据并行查询方法技术方案

技术编号:40197933 阅读:7 留言:0更新日期:2024-01-27 00:01
本发明专利技术提供了一种面向电力系统实时推演的多维数据并行查询方法,包括步骤:设计多维层次索引数据结构Hi4H,建立多维层次数据索引;基于哈希的多维索引,采用基于区间的查询算法,对查询条件进行分组,对每个分组内的查询条件建立区间索引,利用区间索引进行快速匹配。本发明专利技术方法通过设计更加高效的多维索引和查询算法,支持电力系统中潮流的实时推演,提高了潮流推演的效率和用户体验;解决了电力运行数据维度较高、管理困难,以及面对高维度的组合查询,性能难以保证的问题。

【技术实现步骤摘要】

本专利技术涉及电力系统领域,尤其涉及面向电力系统实时推演的多维数据并行查询方法。


技术介绍

1、电力系统中潮流推演需要从仿真数据库中读取电力运行数据,并触发电磁稳态仿真、动态仿真、电磁暂态仿真等程序,进行电力系统实时仿真。由于需要模拟各种不同场景下的稳定状态,因此需要修改不同电力元件的物理参数,生成不同的仿真数据,进而观察电网发展演化。然而,现代电力系统变得更加复杂,节点数量可以超过10万个,关联的电力元件参数众多,单步推演生成的仿真数据量达到上千万条记录。在如此众多的数据中,搜索待修改的物理参数变得非常困难。同时,为了不影响潮流推演的效率和用户体验,通常要求推演过程具有较强的实时性。

2、尽管现有的数据库引擎通过多维索引(如join-index、kd-tree、r-tree、gridfile和bitmap等)可以优化查询性能,但是主要针对低维度数据设计,难以处理电力系统实时推演中上百维的数据。原因有二。首先,此类索引需要对索引对象根据索引的维度进行多次排序。当维度很高时,不存在明显的排序函数能够区分索引数据,因而存在维数灾难问题。即随着维数的逐渐增大,性能都迅速下降,最终索引查询的时间不优于全表扫描的时间。其次,动态推演过程中需要频繁生成新数据。通过索引来优化查询不仅要求查询时间短,同时也要求构建索引必须在短时间内完成。因此,需要设计更加高效的多维索引和查询算法来支持电力系统中潮流的实时推演。

3、近年来,基于gpu的并行算法对于解决高维数据的计算,特别是针对图像、视频、自然语言等数据有了长足进步。如公开号为cn109948462a的专利申请提供的一种基于多gpu协同交互数据流组织的高光谱图像快速分类法,包括如下步骤:读取高光谱图像训练数据与测试数据,将这些数据绑定为页锁定内存;通过基于多gpu流同步的稀疏多项式逻辑回归快速计算法计算最大似然概率矩阵,提取出高光谱图像的光谱信息。国内外学者逐渐将其引入到数据查询和数据分析领域。例如公开号为cn107577641a的专利申请提供一种基于gpu并行的重力梯度张量数据快速密度反演方法,相比单一重力数据反演分辨率较高,提出的快速预处理方法比传统的共轭梯度法,密度值与几何位置更加贴近设定的模型。telco利用heavy.ai提供的gpu数据库实时处理数十亿行电信数据,使运营商能够监控网络性能并保持高水平的网络可靠性。simulmedia使用gpu数据库分析数十亿条每周的电视观看记录,以帮助做出广告决策。移动定位和位置提供商skyhook使用gpu数据库来帮助运行高达每天100亿次的交易,利用wi-fi、蜂窝和其他传感器数据来完善用户和设备位置。哈弗大学时空创新中心使用gpu数据库强化时空计算,从灾害响应到能源可持续性,解决全球性问题在时空上的联系。随着gpu技术的快速发展,利用其上万核心的并行计算能力,无疑能够解决高维大数据过去面临的窘境。本专利技术正是基于上述情况,针对电力系统实时推演的多维数据查询提出完整的解决方法。迄今为止,尚未见到将该项技术直接应用于电力系统实时推演的报道。


技术实现思路

1、针对现有技术中存在的问题,本专利技术提供一种面向电力系统实时推演的多维数据并行查询方法,解决了电力运行数据维度较高、管理困难,以及面对高维度的组合查询,性能难以保证的问题。

2、一种面向电力系统实时推演的百维数据并行查询方法,包括:

3、(1)对推演数据进行组织并构建星型结构的多维数据模型,其中事实表为母线,其他属性表为设备和物理量,并对事实表中母线的编号进行排序并存储到一维数组;

4、(2)建立多维层次数据索引;

5、对属性表中的字段构建层次结构索引;面对潮流推演中的数值型数据,hi4h根据设定的层次高度k和中间节点的最大子节点数m来建立子树;对于类别型数据,则需要先根据类别的数量,对类别进行数值映射,然后再按照数值型数据构建子树;

6、(3)采用基于哈希的多维索引,将电力元件的物理参数转换为哈希值,并建立哈希表索引;采用基于区间的查询算法,对查询条件进行分组,对每个分组内的查询条件建立区间索引,利用区间索引进行快速匹配。

7、本申请的中,潮流推演数据其最典型的特征是连续数值型数据和类别型数据。而且,数据以母线为中心,从母线可以得到关联的其他电力元件信息。针对上述数据特征,本专利技术设计了一种层次索引结构(以下称为hi4h)。与其他层次索引最大的不同在于:hi4h是对目标对象连续内存序号的索引,而不是对目标对象的直接索引。对于潮流推演数据而已,hi4h索引的是存储母线的一维数据序号。索引序号而不是母线本身的优势在于:(1)一维数组的序号是整数且连续,(2)不同维度上的索引求交更直接。因此,hi4h结合层次索引和位图索引的优势,既有利于数值数据的查询,也能快速获得针对多个索引的关联查询。此外,hi4h还对潮流推演中的两种不同类型的数据采取统一的组织方式,维护更加便捷。

8、优选的,潮流推演数据其最典型的特征是连续数值型数据和类别型数据,数据以母线为中心,从母线可以得到关联的其他电力元件信息。

9、进一步的,所述多维层次数据索引是对目标对象连续内存序号的索引,对于潮流推演数据,多维层次数据索引是存储母线的一维数据序号。

10、在具体的步骤(2)中,在构建层次索引结构之前,首先需要对事实表中的实例进行排序(如,按照主键大小),并对每个实例按照排序后的序号(即图1中sno)重新指代。重新定义的序号有两项基本特性:(1)序号为整数;(2)序号为连续数值。

11、然后,需要对属性表中的字段构建层次结构索引。面对潮流推演中的数值型数据,hi4h根据设定的层次高度k和中间节点的最大子节点数m来建立子树。对于类别型数据,则需要先根据类别的数量,对类别进行数值映射,然后再按照数值型数据构建子树。

12、优选的,在构建层次索引结构之前,首先需要对事实表中的实例进行排序,并对每个实例按照排序后的序号重新指代,且重新定义的序号有两项基本特性:序号为整数和序号为连续数值。

13、优选的,建立多维层次数据索引的步骤包括:

14、步骤一:对n维数据按照母线编号进行排序;

15、将母线的唯一编号存储于数组中,以数值编号指代序号;

16、步骤二:组织每个维度上的数据di使其构成高度为k-1,度不大于m的层次树结构;

17、单个层次树的构建按照自底向上的原则,首先对排序后的母线进行分组,每组母线将构成层次树的叶节点;每组的母线数量可通过下式获得:

18、

19、其中n为di的母线数量;然后将分组后的母线挂载到叶节点;

20、步骤三:处理叶节点,更新其索引的最大值和最小值;

21、步骤四:处理非叶节点直到最顶层,对于每个维度的数据都按照类似方式组织,并最终链接到全局根节点形成最终的hi4h层次树结构。

22、进一步优选的,若索引的维度并非数值型数据而是类本文档来自技高网...

【技术保护点】

1.一种面向电力系统实时推演的百维数据并行查询方法,其特征在于,包括:

2.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,潮流推演数据其最典型的特征是连续数值型数据和类别型数据,数据以母线为中心,从母线可以得到关联的其他电力元件信息。

3.根据权利要求2所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,所述多维层次数据索引是对目标对象连续内存序号的索引,对于潮流推演数据,多维层次数据索引是存储母线的一维数据序号。

4.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,在构建层次索引结构之前,首先需要对事实表中的实例进行排序,并对每个实例按照排序后的序号重新指代,且重新定义的序号有两项基本特性:序号为整数和序号为连续数值。

5.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,建立多维层次数据索引的步骤包括:

6.根据权利要求5所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,若索引的维度并非数值型数据而是类别型,则需要事先对类型数据进行适当的编码,使其转换成数值型数据。

7.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,建立多维数据索引时,不同的电力元件可以使用不同的哈希函数,将哈希值分散在不同的哈希表中。

8.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,潮流推演过程中需要不断交互查询母线关联的元件,更改元件参数;根据所述的多维层次数据索引,查询步骤包括:遍历层次树,得到母线序号集合;集合求交得到满足要求的母线。

9.根据权利要求8所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,基于层次树的多维数据查询包括:针对每个维度遍历层次树获得该维度下的候选母线集合,对各维度的候选母线集合求交。

10.根据权利要求8所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,针对k个维度的索引查询后,每个维度都会得到相应的索引对象,即母线序号集合,在利用基于位图的集合求交算法进行处理。

...

【技术特征摘要】

1.一种面向电力系统实时推演的百维数据并行查询方法,其特征在于,包括:

2.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,潮流推演数据其最典型的特征是连续数值型数据和类别型数据,数据以母线为中心,从母线可以得到关联的其他电力元件信息。

3.根据权利要求2所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,所述多维层次数据索引是对目标对象连续内存序号的索引,对于潮流推演数据,多维层次数据索引是存储母线的一维数据序号。

4.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,在构建层次索引结构之前,首先需要对事实表中的实例进行排序,并对每个实例按照排序后的序号重新指代,且重新定义的序号有两项基本特性:序号为整数和序号为连续数值。

5.根据权利要求1所述的面向电力系统实时推演的百维数据并行查询方法,其特征在于,建立多维层次数据索引的步骤包括:

6.根据权利要求5所述的面向电力系统实时推演的百维数据并行查询方法,其特征在...

【专利技术属性】
技术研发人员:张爱军邢华栋刘紫玉慕腾任思宇郭裕武海燕闫桂红雷轲郭琪
申请(专利权)人:内蒙古电力集团有限责任公司内蒙古电力科学研究院分公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1