电力系统跨平台大数据文件高速并发存取方法技术方案

技术编号:3786381 阅读:674 留言:0更新日期:2012-04-11 18:40
本发明专利技术公开了一种电力系统跨平台大数据文件高速并发存取方法,其特征在于:设置一套可统一管理系统运行时的所有数据文件、且负责与实际磁盘文件交互的缓存管理系统,对数据文件采用内存映射文件的方式来加以处理,且缓存管理系统采用将数据文件分固定块内存映射文件方法,并发地将数据文件的各个部分依次映射到数据处理服务进程中的一个较小的地址空间,所述缓存管理系统设置一个对于已经加载过的数据如果再次出现访问则不需要再次加载、从而提高访问的效率以及速度的高速缓冲区。本发明专利技术的方法,通过一个通用的缓存管理系统与实际磁盘文件的交互,可满足应用程序对大数据文件并发访问的便捷性、高速性以及可靠性。

【技术实现步骤摘要】

本专利技术涉及一种电力系统跨平台大数据文件高速并发存取的实现方法,属 电力系统数据处理领域。
技术介绍
随着电网建设规模的不断扩大,数字化电网、数字化变电站等研究应用的 不断深入,电力系统面对的数据存储规模数十倍的增长,数据存储规模将从目前的GB级转向TB级,另外,随着P而采集装置的普及以及广域动态监测系统 WAMS的发展,带来了更加突出的海量电力信息数据存储问题。相对RTU数据釆 集而言,PMU釆集的一个突出特点就是釆集频率非常高,达到每秒25、 50甚至 100帧,且对所有数据必须完整保存。因此在相同采集点的情况下,其数据存储 规模将是稳态数据的数百到上千倍。如此海量规模的电力信息,常规的关系型 数据库来存储这些海量信息无论从写入速度还是査询效率上来说都将很难满足 应用的需求。近年来,时间序列数据库的出现使得这些应用需求的实现成为可 能。时间序列数据库是专门设计用来处理具有时间序列特'性的数据库管理系统, 针对实时高频釆集数据具有很高的存储速度、查询检索效率以及数据压缩比。 此类数据库内部机制为文件方式,因此如何实现跨平台大数据文件高速并发存 取是时间序列数据库研发的一个重要本文档来自技高网...

【技术保护点】
一种电力系统跨平台大数据文件高速并发存取方法,其特征在于:设置一套可统一管理系统运行时的所有数据文件、且负责与实际磁盘文件交互的缓存管理系统,对数据文件采用内存映射文件的方式来加以处理,且缓存管理系统采用将数据文件分固定块内存映射文件方法,并发地将数据文件的各个部分依次映射到数据处理服务进程中的一个较小的地址空间,以达到应用程序高速存取数据的要求,所述缓存管理系统设置一个对于已经加载过的数据如果再次出现访问则不需要再次加载、从而提高访问的效率以及速度的高速缓冲区,该高速缓冲区具备一定大小限制,在缓冲内容超过该限制时,缓存管理系统能够自动将最不常用的数据从高速缓冲区移除。

【技术特征摘要】

【专利技术属性】
技术研发人员:张珂珩戴则梅葛云鹏季学纯
申请(专利权)人:国电南瑞科技股份有限公司
类型:发明
国别省市:84[中国|南京]

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1