智能变电站海量网络报文处理方法、系统和设备技术方案

技术编号:15395076 阅读:151 留言:0更新日期:2017-05-19 06:41
本发明专利技术公开一种智能变电站海量网络报文处理方法、系统和设备,所述处理方法通过采用两个独立的环形缓冲区队列管理智能变电站网络报文原始数据和压缩数据,并通过每个队列的生产者指针和消费者指针实现报文数据的采集捕获和分析存储,从而达到数据零拷贝,极大的减少海量数据拷贝带来的CPU资源开销;并且采用存储和分析模块弱耦合策略,避免了因报文异常分析导致存储任务和分析任务一起退出的隐患,从而达到了报文零丢包。实现了智能变电站网络报文数据的处理能力的大幅提升。

Mass network message processing method, system and equipment for intelligent substation

The invention discloses a system and a device of intelligent substation massive network message processing method, and the treatment method by using two independent ring buffer queue management intelligent substation network packet data and compressed data, and by producers and consumers for each queue pointer pointer to achieve the capture and storage of data, so as to achieve zero copy data, greatly reduce the massive data copy CPU resource overhead; and the storage and analysis module of weak coupling strategy, avoid analysis leads to storage tasks and analysis tasks together exit hidden exception message, so as to achieve zero packet loss. The capacity of processing network packet data in intelligent substation is greatly improved.

【技术实现步骤摘要】
智能变电站海量网络报文处理方法、系统和设备
本专利技术涉及一种智能变电站海量网络报文处理方法、系统和设备,属于智能变电站数据传输领域。
技术介绍
随着电力技术的不断发展以及基础网络设备的完善,基于IEC61850标准的智能/数字化变电站已经成为新建变电站的首选。而数字化变电站和传统变电站的核心区别在于变电站的各类数据传送方式的改变,传统站的过程层设备和间隔层的设备大多是通过电缆的方式,数据以模拟数据形式出现,而数字化变电站的数据是以网络报文的形式出现,传送介质以光纤为主。数字化变电站的网络数据按功能上分主要有三大类型:一类为过程层发出的SV/GOOSE数据,该类数据主要体现数字化变电站的一次设备的运行状态,是数字化变电站的核心数据;第二类数据为智能设备之间相互通讯的数据,该类数据主要体现各智能设备的通讯状态以及通讯的正确性,能给用户提供还原智能设备间通讯过程的一个手段。第三类数据主要是体现数字化变电站的通讯环境特性(包括网络流量状态、网络稳定性、以及网络负荷的变化规律)数字化变电站中用于采集记录并分析网络数据的设备主要是智能网络记录分析装置。目前市场上的智能网络记录分析设备通常采用的架构是采用专用硬件采集网路报文数据和采用CPU进行存储分析。专用硬件将网络上的二进制信号流加工成报文数据,CPU对报文数据进行存储和分类分析;其处理模型如图1所示:专用硬件采集网络上的数据报文,存入专用硬件私有低容量缓存,并产生硬中断通知CPU,CPU通过内存拷贝,把专用硬件缓存中的数据拷贝到大容量主内存,再通过接口调用分别完成数据存储、数据分析;在专用硬件不间断采集网络报文数据情况下,CPU不断响应硬中断,周而复始完成数据拷贝、数据存储、数据分析工作。现有的这种数据处理方法,由于需要不停的数据拷贝,并且按顺序完成数据存储、数据分析工作,任一环节效率低都会造成整个系统效率低下,而且海量的数据拷贝工作还需要占用大量的CPU资源开销;存储和数据分析作为同一个模块处理最大的隐患是一旦由于某些报文分析异常导致模块退出,存储也停止工作,丢失了数据。这些都是现有数据处理方式存在的难以彻底解决的潜在问题。有鉴于此,本专利技术人对此进行研究,专门开发出一种智能变电站海量网络报文处理方法、系统和设备,本案由此产生。
技术实现思路
本专利技术的目的在于:提供一种智能变电站海量网络报文处理方法,旨在解决现有技术中频繁拷贝报文数据使CPU开销多大,且单个模块串行完成分析、存储任务存在丢失数据的可能性问题。一种智能变电站海量网络报文处理方法,包括下述步骤:1)构建两个独立的环形缓冲区队列:原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列,并为上述两个队列都配置两个类型的指针:生产者、消费者;2)经采集任务捕获的原始网络报文数据经原始报文数据环形缓冲区队列的生产者指针存入所述的原始报文数据环形缓冲区队列;3)经压缩任务压缩的压缩网络报文数据经压缩报文数据环形缓冲区队列的生产者指针存入所述的压缩报文数据环形缓冲区队列;4)分析任务经原始报文数据环形缓冲区队列的消费者指针从所述原始报文数据环形缓冲区队列中获取原始报文数据进行处理;5)存储任务经压缩报文数据环形缓冲区队列的消费者指针从所述压缩报文数据环形缓冲区队列中获取压缩报文数据进行处理。上述智能变电站海量网络报文处理方法进一步包括:经由生产者指针存入原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列的任务全部由专用硬件通过直接内存访问方式写入对应列队,无需CPU参与;采集任务和压缩任务分别维护各自的生产者指针;分析任务和存储任务分别维护各自的消费者指针,并与相对应的生产者指针比较,确保消费者指针不应越过生产者指针。所述步骤2)、所述步骤3)、所述步骤4)和所述步骤5)分别独立启动;所述步骤4)的消费者指针由所述步骤2)触发移动,所述步骤5)的消费者指针由所述步骤3)触发移动;所述步骤4)中应确保消费者指针不越过所述步骤2)中的生产者指针;所述步骤5)中应确保消费者指针不越过步骤3)中的生产者指针。本专利技术的另一目的在于:提供一种智能变电站海量网络报文数据处理子系统,包括:环形缓冲区队列初始化模块,用于构建两个环形缓冲区队列:原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列,并为每个队列分别独立设置并初始化生产者指针和消费者指针;报文数据存入模块,用于接收专用硬件采集的原始网络报文数据,并通过原始报文数据环形缓冲区队列的生产者指针将该报文数据存入所述原始报文数据环形缓冲区队列;报文数据压缩模块,用于压缩原始报文数据环形缓冲区队列中的原始报文数据,并通过压缩报文数据环形缓冲区队列的生产者指针将该压缩数据存入所述压缩报文数据环形缓冲区队列;报文数据分析模块,用于通过原始报文数据环形缓冲区队列的消费者指针从原始报文数据环形缓冲区队列中遍历每一帧报文数据,对报文进行解码分析;报文数据存储模块,用于通过压缩报文数据环形缓冲区队列的消费者指针从压缩报文数据环形缓冲区队列中取出压缩后的报文数据,并存入存储设备。报文数据存入模块和报文数据压缩模块任务分别维护各自的生产者指针;报文数据分析模块和报文数据存储模块任务分别维护各自的消费者指针,并与相对应的生产者指针比较,确保消费者指针不应越过生产者指针。本专利技术的另一目的在于:提供一种包含所述智能变电站网络报文数据处理系统和采集卡的智能变电站海量网络报文数据处理设备。本专利技术所述的智能变电站海量网络报文处理方法、系统和设备,通过采用两个独立的环形缓冲区队列管理智能变电站网络报文原始数据和压缩数据,并通过每个队列的生产者指针和消费者指针实现报文数据的采集捕获和分析存储,从而达到数据零拷贝,报文数据传输不占用任何CPU资源,使得CPU资源完全释放给报文数据存储、分析任务模块,提高网络数据报文采集、存储、分析能力,极大的减少海量数据拷贝带来的CPU资源开销;并且采用报文数据分析模块和报文数据存储模块独立设置,避免了因报文异常分析导致存储任务和分析任务一起退出的隐患,最大限度保证存储任务的可靠性,不因分析任务的异常引起报文数据丢失,从而达到了报文零丢包。实现了智能变电站网络报文数据的处理能力的大幅提升。以下结合附图及具体实施例对本专利技术做进一步详细描述。附图说明图1是现有的智能变电站网络报文数据处理模型;图2是本实施例提供的智能变电站网络报文数据处理方法的实现流程图;图3是本实施例提供的智能变电站网络报文数据处理模型;图4是本实施例提供的智能变电站网络报文数据处理设备的结构图。具体实施方式图2示出了本实施例提供的智能变电站海量网络报文数据处理方法的实现流程,详述如下:原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列在步骤L1中,构建原始报文数据环形缓冲区队(即队列O),并为原始报文数据环形缓冲区队列配置生产者指针和消费者指针;构建压缩报文数据环形缓冲区队列(即队列Z),并为压缩报文数据环形缓冲区队列配置生产者指针和消费者指针。采集卡初始化时,预分配一块大缓冲区,并把大的缓冲区切分成n个等大小的缓冲区,通过双向指针大的缓冲区头尾相连成队列O,并为队列O配置生产者指针和消费者指针,初始值都指向队列O的首项P1。压缩卡初始化时,预分配一片大缓冲区,并把大的缓冲区切分成n个等大本文档来自技高网
...
智能变电站海量网络报文处理方法、系统和设备

【技术保护点】
一种智能变电站海量网络报文处理方法,其特征在于包括下述步骤:1)构建两个独立的环形缓冲区队列:原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列,并为上述两个队列都配置两个类型的指针:生产者、消费者;2)经采集任务捕获的原始网络报文数据经原始报文数据环形缓冲区队列的生产者指针存入所述的原始报文数据环形缓冲区队列;3)经压缩任务压缩的压缩网络报文数据经压缩报文数据环形缓冲区队列的生产者指针存入所述的压缩报文数据环形缓冲区队列;4)分析任务经原始报文数据环形缓冲区队列的消费者指针从所述原始报文数据环形缓冲区队列中获取原始报文数据进行处理;5)存储任务经压缩报文数据环形缓冲区队列的消费者指针从所述压缩报文数据环形缓冲区队列中获取压缩报文数据进行处理。

【技术特征摘要】
1.一种智能变电站海量网络报文处理方法,其特征在于包括下述步骤:1)构建两个独立的环形缓冲区队列:原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列,并为上述两个队列都配置两个类型的指针:生产者、消费者;2)经采集任务捕获的原始网络报文数据经原始报文数据环形缓冲区队列的生产者指针存入所述的原始报文数据环形缓冲区队列;3)经压缩任务压缩的压缩网络报文数据经压缩报文数据环形缓冲区队列的生产者指针存入所述的压缩报文数据环形缓冲区队列;4)分析任务经原始报文数据环形缓冲区队列的消费者指针从所述原始报文数据环形缓冲区队列中获取原始报文数据进行处理;5)存储任务经压缩报文数据环形缓冲区队列的消费者指针从所述压缩报文数据环形缓冲区队列中获取压缩报文数据进行处理。2.如权利要求1所述的一种智能变电站海量网络报文处理方法,其特征在于:经由生产者指针存入原始报文数据环形缓冲区队列和压缩报文数据环形缓冲区队列的任务全部由专用硬件通过直接内存访问方式写入对应列队,无需CPU参与;采集任务和压缩任务分别维护各自的生产者指针;分析任务和存储任务分别维护各自的消费者指针,并与相对应的生产者指针比较,确保消费者指针不应越过生产者指针。3.如权利要求1所述的一种智能变电站海量网络报文处理方法,其特征在于:所述步骤2)、所述步骤3)、所述步骤4)和所述步骤5)分别独立启动;所述步骤4)的消费者指针由说述步骤2)触发移动,所述步骤5)的消费者指针由所述步骤3)触发移...

【专利技术属性】
技术研发人员:肖艳炜刘永新蒋正威章立宗王永福杜奇伟屈刚陆承宇洪道鉴许伟国吴栋萁阮黎翔吴新华江波陈晓雷钱海东郑翔顾建王少春施宇吴阳生
申请(专利权)人:国网浙江省电力公司绍兴供电公司国家电网公司国网浙江省电力公司南京新和普电力科技有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1