一种基于计量自动化系统的数据补采系统技术方案

本发明专利技术公开了一种基于计量自动化系统的数据补采系统，通过数据解析处理模块对终端的上传数据进行解析，并将得到的数据解析结果输出至数据管理模块中，由数据管理模块通过比对数据解析结果与数据采集任务，查找获取缺失数据，然后输出对应的缺失数据补采请求至任务下发模块，由任务下发模块对缺失数据补采请求按规约进行组帧后转发至用于寻址的应用路由模块，最后通过应用路由模块顺利将缺失数据补采请求发送至对应的终端中，使得终端可以根据缺失数据补采请求返回对应的补采数据，完成数据的补采，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。

【技术实现步骤摘要】
一种基于计量自动化系统的数据补采系统
本专利技术涉及电力系统数据补采
，尤其涉及一种基于计量自动化系统的数据补采系统。
技术介绍
在电力系统中，电能计量自动化系统是一个将静态的电能计量管理与动态的电能计量遥测融合的整体，有着远程抄表、在线监测、线损管理等应用，在电力营销中起着重要作用。通常，省级的计量自动化系统面临着采集数据类型繁多、数量庞大的问题，具体分为负荷数据(电压、电流、功率因数、有功功率、无功功率、相位角等)，电量数据(正向有功、正向无功、反向有功、反向无功、正向有功分相等)，统计数据(停电统计、电压合格率统计等)。省级集中计量自动化系统进行数据采集时,大部分数据优先选择终端主动上送,对缺失数据部分,需要通过补采保证数据采集完整率。然而，按省集中主站的计量自动化系统的运行现状，每天采集的数据记录数近十亿条，去除部分地市主动上送任务数据(约占80％)，需要补采的数据量仍达近亿条，数据量庞大。因此，现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统。
技术实现思路
本专利技术提供了一种基于计量自动化系统的数据补采系统，解决了现有技术中亟需一种能够从庞大的上送数据中获取缺失数据，并根据缺失数据快速进行缺失数据的补采的系统的技术问题。本专利技术提供的一种基于计量自动化系统的数据补采系统，包括：数据解析处理模块、数据管理模块、任务下发模块和应用路由模块；所述数据解析处理模块与终端连接，用于获取所述终端的上传数据，并调用规约库对所述上传数据进行数据解析，获得数据解析结果；所述数据管理模块与所述数据解析处理模块连接，用于接收所述数据解析处理模块发送的数据解析结果，并通过将数据采集任务与所述数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至所述任务下发模块；所述任务下发模块与所述数据管理模块连接，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后转发至所述应用路由模块；所述应用路由模块与所述任务下发模块连接，用于对所述任务下发模块转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将所述组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据所述组帧后的缺失数据补采请求返回补采的数据。优选地，所述数据管理模块包括：数据位图管理子模块，用于接收所述数据解析处理模块发送的数据解析结果，并对所述数据解析结果中的任务状态数据进行处理；所述对所述数据解析结果中的任务状态数据进行处理包括：判断所述任务状态数据的任务采集结果是否为采集成功，若是，则根据所述任务状态数据的任务号、数据时间和采集周期查找对应的任务位图，并对所述任务位图进行更新操作，否则，输出错误日志进行提示。优选地，所述数据管理模块还包括：补采请求发起子模块，用于根据所装载的任务补采配置信息，定期查找对应的补采数据位图，并根据查找到的补采数据位图输出对应的缺点记录；根据所述缺点记录对应的任务号依次发起缺失数据补采请求，并将所述缺失数据补采请求输出至所述任务下发模块。优选地，所述任务下发模块包括：并发控制子模块，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后，根据所述缺失数据补采请求对应的终端进行并发度控制并转发至所述应用路由模块。优选地，所述任务下发模块还包括：超时补采子模块，用于定期检测无回应的超时任务，并根据所述无回应的超时任务自动发起缺失数据超时补采请求；优选地，所述数据解析处理模块包括：规约识别子模块，用于对所述上传数据中的报文进行规约识别，若无法识别所述报文的规约，则丢弃所述报文，否则，调用所述报文对应的规约库；数据解析子模块，用于根据调用的规约库对所述报文进行解析；解析结果输出子模块，用于将对所述报文进行解析获得的解析报文输出到数据库表，并将对应的数据解析结果发送至所述数据管理模块，所述数据解析结果包括终端名称、任务号和数据时间。所述根据调用的规约库对所述报文进行解析具体包括：获得所述报文中的终端逻辑地址和终端任务号，并根据所述终端逻辑地址和所述终端任务号查找对应的终端任务模板档案，若终端任务模板档案查找失败或查找的终端任务模板档案不正确，则丢弃所述报文，若查找的终端任务模板档案正确，则根据所述查找的终端任务模板档案对所述报文进行解析，并解析得所述报文中的数据项的值和对应的数据时间。本专利技术实施例提供的一种基于计量自动化系统的数据补采系统，还包括：终端链路接入模块；所述数据解析处理模块和所述应用路由模块分别通过所述终端链路接入模块与终端连接，所述终端链路接入模块用于实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块，以及根据所述前置机中的缺失数据补采请求进行终端地址预解析，并根据终端地址预解析的结果发送至对应的终端上。优选地，所述终端链路接入模块包括：数据上行链路处理子模块，用于实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块；所述实现与所述终端的通讯接入，对所述终端的上传数据进行预解析后转发至所述数据解析处理模块具体包括：创建链接通信通道池，监听来自配网终端的通讯请求，并在接收到所述配网终端的通讯请求后，创建对应的通讯连接；监听并接收来自所述配网终端的上传数据，并对所述上传数据根据适配的规约进行预解析，获取所述上传数据中的报文的主站地址和报文控制码；根据所述主站地址和所述报文控制码，对所述上传数据进行转发处理，若所述主站地址属于主动上送范围，则将所述上传数据转发至所述数据解析处理模块，若所述主站地址属于非主动上送，则将所述上传数据转发至所述应用路由模块。优选地，所述应用路由模块包括：下行数据路由子模块，用于创建连接监听来自所述任务下发模块的连接请求，在监听并接收到来自所述任务下发模块的组帧后的缺失数据补采请求后，根据所述组帧后的缺失数据补采请求获取到对应的终端逻辑地址；根据所述对应的终端逻辑地址，查找对应的终端所述登录的前置机节点编号，并根据所述前置机节点编号将所述组帧后的缺失数据补采请求发送至对应的前置机。优选地，所述应用路由模块还包括：上行数据路由子模块，用于监听来自于所述终端链路接入模块的上传数据，对所述上传数据进行主站地址识别，并根据识别得到的主站地址，将所述上传数据转发至对应的任务下发模块。从以上技术方案可以看出，本专利技术具有以下优点：本专利技术中通过数据解析处理模块对终端上送的上传数据进行解析，并将得到的对应的包含了终端名称以及数据采集时间等的数据解析结果输出至数据管理模块中，由数据管理模块通过比对数据解析结果与数据采集任务，发现得到数据采集的缺点记录，即查找获取缺失数据，然后输出对应的缺失数据补采请求至任务下发模块，由任务下发模块对缺失数据补采请求按规约进行组帧后转发至用于寻址的应用路由模块，最后通过应用路由模块顺利将缺失数据补采请求发送至对应的终端中，使得终端可以根据缺失数据补采请求返回对应的补采数据，完成数据的补采。本专利技术中将数据的补采过程分为数据解析、缺失数据的查找及补采请求的发起、补采请求的组帧以及补采请求的寻址发送四个独立的过程，能够根据不同的采集任务特点，通过比对采集任务与数据解析结果，快速获取得到缺点数据，并下发补采任务，并将补采任务对应的输出本文档来自技高网...

【技术保护点】
一种基于计量自动化系统的数据补采系统，其特征在于，包括：数据解析处理模块、数据管理模块、任务下发模块和应用路由模块；所述数据解析处理模块与终端连接，用于获取所述终端的上传数据，并调用规约库对所述上传数据进行数据解析，获得数据解析结果；所述数据管理模块与所述数据解析处理模块连接，用于接收所述数据解析处理模块发送的数据解析结果，并通过将数据采集任务与所述数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至所述任务下发模块；所述任务下发模块与所述数据管理模块连接，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后转发至所述应用路由模块；所述应用路由模块与所述任务下发模块连接，用于对所述任务下发模块转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将所述组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据所述组帧后的缺失数据补采请求返回补采的数据。

【技术特征摘要】
1.一种基于计量自动化系统的数据补采系统，其特征在于，包括：数据解析处理模块、数据管理模块、任务下发模块和应用路由模块；所述数据解析处理模块与终端连接，用于获取所述终端的上传数据，并调用规约库对所述上传数据进行数据解析，获得数据解析结果；所述数据管理模块与所述数据解析处理模块连接，用于接收所述数据解析处理模块发送的数据解析结果，并通过将数据采集任务与所述数据解析结果进行比对，查找获取缺失数据，输出缺失数据补采请求至所述任务下发模块；所述任务下发模块与所述数据管理模块连接，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后转发至所述应用路由模块；所述应用路由模块与所述任务下发模块连接，用于对所述任务下发模块转发的组帧后的缺失数据补采请求进行终端寻址，并根据寻址结果将所述组帧后的缺失数据补采请求发送至对应的终端的前置机，使得终端可以根据所述组帧后的缺失数据补采请求返回补采的数据。2.根据权利要求1所述的基于计量自动化系统的数据补采系统，其特征在于，所述数据管理模块包括：数据位图管理子模块，用于接收所述数据解析处理模块发送的数据解析结果，并对所述数据解析结果中的任务状态数据进行处理；所述对所述数据解析结果中的任务状态数据进行处理包括：判断所述任务状态数据的任务采集结果是否为采集成功，若是，则根据所述任务状态数据的任务号、数据时间和采集周期查找对应的任务位图，并对所述任务位图进行更新操作，否则，输出错误日志进行提示。3.根据权利要求2所述的基于计量自动化系统的数据补采系统，其特征在于，所述数据管理模块还包括：补采请求发起子模块，用于根据所装载的任务补采配置信息，定期查找对应的补采数据位图，并根据查找到的补采数据位图输出对应的缺点记录；根据所述缺点记录对应的任务号依次发起缺失数据补采请求，并将所述缺失数据补采请求输出至所述任务下发模块。4.根据权利要求1所述的基于计量自动化系统的数据补采系统，其特征在于，所述任务下发模块包括：并发控制子模块，用于对从所述数据管理模块获取的所述缺失数据补采请求按规约进行组帧后，根据所述缺失数据补采请求对应的终端进行并发度控制并转发至所述应用路由模块。5.根据权利要求4所述的基于计量自动化系统的数据补采系统，其特征在于，所述任务下发模块还包括：超时补采子模块，用于定期检测无回应的超时任务，并根据所述无回应的超时任务自动发起缺失数据超时补采请求。6.根据权利要求1所述的基于计量自动化系统的数据补采系统，其特征在于，所述数据解析处理模块包括：规约识别子模块，用于对所述上传数据中的报文进行规约识别，若无法识别所述报文的规约，则丢弃所述报文，否则，调用所述报文对应的规约库；数据解析子模块，用于根据调用的规约库对所述报文进行解析；解析结果输出子模块，用于将对...

【专利技术属性】
技术研发人员：党三磊，阙华坤，蔡乾乾，孙勇，卢世祥，齐爽，
申请(专利权)人：广东电网有限责任公司电力科学研究院，
类型：发明
国别省市：广东,44