将电力系统历史数据高效完整同步到综合数据平台的方法技术方案

本发明专利技术公开了一种将电力系统历史数据完整同步到综合数据平台的方法包括以下步骤：⑴获取上次整体同步结束时间点；⑵获取量测与该量测最后一个记录时间点的映射表；⑶获取缺失历史数据的量测与时间点；⑷将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；⑸映射表中存在的每个量测的最后一个记录时间点作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测整体同步结束时间统一为当前时间。本发明专利技术可保证数据高效同步到综合数据平台的完整性，保证及时同步补全数据及每次同步数据的无缝拼接。

【技术实现步骤摘要】
将电力系统历史数据高效完整同步到综合数据平台的方法
本专利技术涉及一种将电力系统历史数据高效完整同步到综合数据平台的方法。
技术介绍
电力调度机构中的调度自动化系统(SCADA/EMS)运行期间会产生大量的历史数据，这些数据包括一次性设备的电压、电流、有功、无功、系统统计值、系统计算值等。大部分历史数据都是以量测为单位每间隔5分钟进行存储，量测是指历史数据的种类，如：某个一次性设备的电压是一个量测，而电流是另一个量测。目前，随着综合数据平台对调度自动化系统历史数据的应用分析越来越广泛，需要将调度自动化系统历史数据完整同步迁移到综合数据平台中，以方便分析应用，但是，因为历史数据数量庞大且随着时间不断增多，还存在部分数据中间丢失后又通过后期补全的历史数据，所以，历史数据的定时高效完整性同步迁移及数据补全同步是综合数据平台历史数据迁移的关键环节。现有同步数据的一个方法是所有量测采用同一个起止时间查询数据，为了保证每个量测历史数据的完整拼接，每次查询数据的起始时间都是在上次结束时间基础上往前增加一段时间，，比如上次查询结束时间是12点，这次查询起始时间则是10点，其缺陷在于：因为调度自动化系统历史数据每个量测最后更新时间不一定一致，即使每次多重复查询一段时间的历史数据，也无法保证部分量测历史数据不丢失，使得部分量测历史数据无法完整拼接，从而不能保证同步历史数据的完整性，并且重复查询会在很大程度上降低了数据同步的效率，存在部分量测历史数据重复同步的问题。现有同步数据的另一个方法是每个量测单独记录一个最后的时间点，但是，没有缺失点记录，其缺点在于：无法对后续补全的调度自动化历史数据进行同步补全，不能做到完整性同步，从而无法保证同步历史数据的完整性。
技术实现思路
本专利技术的目的在于提供一种同步效率高且确保同步历史数据的完整性的将电力系统历史数据完整同步到综合数据平台的方法，可将电力调度系统历史数据高效同步到综合数据平台，能够保证历史数据同步的无缝拼接与数据补全，确保同步历史数据的完整性。本专利技术的上述目的通过以下的技术措施来实现：一种将电力系统历史数据完整同步到综合数据平台的方法，其特征在于包括以下步骤：⑴解析整体同步时间记录文件，获取上次整体同步结束时间点；⑵解析每个量测数据的最后同步时间点文件，获取量测与该量测最后一个记录时间点的映射表；⑶解析丢失历史数据时间点文件，获取缺失历史数据的量测与时间点；⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测的整体同步结束时间统一为当前时间；⑹查询具有相同同步起始时间的多个量测的历史数据，将查询到的历史数据导入综合数据平台中，在历史数据查询过程中，根据调度自动化系统储存一次历史数据的时间间隔找出缺失历史数据的时间点，并将缺失历史数据的量测与时间点记录到丢失历史数据文件中，同时根据查询到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中，该同步时间点文件作为下次同步的最后同步时间点文件，最后将当前统一结束时间更新到整体同步时间记录文件中。本专利技术能够有效保证数据同步到综合数据平台的完整性，保证及时同步补全数据及每次同步数据的无缝拼接，可以实现高效同步，解决了大多数电力调度系统历史数据在同步迁移时无法保证每个量测的历史数据的无缝拼接，且存在丢失数据及后续补全数据的问题。作为本专利技术的一种实施方式，在所述步骤⑹中，所述的时间间隔为5分钟。与现有技术相比，本专利技术具有如下显著的效果：⑴本专利技术记录上次整体同步时间，作为新量测起始同步时间，保证了新量测的全部历史数据完整同步。⑵本专利技术独立记录每个量测的最后一条数据时间，保证数据每次同步的无缝拼接。⑶本专利技术根据源历史数据库历史数据每5分钟一个点的特点，记录缺失量测及时间点，保证同步补全缺失的历史数据。具体实施方式本专利技术一种将电力系统历史数据完整同步到综合数据平台的方法，包括以下步骤：⑴解析整体同步时间记录文件syntime.opt，获取上次整体同步结束时间点；⑵解析每个量测数据的最后同步时间点文件measurementtime.opt，，获取量测与该量测最后一个记录时间点的映射表；⑶解析丢失历史数据时间点文件lose.opt，获取缺失历史数据的量测与时间点；以上的syntime.opt、measurementtime.opt和lose.opt参见下表：(表1)⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点，作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测的整体同步结束时间统一为当前统一结束时间；⑹查询具有相同同步起始时间的多个量测的历史数据，将查询到的历史数据导入综合数据平台中，在历史数据查询过程中，根据调度自动化系统历史数据每间隔5分钟一个时间点找出缺失历史数据的时间点，并将缺失历史数据的量测与时间点记录到丢失历史数据文件中，同时根据到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中，该同步时间点文件作为下次同步的最后同步时间点文件，最后将当前统一结束时间更新到整体同步时间记录文件中。本专利技术的实施方式不限于此，根据本专利技术的上述内容，按照本领域的普通技术知识和惯用手段，在不脱离本专利技术上述基本技术思想前提下，本专利技术还可以做出其它多种形式的修改、替换或变更，均落在本专利技术权利保护范围之内。本文档来自技高网...

【技术保护点】
一种将电力系统历史数据高效完整同步到综合数据平台的方法，其特征在于包括以下步骤：⑴解析整体同步时间记录文件，获取上次整体同步结束时间点；⑵解析每个量测数据的最后同步时间点文件，获取量测与该量测最后一个记录时间点的映射表；⑶解析丢失历史数据时间点文件，获取缺失历史数据的量测与时间点；⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据文件中已经补全的缺失历史数据时间点；⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点，作为该量测的本次同步起始时间；映射表中没有的量测作为新增量测，以上次整体同步结束时间点为新增量测的本次同步起始时间，全部量测的整体同步结束时间统一为当前统一结束时间；⑹查询具有相同同步起始时间的多个量测的历史数据，将查询到的历史数据导入综合数据平台中，在历史数据查询过程中，根据调度自动化系统储存一次历史数据的时间间隔找出缺失历史数据的时间点，并将缺失历史数据的量测与时间点记录到丢失历史数据文件中，同时根据查询到的历史数据将每个量测的最新数据时间点更新到同步时间点文件中，该同步时间点文件作为下次同步的最后同步时间点文件，最后将当前统一结束时间更新到整体同步时间记录文件中。...

【技术特征摘要】
1.一种将电力系统历史数据高效完整同步到综合数据平台的方法，其特征在于包括以下步骤：⑴解析整体同步时间记录文件，获取上次整体同步结束时间点；⑵解析每个量测数据的最后同步时间点文件，获取量测与该量测最后一个记录时间点的映射表；⑶解析丢失历史数据时间点文件，获取缺失历史数据的量测与时间点；⑷连接调度自动化系统的历史数据库，根据缺失历史数据的量测与时间点查询历史数据库，将查询到的缺失历史数据导入综合数据平台中，根据查询到的缺失历史数据删除丢失历史数据时间点文件中已经补全的缺失历史数据时间点；⑸查询全部调度自动化系统的量测，获得全部量测信息，根据量测信息，在映射表中查找每个量测的最后一个记录时间点，映射表中存在的每个量测的最后一个记录时间点，作为该量测的本次同步起始时间；映射...

【专利技术属性】
技术研发人员：高雅，杜双育，谢善益，杨强，马金宝，孙龙涛，徐庆平，
申请(专利权)人：广东电网有限责任公司电力科学研究院，威海欣智信息科技有限公司，
类型：发明
国别省市：广东;44