【技术实现步骤摘要】
本专利技术属于核电数据处理，尤其涉及一种基于文件存储的核电历史数据对比方法、系统、计算机设备及存储介质。
技术介绍
1、核电工业互联网平台边缘侧接入并存储了电厂的海量时序数据，根据核电数据业务特点可以将时序数据划分为近实时数据和历史数据，其中，在将历史数据由边缘侧传输到中心侧的过程中往往会遇到数据不完整和不可靠的问题，具体而言，历史数据具有数据量大和时间跨度大的特点，由于历史传输链路较长和数据流转环节较多等原因，导致最终存储到核电工业互联网平台的数据存在不完整的问题，由于核电工业互联网平台中需要基于历史数据的各项应用与分析，其对连续时间区间内的历史数据质量要求较高，否则会影响应用与分析的可靠性，因此，为提高核电工业互联网平台中存储的海量历史数据的完整性与可靠性，故在历史数据存储至核电工业互联网平台后，核电工业互联网平台还设计了对有问题的历史数据进行补充采集的方案，在进行历史补采的时候，通常需要对历史数据库中的数据进行全量对比，确认是否存在遗漏或者错误，以确保历史数据库中的数据的准确性，从而后续基于历史数据进行资产加工时，不会由于数据问题导致后续建模分析等应用准确不足；核电历史数据往往包括七八年的数据，在进行数据对比时，测点众多，每个测点每天采集的数据量通常为百条以上，历史数据总量通常达到十亿级别，因此如何从海量数据快速定位问题数据以用于后续问题数据的补充采集是目前亟需解决的问题。
技术实现思路
1、有鉴于此，有必要提供一种基于文件存储的核电历史数据对比方法，用以解决海量数据中问题数
2、本专利技术提供一种基于文件存储的历史数据对比方法，包括如下步骤：
3、s1根据预设的测点范围与时间范围从历史数据库中导出历史数据文件，其中，所述历史数据文件包括多组测点历史数据文件，每个所述测点历史数据文件存储一个测点一年的历史数据，且所述历史数据按照各自采集时间戳的顺序存储，并基于测点名、导出开始日期与导出结束日期为每个测点历史数据文件命名；
4、s2将所述历史数据文件与全量数据库中源数据进行比较，其中，所述全量数据库中，每个测点对应设置一个文件夹，每个文件夹的存储与访问路径设置为电厂/机组/测点，所述源数据以天文件的形式分片存储在指定的文件夹下，每个所述天文件存储测点其中一天的源数据且每个天文件在该文件夹下以对应的采集时间戳命名；
5、将所述历史数据文件与全量数据库中源数据进行比较包括：对于每个测点历史数据文件，基于所述测点历史数据文件的测点名、导出开始日期与导出结束日期在全量数据库找到对应的天文件，将具体相同采集时间戳的天文件与测点历史数据文件对应的历史数据依次进行比较，判断二者存储的值是否相同以获取存在值差异的历史数据记录；
6、s3基于全部的存在值差异的历史数据记录形成差异性文件。
7、优选的，根据预设的测点范围与时间范围从历史数据库中导出历史数据文件包括如下步骤：
8、s11根据预设的测点范围为每个测点生成txt文件；
9、s12基于所述时间范围为每个所述txt文件分配导出开始日期与导出结束日期，其中，所述导出开始日期与导出结束日期以年为单位进行；
10、s13对于每个txt文件，基于所述导出开始日期与导出结束日期从历史数据库中查询对应的历史数据并按照采集时间戳的顺序写入至所述txt文件以形成所述测点历史数据文件。
11、优选的，对于每个测点历史数据文件，基于所述测点历史数据文件的测点名、导出开始日期与导出结束日期在全量数据库找到对应的天文件，将具体相同采集时间戳的天文件与测点历史数据文件对应的历史数据依次进行比较，判断二者存储的值是否相同包括如下步骤：
12、s21遍历所述测点历史数据文件，将测点历史数据文件中的数据按照日期先后顺序写入到list中，并根据所述测点历史数据文件的文件名，解析出测点名、导出开始日期和导出结束日期；
13、s22获取源数据的根目录，根据所述测点名以及源数据文件的根目录获取该测点的文件列表pifiles，根据所述导出开始日期和导出结束日期，获取pifiles中属于指定时间范围全部天文件，并将对应的天文件中的数据读取到map文件中，其中所述map文件的采集时间戳和值作为键值对；
14、s23判断所述map文件是否为空；若map文件为空，则进行下一组的所述测点历史数据文件的比较；若否，则遍历list中的数据，并判断map文件中是否存在相同的采集时间戳，如果有，则将map文件中采集时间戳对应的值取出来和list中的相同采集时间戳对应的值作比较。
15、进一步的，s22中，根据所述导出开始日期和导出结束日期获取pifiles中属于指定时间范围的全部天文件包括如下步骤：
16、s221对于每个所述测点，根据所述测点名以及源数据文件的根目录在全量数据库中找到该测点对应的文件夹；
17、s221解析所述导出开始日期和导出结束日期获取对应时间范围内的全部时间戳，根据全部时间戳在指定文件夹中进行查询文件名，以获取本次的对比数据。
18、进一步的，步骤s22中，所述源数据为zip文件，所述对比方法还包括源数据预处理的步骤，包括：遍历zip文件，对于每个zip文件判断其是否为正常的zip文件；若是，则解压该zip文件，根据预设规则将解压文件内容格式改为与导出的测点历史数据文件保持一致，并将处理后的解压文件生成对应的csv文件后存放在指定根目录下；若否，则转入下一个zip文件的处理。
19、更进一步的，根据预设规则将文件内容格式改为和历史数据库中的历史数据格式保持一致包括如下一种或多种的组合：
20、判断zip文件中的time值是否为毫米级别，若否，则将time值后面加三个0增加000；
21、判断zip文件的数据类型是否为整数值，若是，则对整数值补一位小数点。
22、进一步的，s23中，将map文件中采集时间戳对应的值取出来和list中的相同采集时间戳对应的值作比较包括：
23、如果二者对应的值相同，则将该条数据从map文件中移除；
24、如果二者对应的值不同，则在map文件中继续保留该数据；
25、如果map文件中没有该对应的采集时间戳，则在map文件中新增该条数据。
26、本专利技术还提供了一种基于文件存储的核电历史数据对比系统，包括：
27、历史数据文件导出模块，用于根据预设的测点范围与时间范围从历史数据库中导出历史数据文件，其中，所述历史数据文件包括多组测点历史数据文件，每个所述测点历史数据文件存储一个测点一年的历史数据，且所述历史数据按照各自采集时间戳的顺序存储，并基于测点名、导出开始日期与导出结束日期为每个测点历史数据文件命名；
28、数据比较模块，用于将所述历史数据文件与全量数据库中源数据进行比较，其中，所述全量数据库中，每个测点对应设置一个文件夹，每个文件夹的存储与访问本文档来自技高网...
【技术保护点】
1.一种基于文件存储的核电历史数据对比方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于文件存储的核电历史数据对比方法，其特征在于：根据预设的测点范围与时间范围从历史数据库中导出历史数据文件包括如下步骤：
3.根据权利要求1所述的一种基于文件存储的核电历史数据对比方法，其特征在于：对于每个测点历史数据文件，基于所述测点历史数据文件的测点名、导出开始日期与导出结束日期在全量数据库找到对应的天文件，将具体相同采集时间戳的天文件与测点历史数据文件对应的历史数据依次进行比较，判断二者存储的值是否相同包括如下步骤：
4.根据权利要求3所述的一种基于文件存储的核电历史数据对比方法，其特征在于：S22中，根据所述导出开始日期和导出结束日期获取pifiles中属于指定时间范围的全部天文件包括如下步骤：
5.根据权利要求3所述的一种基于文件存储的核电历史数据对比方法，其特征在于：步骤S22中，所述源数据为zip文件，所述对比方法还包括源数据预处理的步骤，包括：遍历zip文件，对于每个zip文件判断其是否为正常的zip文件；若是，则解压
6.根据权利要求5所述的一种基于文件存储的核电历史数据对比方法，其特征在于：根据预设规则将文件内容格式改为和历史数据库中的历史数据格式保持一致包括如下一种或多种的组合：
7.根据权利要求3所述的一种基于文件存储的核电历史数据对比方法，其特征在于：S23中，将map文件中采集时间戳对应的值取出来和list中的相同采集时间戳对应的值作比较包括：
8.一种基于文件存储的核电历史数据对比系统，其特征在于，包括：
9.一种计算机设备，其特征在于：包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现权利要求1至7任一项所述方法的步骤。
...【技术特征摘要】
1.一种基于文件存储的核电历史数据对比方法，其特征在于：包括如下步骤：
2.根据权利要求1所述的一种基于文件存储的核电历史数据对比方法，其特征在于：根据预设的测点范围与时间范围从历史数据库中导出历史数据文件包括如下步骤：
3.根据权利要求1所述的一种基于文件存储的核电历史数据对比方法，其特征在于：对于每个测点历史数据文件，基于所述测点历史数据文件的测点名、导出开始日期与导出结束日期在全量数据库找到对应的天文件，将具体相同采集时间戳的天文件与测点历史数据文件对应的历史数据依次进行比较，判断二者存储的值是否相同包括如下步骤：
4.根据权利要求3所述的一种基于文件存储的核电历史数据对比方法，其特征在于：s22中，根据所述导出开始日期和导出结束日期获取pifiles中属于指定时间范围的全部天文件包括如下步骤：
5.根据权利要求3所述的一种基于文件存储的核电历史数据对比方法，其特征在于：步骤s22中，所述源数据为zip文件，所述对比方法还包括源数据预处理的步骤，包括：遍历zip文件，对于每个zip文件判断其是否为正常的zi...
【专利技术属性】
技术研发人员：程敏敏，刘宇航，景应刚，徐奎，李文康，兰洋，
申请(专利权)人：中核武汉核电运行技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。