【技术实现步骤摘要】
本专利技术涉及数据存储，尤其涉及一种用于核电历史数据迁移的数据存储方法及系统。
技术介绍
1、核电平台工作有效开展首先需要解决核电历史数据迁移工作，即将核电历史数据尤其是时序数据从电厂侧中的各设备中迁移至中心侧或本地存储，由于待迁移的核电历史数据数据量为千亿级以上的海量数据，目前在数据迁移时一般是通过数据库进行海量核电历史数据的存储，但是这样设置，存在如下难题：第一，通过数据库大批量的进行核电历史数据的读取与写入时，受限于并发处理量限制，数据库可能无法及时响应各个线程，导致容易出现数据漏写的情形的出现；第二，核电历史数据经过分析以形成数据资产时，一般都是作为分析对象的核电数据都是以年为单位进行的，对于亿级以上的海量数据跨年查询时，由于数据量过大（亿级以上），需要花费大量时间才能在数据库中找到并传输出全部的指定数据，响应时间过长，也无法满足需求；第三，由于通过数据库进行数据的写入与读取，系统内存占用高，会对系统中其中程序的正常运行造成影响；第四，从数据库中数据导出时，也面临数据量过大，导出时间慢的情形。
技术实现思路
1、有鉴于此，有必要提供一种用于核电历史数据迁移的数据存储方法及系统，用以解决上述问题。
2、本专利技术提供一种用于核电历史数据迁移的数据存储方法，本地系统中预设测点元数据标准以及主数据存储标准以用于核电历史数据的存储，所述测点元数据标准包括测点id、测点名、数据类型、电厂以及机组信息；所述主数据为核电历史数据，所述主数据存储标准基于预先搭建的存储目录进行主
3、当收到从源系统数据源采集主数据的请求时，则对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据后，分别执行如下步骤进行主数据的存储：
4、s1解析所述主数据获取对应的时间戳与真实数据后形成文件，其中，所述文件存储对应的真实数据，并以所述时间戳命名该文件；
5、s2通过测点元数据标准获取该测点在所述服务器中对应的存储路径并将所述s1中形成的文件存储至指定的存储路径中。
6、优选的，当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：
7、s3解析迁移测点范围获取全部的测点，基于所述测点元数据标准获取每个测点在服务器中的存储路径；
8、s4对于每个测点解析迁移时间段获取所述迁移时间段对应的全部时间戳，并在s3确定存储路径下依据全部时间戳分别进行查询，获取每个时间戳对应的文件后将每个所述文件写入至目标系统数据源。
9、优选地，当收到从所述源系统数据源采集主数据的请求时，对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据包括如下步骤：基于所述迁移测点范围与所述迁移时间段，将一次采集任务拆分为多个采集子任务，每个采集子任务用于以天为单位，采集指定测点指定时间范围内每天的主数据。
10、优选地，获取全部的测点与全部时间戳后还包括如下步骤：基于所述测点与所述时间戳将一次写入任务拆分为多个写入子任务，每个写入子任务用于以天为单位，将指定测点指定时间范围内每天的主数据从本地系统中写入至目标数据源。
11、优选地，所述迁移测点范围确定包括如下步骤：
12、（a）获取源系统数据源中的待迁移的测点元数据，所述测点元数据用于表征待迁移测点的测点名称、关系信息与参数信息，所述关系信息至少包括测点对应的工厂、机组、编码，所述参数信息至少包括测点对应的数据类型;
13、（b）将所述测点元数据写入至所述本地系统中并与本地系统预存的测点元数据标准进行比较，所述的测点元数据标准包括测点id、测点名、数据类型、电厂、机组信息；若判断所述测点名称、所述关系信息与所述参数信息存在不同，则基于所述测点元数据更新所述测点元数据标准，并基于更新后的所述测点元数据标准确认本次数据迁移请求中的迁移测点范围。
14、进一步的，所述确定迁移测点范围还包括根据用户需要在测点元数据标准中添加或者删除测点的以二次确认所述迁移测点范围的步骤。
15、优选的，所述本地系统中，所述测点元数据标准通过mysql数据库进行存储。
16、进一步的，所述真实数据包括测点值、质量位。
17、优选的，所述文件为csv格式。
18、本专利技术还提供了一种用于核电历史数据迁移的数据存储系统，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。
19、与现有技术相比，本专利技术具有的有益效果为：
20、本专利技术所示的一种用于核电历史数据迁移的数据存储方法及系统，在本地系统中预设测点元数据标准与主数据存储标准，其中主数据存储在服务器中，依据测点元数据标准确定每个测点在服务器中的存储路径（电厂/机组/测点），且主数据在指定的文件夹中按天切片式存储，每个文件以对应的时间戳进行命名，当将主数据从本地系统迁移至目标数据源时，只需要在指定存储路径下按照时间戳信息进行对应时间段的文件查找与下载，而无需进行文件中的数据验证，可实现大量数据的快速定位。同时，海量的主数据存储在服务器中，在进行核电历史数据迁移时，由于数据通过数据库进行存储，后续读取文件时，可通过文件共享的方式而不需要通过数据库的操作语言进行聚合，基本不占用系统内存，能够尽量降低对系统内存的占用，且使用磁盘进行海量数据的存储，存储成本低。
21、此外，在进行核电历史数据迁移时，还包括对基于源系统数据源生成的测点元数据与本地系统中预设的测点元数据标准之间的比较，确保不同源系统数据源中发送的测点元数据均包括指定的关系信息与参数信息，然后按照预设主数据存储标准进行数据采集与存储，以屏蔽底层数据在各自源系统的存储方式，统一核电历史数据在本地系统的格式，便于后续数据写入时的查找。
本文档来自技高网...【技术保护点】
1.一种用于核电历史数据迁移的数据存储方法，其特征在于，本地系统中预设测点元数据标准以及主数据存储标准以用于核电历史数据的存储，所述测点元数据标准包括测点id、测点名、数据类型、电厂以及机组信息；所述主数据为核电历史数据，所述主数据存储标准基于预先搭建的存储目录进行主数据的存储，其中，从源系统数据源采集主数据以文件的形式分片存储在本地系统服务器指定路径的文件夹下，其中，每个测点对应文件夹的存储与访问路径依据所述测点元数据标准设置为电厂/机组/测点，每个文件存储所述测点其中一天的主数据且每个文件在指定文件夹下以主数据对应的时间戳命名；
2.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：
3.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于：当收到从所述源系统数据源采集主数据的请求时，对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据包括如下步骤：基于所述迁移测点范围与所述迁移时间段，将一次采集任务拆分为多个采集子任务，每个采集子
4.根据权利要求2所述的一种用于核电历史数据迁移的数据存储方法，其特征在于：获取全部的测点与全部时间戳后还包括如下步骤：基于所述测点与所述时间戳将一次写入任务拆分为多个写入子任务，每个写入子任务用于以天为单位，将指定测点指定时间范围内每天的主数据从本地系统中写入至目标数据源。
5.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述迁移测点范围确定包括如下步骤：
6.根据权利要求5所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述确定迁移测点范围还包括根据用户需要在测点元数据标准中添加或者删除测点的以二次确认所述迁移测点范围的步骤。
7.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述本地系统中，所述测点元数据标准通过mysql数据库进行存储。
8.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述真实数据包括测点值、质量位。
9.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，所述文件为CSV格式。
10.一种用于核电历史数据迁移的数据存储系统，其特征在于：包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现权利要求1至9任一项所述方法的步骤。
...【技术特征摘要】
1.一种用于核电历史数据迁移的数据存储方法，其特征在于，本地系统中预设测点元数据标准以及主数据存储标准以用于核电历史数据的存储，所述测点元数据标准包括测点id、测点名、数据类型、电厂以及机组信息；所述主数据为核电历史数据，所述主数据存储标准基于预先搭建的存储目录进行主数据的存储，其中，从源系统数据源采集主数据以文件的形式分片存储在本地系统服务器指定路径的文件夹下，其中，每个测点对应文件夹的存储与访问路径依据所述测点元数据标准设置为电厂/机组/测点，每个文件存储所述测点其中一天的主数据且每个文件在指定文件夹下以主数据对应的时间戳命名；
2.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于，当收到将本地系统的文件写入至目标系统数据源的请求时，执行如下步骤：
3.根据权利要求1所述的一种用于核电历史数据迁移的数据存储方法，其特征在于：当收到从所述源系统数据源采集主数据的请求时，对于迁移测点范围内的各测点以天为单位获取指定迁移时间段内对应的主数据包括如下步骤：基于所述迁移测点范围与所述迁移时间段，将一次采集任务拆分为多个采集子任务，每个采集子任务用于以天为单位，采集指定测点指定时间范围内每天的主数据。
4.根据权利要求2所述的一种用于核电历史数据迁移的数据存储方法，...
【专利技术属性】
技术研发人员：王向阳，林实宇，王丹，李文康，刘林钰，尤兵，王小钰，万舒，
申请(专利权)人：中核武汉核电运行技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。