【技术实现步骤摘要】
本专利技术属于核电数据处理，尤其涉及一种核电元数据存储管理方法及系统。
技术介绍
1、核电工业互联网平台边缘侧接入并存储了电厂的海量时序数据，根据核电数据业务特点可以将时序数据划分为实时数据和历史数据，在将实时数据和历史数据由边缘侧传输到中心侧的过程中往往会遇到数据不完整和不可靠的问题。其中，实时数据具有实时性和短期缓存的特点，在基于核电工业互联平台实施实时数据接入的全数据链路中涉及到数据采集、数据缓存、数据分发、数据存储等过程，在数据实时传输过程中可能会有程序报错、网络中断、系统升级等不确定因素导致的实时数据接入中断的情况发生，此外，当数据传输失败后还存在系统无法自动追溯错误的问题和数据补偿的问题。历史数据具有数据量大和时间跨度大的特点，由于历史传输链路较长和数据流转环节较多等原因，导致最终存储到核电工业互联网平台的数据存在不完整的问题，由于传输链路较长和数据流转环节较多，目前无法及时实现问题环节的有效定位与分析。
技术实现思路
1、有鉴于此，有必要提供一种核电元数据存储管理方法与系统，用以解决数据由边缘侧传输到中心侧的过程的问题环节定位。
2、本专利技术提供一种核电元数据存储管理方法，用于记录和管理核电数据传输运行过程中产生的各类元数据并对各类所述元数据进行处理，其中，所述元数据包括采集元数据、传输元数据以及存储元数据；
3、所述采集元数据基于历史数据采集日志记录和/或实时数据采集日志记录生成，每个所述存储元数据至少包括测点名称，写入时间段、所述写入时间
4、所述传输元数据基于每次历史数据从边缘侧传输到中心侧的传输日志记录生成，所述传输元数据用于表征传输过程记录的数据信息，所述传输元数据至少包括任务名称，传输周期以及所述传输周期内传输的文件夹总数量与文件总数量；
5、所述存储元数据基于实时数据与历史数据写入至目标数据库的每个写入记录生成，每个所述存储元数据至少包括测点名称，写入时间段、所述写入时间段对应的写入数据量，其中，所述写入数据量用于表征测点在指定日期存储在中心侧的写入数据总量。
6、优选的，每条所述采集元数据存储指定测点一年的采集数据量，所述采集元数据包括测点名称、年份以及全年的采集数据量，且指定年份对应全部所述采集数据量按照时间先后顺序在所述采集元数据中依次存储。
7、优选的，每条存储元数据存储指定测点一年的写入数据量，所述存储元数据包括测点名称、年份以及全年的写入数据量，其中，指定年份对应的所述写入数据量按照时间先后顺序在所述存储元数据中依次存储。
8、优选的，指定年份对应的采集数据量或写入数据量转换为指定进制的数据后按照时间先后顺序在所述存储元数据中依次存储。
9、优选的，对各类所述元数据进行处理包括基于所述元数据进行问题环节定位分析，所述问题环节定位分析包括如下步骤：
10、s1获取待定位数据的时间范围与测点范围；
11、s2对所述测点范围内的每个测点，基于时间范围分别从所述采集元数据、传输元数据与存储元数据分别找到对应的采集数据量、文件量以及写入数据量；
12、s3基于每个采集数据量与写入数据量的值，判断是否存在对应的文件，其中值不为0，则判断存在文件，并汇总后分别获取对应的采集文件总量以及存储文件总量；
13、s4比较采集文件总量、存储文件总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。
14、或
15、s1'获取待定位数据的时间范围与测点范围；
16、s2'对所述测点范围内的每个测点，从所述采集元数据、传输元数据与存储元数据分别找到对应的测点名称以及文件夹数量；
17、s3'统计采集元数据与存储元数据中找到的测点名称的数量，以获取对应的采集文件夹总量以及存储文件夹总量，其中若找到对应的测点名称，则判断存在对应的文件夹；
18、s4'比较采集文件夹总量、存储文件夹总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。
19、更进一步的，所述步骤s4'中，若采集文件总量或存储文件总量的值不同，还包括：对于每个测点，分别比较指定的所述时间范围内对应日期的写入数据量与采集数据量，若判断二者不一致，则判断对应日期的核电数据传输运行过程存在问题。
20、优选的，所述元数据还包括归档元数据，所述归档元数据基于中转数据库中每条历史数据归档至归档数据库的归档记录生成，每条所述归档元数据至少包括归档文件名称、归档文件大小、归档文件路径、归档时间以及所属任务。
21、进一步的，对各类所述元数据进行处理以进行问题环节定位包括如下步骤：
22、a获取待定位数据的时间范围与测点范围；
23、b对所述测点范围内的每个测点，基于时间范围从所述归档元数据找到对应的归档文件路径，并基于所述归档文件路径从归档数据库中下载对应的归档数据；同时，基于时间范围从存储元数据中找到对应的写入数据量；
24、c基于所述归档数据统计归档数据量，并比较归档数据量与写入数据量的大小；
25、c1若二者相等，判断采集环节与传输环节可能存在问题；则
26、c11对所述测点范围内的每个测点，基于时间范围分别从所述采集元数据与传输元数据分别找到对应的采集数据量与文件量；
27、c12基于每个采集数据量与写入数据量的值，判断是否存在对应的文件，其中值不为0，则判断存在文件，并汇总后分别获取对应的采集文件总量以及存储文件总量；
28、c13比较采集文件总量、存储文件总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。
29、或
30、c11'对所述测点范围内的每个测点，基于时间范围从所述采集元数据、传输元数据与存储元数据分别找到对应的测点名称以及文件夹数量；
31、c12'统计采集元数据与存储元数据中找到的测点名称的数量，以获取对应的采集文件夹总量以及存储文件夹总量，其中若找到对应的测点名称，则判断存在对应的文件夹；
32、c13'比较采集文件夹总量、存储文件夹总量以及文件量，若其中一组数量不同，则判断对应的环节存在问题。
33、c2若归档数据量大于写入数据量，则判断写入环节存在问题。
34、进一步的，对各类所述元数据进行处理包括基于所述归档元数据进行资产分析，所述资产分析包括获取任务名称，基于所述任务名称从对应的归档元数据获取归档文件路径，基于所述归档文件路径从归档数据库中下载对应的数据以进行资产分析。
35、优选的，对各类所述元数据进行处理还包括基于所述元数据进行周期性分析，所述周期性分析包括如下一种或多种的组合：
36、对于采集元数据，获取测点名称与查询时间段后，基于所述测点名称与查询时间段获取对应的采集元数据的采集记录本文档来自技高网...
【技术保护点】
1.一种核电元数据存储管理方法，其特征在于，用于记录和管理核电数据传输运行过程中产生的各类元数据并对各类所述元数据进行处理，其中，所述元数据包括采集元数据、传输元数据以及存储元数据；
2.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，每条所述采集元数据存储指定测点一年的采集数据量，其中，指定年份对应全部所述采集数据量按照时间先后顺序在所述采集元数据中依次存储。
3.根据权利要求2所述的一种核电元数据存储管理方法，其特征在于，每条存储元数据存储指定测点一年的写入数据量，其中，指定年份对应的所述写入数据量按照时间先后顺序在所述存储元数据中依次存储。
4.根据权利要求3所述的一种核电元数据存储管理方法，其特征在于，指定年份对应的采集数据量或写入数据量转换为指定进制的数据后按照时间先后顺序在所述存储元数据中依次存储。
5.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，对各类所述元数据进行处理包括基于所述元数据进行问题环节定位分析，所述问题环节定位分析包括如下步骤：
6.根据权利要求5所述的一种核电元数
7.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，所述元数据还包括归档元数据，所述归档元数据基于中转数据库中每条历史数据归档至归档数据库的归档记录生成，每条所述归档元数据至少包括归档文件名称、归档文件大小、归档文件路径、归档时间以及所属任务。
8.根据权利要求7所述的一种核电元数据存储管理方法，其特征在于，对各类所述元数据进行处理以进行问题环节定位包括如下步骤：
9.根据权利要求8所述的一种核电元数据存储管理方法，其特征在于，对各类所述元数据进行处理包括基于所述归档元数据进行资产分析，所述资产分析包括获取任务名称，基于所述任务名称从对应的归档元数据获取归档文件路径，基于所述归档文件路径从归档数据库中下载对应的数据以进行资产分析。
10.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，对各类所述元数据进行处理还包括基于所述元数据进行周期性分析，所述周期性分析包括如下一种或多种的组合：
11.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，所述元数据还包括测点元数据，所述测点元数据用于边缘侧的源数据库和中心侧目标数据库中的测点元数据的管理，其中，所述测点元数据至少包括测点名称、电厂、机组、系统、系统编码、设备名称以及设备编码。
12.一种核电元数据存储管理系统，其特征在于，用于记录和管理核电数据传输运行过程中产生的元数据，包括采集元数据管理模块、传输元数据管理模块以及存储元数据管理模块以及元数据处理模块；
...【技术特征摘要】
1.一种核电元数据存储管理方法，其特征在于，用于记录和管理核电数据传输运行过程中产生的各类元数据并对各类所述元数据进行处理，其中，所述元数据包括采集元数据、传输元数据以及存储元数据；
2.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，每条所述采集元数据存储指定测点一年的采集数据量，其中，指定年份对应全部所述采集数据量按照时间先后顺序在所述采集元数据中依次存储。
3.根据权利要求2所述的一种核电元数据存储管理方法，其特征在于，每条存储元数据存储指定测点一年的写入数据量，其中，指定年份对应的所述写入数据量按照时间先后顺序在所述存储元数据中依次存储。
4.根据权利要求3所述的一种核电元数据存储管理方法，其特征在于，指定年份对应的采集数据量或写入数据量转换为指定进制的数据后按照时间先后顺序在所述存储元数据中依次存储。
5.根据权利要求1所述的一种核电元数据存储管理方法，其特征在于，对各类所述元数据进行处理包括基于所述元数据进行问题环节定位分析，所述问题环节定位分析包括如下步骤：
6.根据权利要求5所述的一种核电元数据存储管理方法，其特征在于，所述步骤s4'中，若采集文件总量或存储文件总量的值不同，还包括：对于每个测点，分别比较指定的所述时间范围内对应日期的写入数据量与采集数据量，若判断二者不一致，则判断对应日期的核电数据传输运行过程存在问题。
7.根据权利要求1所述的一种核电元数据存...
【专利技术属性】
技术研发人员：程敏敏，刘宇航，景应刚，徐奎，李敏，兰洋，方华建，
申请(专利权)人：中核武汉核电运行技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。