一种计量数据管理系统技术方案

本发明专利技术属于计量器具管理技术领域，涉及一种计量数据管理系统；结构包括数据采集单元、数据存储单元、数据应用单元；数据采集单元采集计量器具所测量的数据信息，并对数据进行完整性校验后上传至数据存储单元，数据存储单元对数据进一步进行完整性校验，从校验通过的数据中提取计量器具唯一识别编码，并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息，进行计量器具有效性验证，并对计量器具所测量的数据进行标识后进行分类存储；数据应用单元从数据存储单元提取数据，用于提供基础数据服务；对所测量数据进行两次完整性校验，并增加了基于计量器具有效性验证，提高了数据准确度，实现了数据的有效管理及应用。

【技术实现步骤摘要】
一种计量数据管理系统
本专利技术属于计量器具管理
，具体涉及一种计量数据管理系统。
技术介绍
计量数据是指使用计量器具经检测而出具的数据，也可以叫“量值”、“测量结果”、“测量数据”等，随着物联网技术以及互联网的发展，大大促进了各个行业的智能化程度，目前已经出现很多数据管理及分析挖掘的大数据平台及应用，其中有很大一部分数据来源于计量器具，这些系统通常都包含数据采集模块，数据采集模块主要功能是通过一些设备或者软件将计量器具计量的数据采集出来，传输到系统中进行利用，但现有技术中不能较好的对各种计量器具及数据进行统一的管理，且传统的对于计量数据验证的方式一般是针对所传输的数据是否完整，是否与原始数据一致等进行验证，而没有对产生这个数据的计量器具是否在有效期内进行验证，这种传统的数据验证方式很可能导致未在有效期内的计量器具提供的数据进入到数据管理系统，导致统计或者分析的结果不够准确，且数据信息的分类不便于用户查询或使用，因此设计一种既能够对数据完整性进行校验，又能确保计量器具在有效期内，提高数据的精确度，并将计量数据进行多种分类存储，便于用户查询或使用的数据管理系统很有应用前景。
技术实现思路
本专利技术的目的在于克服现有技术存在的缺点，设计一种计量数据管理系统，实现各种计量数据的统一管理，对所测量数据进行两次完整性校验，而且在此基础上对计量器具是否在有效期内进行验证，根据验证结果对其所测量的数据进行有效性标记，提高了统计数据的准确度，实现数据的有效管理、统计、分析和应用。为了实现上述目的，本专利技术涉及的一种计量数据管理系统，其主体结构包括数据采集单元、数据存储单元、数据应用单元；所述数据采集单元用于采集计量器具所测量的数据信息，并将所测量的数据信息进行完整性校验，将通过校验的计量数据与系统存储的计量器具的唯一识别编码加密后上传至数据存储单元，数据存储单元对接收到的数据进行解密，对解密处理后的计量数据进一步进行完整性校验，从校验通过的数据中提取计量器具唯一识别编码，并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息，进行计量器具有效性验证，并对计量器具所测量的数据进行标识，将验证后的数据及有效性标识进行分类存储，供数据应用单元使用；数据应用单元根据所需的应用类型，从数据存储单元提取数据，用于提供基础数据服务。进一步的，所述的数据采集单元包括数据采集模块和数据接收校验模块；数据采集模块：数据采集模块与现场计量器具进行无线连接，用于向现场计量器具发送采集指令，支持对MODBUS-RTU/TCP/ASCII、IEC60870-5-101/102/103/104、DNP03.0、CDT标准、规约的解析；数据采集模块将采集到的原始计量器具的测量数据信息进行解析后形成计量器具的数据信息，并将解析后的数据信息经加密后传送至数据接收校验模块中进行接收和验证；数据接收校验模块：用于将数据采集模块中加密后的数据信息进行接收和解密，并对解密后的数据进行完整性校验，数据接收校验模块使用CRC校验码进行数据完整性校验，对于校验未通过的数据将不进行处理，校验通过的数据进行数据解析，将数据解析成“测点名称（编号）：值”的形式，解析后的计量数据和计量器具唯一识别编码、数据采集时间、数据长度、数据包含测点数量、数据MD5值进行打包并加密，上传至数据存储单元。进一步的，所述的数据存储单元划分为解密模块、验证模块、分类模块和存储模块；解密模块：用以接收数据采集单元通过数据完整性校验并加密上传的数据，并对数据进行解密处理；验证模块：对解密模块解密处理后的数据进行MD5计算，与上传的MD5值进行对比，校验MD5值是否一致，如果两个值一致则校验通过，否则视为校验不通过；校验未通过的数据舍弃，并向数据采集单元发送重新采集此部分数据的指令，能够选择重新采集该数据或结束采集该数据；校验通过的数据，从解密的数据中提取计量器具唯一识别编码，使用计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息，计量器具信息包括计量器具的强检属性、用途、安装位置、所有者所属行业、所有者所属区域、数据精度、计量器具的计量日期、计量数据类别，并从所获取的强检属性中获取计量器具的强检类型、检定周期以及检定到期时间，对计量器具进行有效性验证过程如下：强检类型包括强检和非强检两类，根据强检类型和计量器具的检定周期，对计量数据属性标记为以下四类：对于非强检类型的计量器具所测数据，数据标记为“非强检有效”；对于强检类计量器具所测数据，将计量器具检定到期时间与采集时间进行比较，如果采集时间小于等于检定到期时间，则数据标记为“强检有效”，如果采集时间大于检定到期时间，则数据标记为“强检无效”；如果验证模块未获得计量器具信息，则数据标记为“无计量器具信息”；分类模块：用以对数据进行初步处理，对通过验证模块验证的数据信息提取计量数据信息，将计量数据按照组合成“测点-时间戳-值”的形式，根据已获取的计量数据信息和计量数据属性标记，将每个属性的计量数据均分为以下四类：累积数据、瞬时数据、阶段增量数据和用户自定义类型数据，并对数据进行标记，其中用户自定义类型数据能够根据使用者需要进行数据类型定义，例如定义为阶段平均数据、阶段最大值、阶段最小值，该分类有利于用户根据需要提取累积数据、瞬时数据、阶段增量数据和用户自定义类型数据，便于用户直接获取数据信息进行分析和使用；存储模块：用以对经分类模块分类的计量数据进行存储，即将每个属性的计量数据以累积数据、瞬时数据、阶段增量数据和用户自定义类型数据为条目进行存储，其中，对于累计数据存储至累积值数据表中，并自动根据本次计量数据时间戳与上一次计量数据时间戳计算出两个时间间隔之间的数据差值，并存储到增量表中；对于瞬时数据存储至实时数据表中；对于阶段增量数据存储到增量表中，并自动计算累积值并存储到累积值数据表中；对于用户自定义数据类型，按照用户设定的存储方式进行存储；所有数据存储时均标记由验证模块进行校验的数据属性标记，保证了对有效检定周期内的计量器具进行数据存储。进一步的，所述的数据应用单元从存储单元获取数据，用于提供基础数据服务；所述的基础数据包括：原始计量数据：计量器具所测量的原始数据，包含计量器具唯一识别编码、测点名称（编号）、采集时间、测量值、数据有效性标记；测点汇总数据：对于阶段增量数据进行按时间汇总，按照小时、日、周、旬、月、季度、年等进行的汇总数据；阶段平均数据：对于瞬时数据进行按时间取平均值计算，按照小时、日、周、旬、月、季度、年等进行计算得到的阶段平均数据；其他处理数据：根据数据的有效性标记分类、数据所属的行业分类、数据所属的区域等进行按时间阶段数据汇总或者取平均值等计算得到的数据；由数据使用者自定义的计算数据：数据使用者能够根据需要进行自定义数据处理设置，包括自定义统计周期，自定义数据计算公式、自定义取值方式等。进一步的，所述的数据应用单元分为数据提供者服务、行业应用、公共服务和大数据应用四类；其中，所述的行业应用、公共服务、大数据应用三类数据应用中所涉及的数据，均需经过数据提供者授权并对数据进行脱敏处理，即在向非数据提供者提供数据应用服务时，对所提供的数据的敏感信息进行隐藏或者变形，保证在提供真实数据的同时不泄露数据提供本文档来自技高网...

【技术保护点】
一种计量数据管理系统，其特征在于：主体结构包括数据采集单元、数据存储单元、数据应用单元；所述数据采集单元用于采集计量器具所测量的数据信息，并将所测量的计量数据信息进行完整性校验，将通过校验的数据与系统存储的计量器具的唯一识别编码加密后上传至数据存储单元，数据存储单元对接收到的数据进行解密，对解密处理后的数据进一步进行完整性校验，从校验通过的数据中提取计量器具唯一识别编码，并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息，进行计量器具有效性验证，并对计量器具所测量的数据进行标识，将验证后的数据及有效性标识进行分类存储，供数据应用单元使用；数据应用单元根据所需的应用类型，从数据存储单元提取数据，用于提供基础数据服务。

【技术特征摘要】
1.一种计量数据管理系统，其特征在于：主体结构包括数据采集单元、数据存储单元、数据应用单元；所述数据采集单元用于采集计量器具所测量的数据信息，并将所测量的计量数据信息进行完整性校验，将通过校验的数据与系统存储的计量器具的唯一识别编码加密后上传至数据存储单元，数据存储单元对接收到的数据进行解密，对解密处理后的数据进一步进行完整性校验，从校验通过的数据中提取计量器具唯一识别编码，并通过计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息，进行计量器具有效性验证，并对计量器具所测量的数据进行标识，将验证后的数据及有效性标识进行分类存储，供数据应用单元使用；数据应用单元根据所需的应用类型，从数据存储单元提取数据，用于提供基础数据服务。2.根据权利要求1所述的计量数据管理系统，其特征在于：所述的数据采集单元包括数据采集模块和数据接收校验模块；数据采集模块：数据采集模块与现场计量器具进行无线连接，用于向现场计量器具发送采集指令，支持对MODBUS-RTU/TCP/ASCII、IEC60870-5-101/102/103/104、DNP03.0、CDT标准、规约的解析；数据采集模块将采集到的原始计量器具的测量数据信息进行解析后形成计量器具的数据信息，并将解析后的数据信息经加密后传送至数据接收校验模块中进行接收和验证；数据接收校验模块：用于将数据采集模块中加密后的数据信息进行接收和解密，并对解密后的数据进行完整性校验，数据接收校验模块使用CRC校验码进行数据完整性校验，对于校验未通过的数据将不进行处理，校验通过的数据进行数据解析，将数据解析成“测点名称（编号）：值”的形式，解析后的计量数据和计量器具唯一识别编码、数据采集时间、数据长度、数据包含测点数量、数据MD5值进行打包并加密，上传至数据存储单元。3.根据权利要求2所述的计量数据管理系统，其特征在于：所述的数据存储单元划分为解密模块、验证模块、分类模块和存储模块；解密模块：用以接收数据采集单元通过数据完整性校验并加密上传的数据，并对数据进行解密处理；验证模块：对解密模块解密处理后的数据进行MD5计算，与上传的MD5值进行对比，校验MD5值是否一致，如果两个值一致则校验通过，否则视为校验不通过；校验未通过的数据舍弃，并向数据采集单元发送重新采集此部分数据的指令，能够选择重新采集该数据或结束采集该数据；校验通过的数据，从解密的数据中提取计量器具唯一识别编码，使用计量器具唯一识别编码从计量器具公共服务平台中获取计量器具信息，计量器具信息包括计量器具的强检属性、用途、安装位置、所有者所属行业、所有者所属区域、数据精度、计量器具的计量日期、计量数据类别，并从所获取的强检属性中获取计量器具的强检类型、检定周期以及检定到期时间，对计量器具进行有效性验证过程如下：强检类型包括强检和非强检两类，根据强检类型和计量器具的检定周期，对计量数据属性标记为以下四类：对于非强检类型的计量器具所测数据，数据标记为“非强检有效”；对于强检类计量器具所测数据，将计量器具检定到期时间与采集时间进行比较，如果采集时间小于等于检定到期时间，则数据标记为“强检有效”，如果采集时间大于检定到期时间，则数据标记为“强检无效”；如果验证模块未获得计量器具信息，则数据标记为“无计量器具信息”；分类模块：用以对数据进行初步处理，对通过验证模块验证的数据信息提取计量数据信息，将计量数据按照组合成“测点-时间戳-值”的形式，根据已获取的计量数据信息和计量数据属性标记，将每个属性的计量数据均分为以下四类：累积数据、瞬时数据、阶段增量数据和用户自定义类型数据，并对数据进行标记，其中用户自定义类型数据能够根据使用者需要进行数据类型定义，例如定义为阶段平均数据、阶段最大值、阶段最小值，该分类有利于用户根据需要提取累积数据、瞬时数据、阶段增量数据和用户自定义类型数据，便于用户直接获取数据信息进行分析和使用；存储模块：用以对经分类模块分类的计量数据进行存储，即将每个属性的计量数据以累积数据、瞬时数据、阶段增量数据和用户自定义类型数据为条目进行存储，其中，对于累计数据存储至累积值数据表中，并自动根据本次计量数据时间戳与上一次计量数据时间戳计算出两个时间间隔之间的数据差值，并存储到增量表中；对于瞬时数据存储至实时数据表中；对于阶段增量数据存储到...

【专利技术属性】
技术研发人员：吕峰，荆书典，史俊花，许胜利，刘海英，
申请(专利权)人：济南大陆机电股份有限公司，
类型：发明
国别省市：山东,37