一种通用海洋数据质控方法、计算机设备和储存介质技术

本发明专利技术公开了一种通用海洋数据质控方法、计算机设备和储存介质，可以在复杂监测环境下对采集和储存过程监控告警，确保数据储存过程安全可靠；储存过程中可以多种形式保存科研数据。通过统一转换监测设备数据格式，根据需要和规范自定义多种特定数据特征的数据质量检测方法组合，对大量科研数据进行质量控制检测，明确数据可用性，为后续科研成果提供支撑，该系统提供良好的可视化操作界面实现科研人员与系统的交互，并按规范提供有高可读性的结果报表输出，并提供实体报告文件打印存档。并提供实体报告文件打印存档。并提供实体报告文件打印存档。

【技术实现步骤摘要】
一种通用海洋数据质控方法、计算机设备和储存介质


[0001]本专利技术涉及数据处理
，具体是指一种通用海洋数据质控方法、计算机设备和储存介质。

技术介绍

[0002]海洋信息技术的快速发展过程中，海洋监测数据逐渐成为实现海洋气象研究领域最重要的资源之一。
[0003]海上网络环境不畅，卫星通信效率低质量差，很难将体量庞大并且精度要求高的科研数据及时传输至地面研究场所，科研数据价值高精度高，需要有船上采集和稳定储存环境，确保数据安全。
[0004]同时，随着数据采集效率提升、数据量不断增大，数据质量问题也随之而来。海洋环境复杂，科研人员收集到的原始数据难以避免地含有大量误差、错误、缺失等“噪音”，科研人员不仅在应用数据时受到严重阻碍，甚至会使科研结果可信度受损。
[0005]针对以上现象，已有许多方法和技术作为支撑解决部分问题，但在处理数据储存、汇交、质量控制的过程中，想要同时满足数据储存安全以及数据的规范化、结构化、可视化需求，仍缺少完善而行之有效的方案。
[0006]首先，针对不同数据类型，检测设备输出产生数据的方式(如编码类型、输出数据格式、接口规范等)往往有很大差异，且科研数据量庞大，需要以TB为单位储存，如不能针对不同监测设备的输出结果自动保存在安全的非易失性介质，以及转换为标准编码和数据结构，会为分析人员增加大量无意义工作。
[0007]其次，不同科研人员分工筛查数据运用的工具、方法以及判断标准不一。没有统一规范的数据处理方法，会对数据可用性结果的判断产生明显干扰。
[0008]再者，科研工作领域划分细，针对不同的科研数据，分析员更关注某种特定数据特征是否符合要求。如果只是将数据进行笼统整合统一处理，不仅浪费硬件资源，对实际的科研工作反而有负向作用，且某些数据会因为多种质量问题被重复标注，影响实验结论。
[0009]另外，如果没有易操作的、可视化的操作过程和结果报表输出，对科研人员的心智无疑增加了额外的负担，对科研结果的输出效率造成不必要的损害。

技术实现思路

[0010]本专利技术要解决的技术问题是克服以上技术缺陷，提供一种通用海洋数据质控方法、计算机设备和储存介质。
[0011]为解决上述技术问题，本专利技术提供的技术方案为：一种通用海洋数据质控方法，包括以下步骤：
[0012]步骤一：自动获取海洋数据监测点所收集的观测数据，并对所述观测数据进行保存；
[0013]步骤二：对所述观测数据进行统一自动化转换，并输出为统一的编码和数据结构；
[0014]步骤三：对经过所述统一自动化转换的所述观测数据进行通用性数据质量控制检测；其中，所述通用性数据质量控制检测包括全等性检验、日期检验、位置检验、着陆检验和缺测检验；
[0015]步骤四：对经过所述统一自动化转换的所述观测数据进行专用数据质量控制检测；其中，所述专用数据质量控制检测包括范围检验和一致性检验；
[0016]步骤五：根据所述通用性数据质量控制检测和所述专用数据质量控制检测的检测结果，进行数据质量判断；
[0017]步骤六：对所述观测数据、所述检测结果和所述数据质量判断的判断结果，采用非易失性储存介质进行保存；
[0018]步骤七：将所述检测结果和所述数据质量判断的判断结果，输出为可读性报表。
[0019]优选的，步骤一中采用多种非易失性储存介质保存观测数据。
[0020]优选的，步骤四中的一致性检验包括内部一致性检验和时间一致性检验。
[0021]优选的，步骤六中将观测数据、检测结果和数据质量判断的判断结果分别储存在海洋数据监测点储存服务器、地面工作站和纸面上。
[0022]优选的，步骤七中将检测结果和数据质量判断的判断结果通过打印设备输出为纸质实体文档。
[0023]一种计算机设备作为储存服务器，所述计算机设备包括：一个或多个处理器、储存器，以及一个或多个应用程序；其中，所述一个或多个应用程序被储存于所述储存器中，并配置为由所述处理器执行以实现所述步骤二。
[0024]一种计算机设备作为地面数据处理服务器，所述计算机设备包括：一个或多个处理器、储存器、一个或多个GPU图形处理器，以及一个或多个应用程序；其中，所述一个或多个应用程序被储存于所述储存器中，并配置为由所述GPU图形处理器配合所述处理器共同执行以实现所述步骤三和所述步骤四。
[0025]一种计算机可读储存介质，其上储存有计算机程序，所述计算机程序被处理器执行时实现所述通用海洋数据质控方法的步骤。
[0026]本专利技术与现有技术相比的优点在于：首先，本申请包含一种通用海洋数据质控方法，对自动气象观测装置产生数据自动采集和储存观测数据、自动对采集储存过程监控及告警、自动对观测数据进行编码和格式转换方案。安全采集、储存重要数据的同时，能解放科研人员预处理数据的时间与精力，提高科研产出效率；
[0027]其次，本申请包含一种计算机设备，能根据研究项目的实际需要，选择多种数据质量控制检测方法组合，并针对特定数据特征检测数据噪音，提供精确、高可读性的结论报表。拥有更高灵活性的同时，能提高实验结论可信度。
[0028]再者，本申请包含一种计算机可读储存介质，其上储存有计算机程序，比普通的数据处理更精简、成体系，操作更简单、部署与调试更方便。
附图说明
[0029]图1是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的位置漂移检验示意图。
[0030]图2是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的使用场景示
意图。
[0031]图3是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的数据质量控制检测流程图。
[0032]图4是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的数据质量检测方法。
[0033]图5是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的船载服务存储器。
[0034]图6是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的地面工作站服务器。
[0035]图7是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的系统模块图。
[0036]图8是本专利技术一种通用海洋数据质控方法、计算机设备和储存介质的地面工作站用例流程图。
具体实施方式
[0037]下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。
[0038]第一方面，本专利技术公开一种通用海洋数据质控方法，包括以下步骤：
[0039]步骤一：自动获取海洋数据监测点所收集的观测数据，并对所述观测数据采用多种非易失性储存介质保存；
[0040]如说明书附图2所示，监测点中央服务器与多种检测装置内网通信，收集由自动气象装置传输的未经处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种通用海洋数据质控方法，其特征在于：包括以下步骤：步骤一：自动获取海洋数据监测点所收集的观测数据，并对所述观测数据进行保存；步骤二：对所述观测数据进行统一自动化转换，并输出为统一的编码和数据结构；步骤三：对经过所述统一自动化转换的所述观测数据进行通用性数据质量控制检测；其中，所述通用性数据质量控制检测包括全等性检验、日期检验、位置检验、着陆检验和缺测检验；步骤四：对经过所述统一自动化转换的所述观测数据进行专用数据质量控制检测；其中，所述专用数据质量控制检测包括范围检验和一致性检验；步骤五：根据所述通用性数据质量控制检测和所述专用数据质量控制检测的检测结果，进行数据质量判断；步骤六：对所述观测数据、所述检测结果和所述数据质量判断的判断结果，采用非易失性储存介质进行保存；步骤七：将所述检测结果和所述数据质量判断的判断结果，输出为可读性报表。2.根据权利要求1所述的一种通用海洋数据质控方法，其特征在于：步骤一中采用多种非易失性储存介质保存观测数据。3.根据权利要求1所述的一种通用海洋数据质控方法，其特征在于：步骤四中的一致性检验包括内部一致性检验和时间一致性检验。4.根...

【专利技术属性】
技术研发人员：朱嘉，
申请(专利权)人：朱嘉，
类型：发明
国别省市：