一种基于数据格式的数据自动化处理方法及设备技术

本发明专利技术涉及一种基于数据格式的数据自动化处理方法及设备，所述方法用于对场地环境调查数据进行自动化处理，包括以下步骤：获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。与现有技术相比，本发明专利技术具有处理效率高、数据准确性高等优点。

【技术实现步骤摘要】
一种基于数据格式的数据自动化处理方法及设备
本专利技术涉及场地环境调查数据处理
，尤其是涉及一种基于数据格式的数据自动化处理方法及设备。
技术介绍
场地环境调查的对象包括土壤、地下水、地表水等，其中土壤样品按照纵向深度分为不同层次样品。依据场地生产历史不同，检测指标可分为重金属类、挥发性有机物类、半挥发性有机物类、总石油烃类和有机农药类。除场地样品之外，还需要采集实验室质控样，包括实验室平行样、淋洗洋、运输空白样和全程序空白样等。总之，场地环境调查项目中需要处理的检测数据类型较多、结果内容复杂。目前，环境调查项目的数据处理过程存在以下技术局限：1)市场上从事环境调查样品分析的检测单位较多，各检测单位生成的数据格式形式多样。面对形式多样的检测数据，一般是采用人工或半人工方式进行数据处理、分析，这种处理方式不仅会致使项目的实施效率较低，人力浪费较重，而且检测数据的体量一般较大，人工处理容易出现错误，不能及时发现错误的原因；2)现场作业过程的数据与第三方检测成果数据目前都是独自录入系统，存在人工操作方式，两类数据未能实现自动化关联，以至于数据生成图表过程中需要人工操作。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种数据处理效率高、准确性高的基于数据格式的数据自动化处理方法及设备。本专利技术的目的可以通过以下技术方案来实现：一种基于数据格式的数据自动化处理方法，该方法用于对场地环境调查数据进行自动化处理，包括以下步骤：获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。进一步地，所述调用对应的一级映射关系时，判断是否调用成功，若否，则产生第一提示信息。进一步地，在产生第一提示信息时，遍历所有一级映射关系对所述第一数据进行转换，判断转换是否成功，若是，则建立当前第一数据的数据格式与成功转换的一级映射关系的对应关系，若否，则产生第二提示信息。进一步地，在产生第二提示信息时，判断是否存在新的一级映射关系，若是，则基于该新的一级映射关系将所述第一数据转换为一级目标数据。进一步地，基于采样样品编号对所述第一数据和一级目标数据进行唯一关联。进一步地，所述第二数据包含检测数据介质属性，所述第三数据为在所述一级目标数据内添加检测数据介质属性后生成，所述检测数据介质属性包括土壤、地下水和地表水。进一步地，将所述第一数据转换为一级目标数据或进行二级映射时，判断数据中是否存在异常数据，若是，则标记并删除该异常数据。进一步地，所述对标标准模板基于标准数据库生成，所述标准数据库存储有多个已有标准，具体生成过程包括：基于所述调查对象用地属性，从所述标准数据库中调用对应的已有标准，基于该已有标准与第三数据的指标对比结果，遍历所述标准数据库中其他已有标准，生成所述对标标准模板。进一步地，所述一级目标数据和二级目标数据均存储入数据库；所述数据自动化处理方法还包括：从所述数据库中调用所述一级目标数据和/或二级目标数据进行显示；所述显示包括采用空间三维建模和插值方法，实现超标污染物的空间分布落图。进一步地，所述实验室源数据包括场地调查样品的分析数据和实验室质控数据。本专利技术还提供一种计算机设备，包括：处理器；存储处理器可执行指令的存储器；其中，所述处理器耦合于所述存储器，用于读取所述存储器存储的程序指令，并作为响应，执行以上所述方法中的步骤。与现有技术相比，本专利技术具有如下有益效果：1、本专利技术通过构建统一自动化处理，对输入数据进行分类，实现数据的自动计算与处理，实现了数据统一管理。2、本专利技术通过建立映射关系的方式实现对数据的自动化处理，自动将繁琐信息进行整理，并实现场地调查数据的自动对标，相对人工处理，减少了出错率，有效提高了数据处理效率和准确度，进而提高结果与评价的可靠性。3、本专利技术在进行格式转换的一级映射过程中判断是否转换成功，若不成功，则及时产生提示信息，以便对映射关系进行调整，提高数据处理准确性，从而进一步扩大适用范围。4、本专利技术在进行格式转换的一级映射过程和对标处理的二级映射过程中，还进行异常数据的判断与标记，实现数据自动查错、校核，方便追溯相关源头。5、本专利技术的对标标准模板可方便基于多个已有标准生成，有效提高对标处理完整性和处理效率。附图说明图1为本专利技术的流程示意图；图2为本专利技术的映射关系示意图；图3为实施例中获得的超标污染物的空间分布落图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。实施例1本实施例提供一种基于数据格式的数据自动化处理方法，该方法用于对场地环境调查数据进行自动化处理，包括以下步骤：获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。如图1和图2所示，该数据自动化处理方法具体包括以下步骤：步骤S001，获取现场采样数据，该现场采样数据根据外业现场数据模板生成，所述外业现场数据模板中具有关注数据属性字段，不同检测数据介质具有不同的模板，如表1所示。表1外业现场数据模板表(土壤样品信息)钻孔名称样品编号采样深度开始埋深结束埋深S5S5-10.2～0.40.200.40S5S5-11～1.21.001.20S6S6-10.2～0.40.200.40S6S6-21～1.21.001.20S6S6-32.2～2.42.202.40步骤S002，根据目前项目数据处理中关注的数据属性字段，构建一级目标数据模板，不同检测数据介质具有不同的模板，如表2所示。表2一级目标数据模板表(土壤样品检测数据)步骤S003，收集市场上的一些检测单位源数据格式，并通过比对一级目标数据本文档来自技高网...

【技术保护点】
1.一种基于数据格式的数据自动化处理方法，其特征在于，该方法用于对场地环境调查数据进行自动化处理，包括以下步骤：/n获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；/n获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；/n根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。/n

【技术特征摘要】
1.一种基于数据格式的数据自动化处理方法，其特征在于，该方法用于对场地环境调查数据进行自动化处理，包括以下步骤：
获取第一数据，根据所述第一数据的数据格式，调用对应的一级映射关系，将所述第一数据转换为一级目标数据，所述第一数据为实验室源数据；
获取第二数据，对所述第一数据和一级目标数据进行唯一关联，生成第三数据，所述第二数据为现场采样数据；
根据调查对象用地属性，生成对应的对标标准模板进行二级映射，对所述第三数据进行自动化对标处理，生成二级目标数据。


2.根据权利要求1所述的基于数据格式的数据自动化处理方法，其特征在于，所述调用对应的一级映射关系时，判断是否调用成功，若否，则产生第一提示信息。


3.根据权利要求2所述的基于数据格式的数据自动化处理方法，其特征在于，在产生第一提示信息时，遍历所有一级映射关系对所述第一数据进行转换，判断转换是否成功，若是，则建立当前第一数据的数据格式与成功转换的一级映射关系的对应关系，若否，则产生第二提示信息。


4.根据权利要求3所述的基于数据格式的数据自动化处理方法，其特征在于，在产生第二提示信息时，判断是否存在新的一级映射关系，若是，则基于该新的一级映射关系将所述第一数据转换为一级目标数据。


5.根据权利要求1所述的基于数据格式的数据自动化处理方法，其特征在于，基于采样样品编号对所述第一数据和一级目标数据进行唯一关联。


6.根据权利要求1所...

【专利技术属性】
技术研发人员：章长松，沈前，丁露，王军，
申请(专利权)人：上海亚新建设工程有限公司，
类型：发明
国别省市：上海;31