冲击地压数据的入库方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种冲击地压数据的入库方法、装置、设备及存储介质。其中，该方法使用的数据库包括原始库、中间库和业务库，该方法包括：获取煤矿的冲击地压数据；对冲击地压数据进行数据完整性校验；响应于数据完整性校验通过，将冲击地压数据存储为文件；将文件的属性信息导入原始库，并设置记录状态为未解析；将冲击地压数据导入中间库和业务库，并基于导入结果更新记录状态；对中间库和业务库进行规范化数据处理。通过本申请的技术方案，可以将冲击地压数据规范的导入数据库，并增强数据之间的关联关系，提高数据可用性，为后续的数据应用提供数据支撑。用提供数据支撑。用提供数据支撑。

【技术实现步骤摘要】
冲击地压数据的入库方法、装置、设备及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种冲击地压数据的入库方法、装置、设备及存储介质。

技术介绍

[0002]相关技术中，煤矿的冲击地压数据虽然按照国家相关规范进行采集和上传，但不同的煤矿所使用的系统之间存在差异，因此采集到的数据也存在差异，且冲击地压数据本身可能存在测点名称不统一、关键性信息缺失以及关联关系缺失等问题，不便于对不同煤矿的冲击地压数据进行统一应用。

技术实现思路

[0003]本申请提供了一种冲击地压数据的入库方法、装置、电子设备及存储介质。可以将冲击地压数据规范的导入数据库，并增强数据之间的关联关系，提高数据可用性，为后续的数据应用提供数据支撑。
[0004]第一方面，本申请实施例提供一种冲击地压数据的入库方法，所述方法使用的数据库包括原始库、中间库和业务库，所述方法包括：获取煤矿的冲击地压数据；对所述冲击地压数据进行数据完整性校验；响应于所述数据完整性校验通过，将所述冲击地压数据存储为文件；将所述文件的属性信息导入所述原始库，并设置记录状态为未解析；将所述冲击地压数据导入所述中间库和所述业务库，并基于导入结果更新所述记录状态；对所述中间库和所述业务库进行规范化数据处理。
[0005]在该技术方案中，可以对获取的冲击地压数据进行数据完整性校验，以确保数据完整性，并将通过数据完整性校验的冲击地压数据按照数据类型分别导入中间库和业务库，以增强数据之间的关联关系，提高数据可用性，为后续的数据应用提供数据支撑。
[0006]在一种实现方式中，所述冲击地压数据包括至少一个数据头和所述数据头对应的数据体，所述数据头包括至少一个第一字段，所述至少一个第一字段间通过分隔符号隔开，所述数据体包括至少一个第二字段，所述至少一个第二字段间通过所述分隔符号隔开，所述对所述冲击地压数据进行数据完整性校验，包括：基于所述冲击地压数据的数据类型，对所述冲击地压数据进行数据判识；其中，所述数据类型包括测点数据和监测数据；和/或获取所述冲击地压数据中所述分隔符号的第一数量、所述数据头中所述分隔符号的第二数量和所述数据体中所述分隔符号的第三数量，并基于所述第一数量、所述第二数量和所述第三数量之间的数量关系进行数据完整性校验。
[0007]在一种实现方式中，所述冲击地压数据包括测点数据和监测数据，所述记录状态包括所述测点数据对应的第一记录状态和所述监测数据对应的第二记录状态，所述将所述冲击地压数据导入所述中间库和所述业务库，并基于导入结果更新所述记录状态，包括：基于所述冲击地压数据获取联合唯一性索引；将所述冲击地压数据拆分为所述测点数据和所述监测数据；基于所述联合唯一性索引对所述测点数据和所述监测数据进行数据去重；将
所述测点数据按字段进行拆分，并基于所述测点数据的测点类型，将所述测点数据存储至所述中间库中对应的测点数据表；其中，所述测点类型包括以下至少一种：钻孔应力测点、支架阻力测点、锚杆锚索测点、顶板离层测点和位移测点；响应于所述测点数据存储完成，更新所述第一记录状态为解析完成；将所述监测数据按字段进行拆分，并基于所述监测数据的监测数据类型，将所述监测数据存储至所述业务库中对应的监测数据表；其中，所述监测数据类型包括以下至少一种：钻孔应力监测数据、支架阻力监测数据、锚杆锚索监测数据和位移监测数据；响应于所述监测数据存储完成，更新所述第二记录状态为解析完成。
[0008]在该技术方案中，可以对获取的冲击地压数据进行数据完整性校验，以确保数据完整性，并将通过数据完整性校验的冲击地压数据按照数据类型分别导入中间库和业务库，并根据测点数据的导入结果更新第一解析状态，并根据监测数据的导入结果，更新第二解析状态，以增强数据之间的关联关系，提高数据可用性，为后续的数据应用提供数据支撑。
[0009]在一种实现方式中，所述对所述中间库和所述业务库进行规范化数据处理，包括：基于所述测点数据中的基础信息，更新所述中间库中的第一基础信息表；其中，所述基础信息包括以下至少一种：工作面信息、巷道信息和采区信息，所述第一基础信息表包括以下至少一种：第一工作面表、第一巷道表和第一采区表；基于所述基础信息更新所述业务库中的第二基础信息表；其中，所述第二基础信息表包括以下至少一种：第二工作面表、第二巷道表和第二采区表；基于所述测点数据和所述测点数据的测点类型，更新所述业务库中对应的测点表；其中，所述测点类型包括以下至少一种：钻孔应力测点、支架阻力测点、锚杆锚索测点、顶板离层测点和位移测点。
[0010]在该技术方案中，可以对获取的冲击地压数据进行数据完整性校验，以确保数据完整性，将通过数据完整性校验的冲击地压数据按照数据类型分别导入中间库和业务库，并根据导入的测点信息更新数据库中的相关数据表，以对数据库中的数据进行规范化数据处理，以增强数据之间的关联关系，提高数据可用性，为后续的数据应用提供数据支撑。
[0011]在一种实现方式中，所述方法还包括：响应于所述数据完整性校验未通过，存储所述冲击地压数据，并基于所述冲击地压数据更新所述原始库中的异常信息表；基于所述冲击地压数据生成并推送异常数据通知信息。
[0012]在一种实现方式中，所述方法还包括：获取预设时间段内解析完成的第一冲击地压数据数量、未解析完成的第二冲击地压数据数量、数据完整性校验通过的第三冲击地压数据数量、数据完整性校验未通过的第四冲击地压数据数量及数据完整性校验未通过原因；基于所述第一冲击地压数据数量、所述第二冲击地压数据数量、所述第三冲击地压数据数量、所述第四冲击地压数据数量和所述数据完整性校验未通过原因，生成冲击地压数据解析入库统计信息。
[0013]在一种实现方式中，在所述将所述文件的属性信息导入所述原始库，并设置记录状态为未解析之前，所述方法还包括：判断所述数据库是否存在；响应于所述数据库不存在，创建所述数据库。
[0014]第二方面，本申请实施例提供一种冲击地压数据的入库装置，所述装置使用的数据库包括原始库、中间库和业务库，所述装置包括：获取模块，用于获取煤矿的冲击地压数据；校验模块，用于对所述冲击地压数据进行数据完整性校验；存储模块，用于响应于所述
数据完整性校验通过，将所述冲击地压数据存储为文件；第一处理模块，用于将所述文件的属性信息导入所述原始库，并设置记录状态为未解析；第二处理模块，用于将所述冲击地压数据导入所述中间库和所述业务库，并基于导入结果更新所述记录状态；第三处理模块，用于对所述中间库和所述业务库进行规范化数据处理。
[0015]在一种实现方式中，所述冲击地压数据包括至少一个数据头和所述数据头对应的数据体，所述数据头包括至少一个第一字段，所述至少一个第一字段间通过分隔符号隔开，所述数据体包括至少一个第二字段，所述至少一个第二字段间通过所述分隔符号隔开，所述校验模块具体用于：基于所述冲击地压数据的数据类型，对所述冲击地压数据进行数据判识；其中，所述数据类型包括测点数据和监测数据；和/或获取所述冲击地压数据中所述分隔符号的第一数量、所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种冲击地压数据的入库方法，其特征在于，所述方法使用的数据库包括原始库、中间库和业务库，所述方法包括：获取煤矿的冲击地压数据；对所述冲击地压数据进行数据完整性校验；响应于所述数据完整性校验通过，将所述冲击地压数据存储为文件；将所述文件的属性信息导入所述原始库，并设置记录状态为未解析；将所述冲击地压数据导入所述中间库和所述业务库，并基于导入结果更新所述记录状态；对所述中间库和所述业务库进行规范化数据处理。2.如权利要求1所述的方法，其特征在于，所述冲击地压数据包括至少一个数据头和所述数据头对应的数据体，所述数据头包括至少一个第一字段，所述至少一个第一字段间通过分隔符号隔开，所述数据体包括至少一个第二字段，所述至少一个第二字段间通过所述分隔符号隔开，所述对所述冲击地压数据进行数据完整性校验，包括：基于所述冲击地压数据的数据类型，对所述冲击地压数据进行数据判识；其中，所述数据类型包括测点数据和监测数据；和/或获取所述冲击地压数据中所述分隔符号的第一数量、所述数据头中所述分隔符号的第二数量和所述数据体中所述分隔符号的第三数量，并基于所述第一数量、所述第二数量和所述第三数量之间的数量关系进行数据完整性校验。3.如权利要求1所述的方法，其特征在于，所述冲击地压数据包括测点数据和监测数据，所述记录状态包括所述测点数据对应的第一记录状态和所述监测数据对应的第二记录状态，所述将所述冲击地压数据导入所述中间库和所述业务库，并基于导入结果更新所述记录状态，包括：基于所述冲击地压数据获取联合唯一性索引；将所述冲击地压数据拆分为所述测点数据和所述监测数据；基于所述联合唯一性索引对所述测点数据和所述监测数据进行数据去重；将所述测点数据按字段进行拆分，并基于所述测点数据的测点类型，将所述测点数据存储至所述中间库中对应的测点数据表；其中，所述测点类型包括以下至少一种：钻孔应力测点、支架阻力测点、锚杆锚索测点、顶板离层测点和位移测点；响应于所述测点数据存储完成，更新所述第一记录状态为解析完成；将所述监测数据按字段进行拆分，并基于所述监测数据的监测数据类型，将所述监测数据存储至所述业务库中对应的监测数据表；其中，所述监测数据类型包括以下至少一种：钻孔应力监测数据、支架阻力监测数据、锚杆锚索监测数据和位移监测数据；响应于所述监测数据存储完成，更新所述第二记录状态为解析完成。4.如权利要求1所述的方法，其特征在于，所述对所述中间库和所述业务库进行规范化数据处理，包括：基于所述测点数据中的基础信息，更新所述中间库中的第一基础信息表；其中，所述基础信息包括以下至少一种...

【专利技术属性】
技术研发人员：赵善坤，杨雪强，秦凯，王寅，徐阳，李一哲，苏振国，李云鹏，许泰毓，张磊，
申请(专利权)人：煤炭科学技术研究院有限公司，
类型：发明
国别省市：