【技术实现步骤摘要】
应急管理业务数据清洗方法、系统、终端和可读存储介质
本申请涉及数据处理
，尤其涉及一种应急管理业务数据清洗方法、系统、终端和可读存储介质。
技术介绍
随着应急管理行业信息化、智能化水平的飞速发展和对业务应用细化需求的不断提升，各级应急管理部门和监管对象产生的数据量呈爆发式增长。面对庞大的数据量，如何从海量数据中挖掘出有价值的信息或知识，为决策者提供参考，成为不容忽视的重要课题。由于数据录入错误、不同表示方法的数据源合并或迁移等原因，不可避免的使系统存在冗余数据、缺失数据、不确定数据和不一致数据等诸多情况，这样的数据称为“脏数据”，严重影响了数据利用的效率和决策质量。
技术实现思路
有鉴于此，本申请的目的是为了克服现有技术中的不足，提供一种应急管理业务数据清洗方法、系统、终端和可读存储介质。本申请的实施例提供一种应急管理业务数据清洗方法，当数据清洗任务启动时，根据所述数据清洗任务获取待清洗项的清洗配置数据，其中，所述清洗配置数据包括目标业务字段及对应的业务属性；根据所述目标业务字段从数...
【技术保护点】
1.一种应急管理业务数据清洗方法，其特征在于，包括：/n当数据清洗任务启动时，根据所述数据清洗任务获取待清洗项的清洗配置数据，其中，所述清洗配置数据包括目标业务字段及对应的业务属性；/n根据所述目标业务字段从数据库中抽取对应的应急管理业务数据，将所述应急管理业务数据导入数据仓库并进行数据预处理以得到待清洗数据；/n根据所述业务属性确定对应的清洗规则并基于所述清洗规则对所述待清洗数据进行数据清洗，得到数据清洗结果；/n将所述数据清洗结果进行可视化展示。/n
【技术特征摘要】
1.一种应急管理业务数据清洗方法，其特征在于，包括：
当数据清洗任务启动时，根据所述数据清洗任务获取待清洗项的清洗配置数据，其中，所述清洗配置数据包括目标业务字段及对应的业务属性；
根据所述目标业务字段从数据库中抽取对应的应急管理业务数据，将所述应急管理业务数据导入数据仓库并进行数据预处理以得到待清洗数据；
根据所述业务属性确定对应的清洗规则并基于所述清洗规则对所述待清洗数据进行数据清洗，得到数据清洗结果；
将所述数据清洗结果进行可视化展示。
2.根据权利要求1所述的方法，其特征在于，所述清洗配置数据包括配置的第一数据接口，所述根据所述目标业务字段从数据库中抽取对应的应急管理业务数据，将所述应急管理业务数据导入数据仓库并进行数据预处理以得到待清洗数据包括：
通过所述第一数据接口从数据库中抽取出与所述目标业务字段匹配的应急管理业务数据；
将抽取的所述业务数据通过预设格式文件导入指定的数据仓库中；
对所述数据仓库中的业务数据进行数据抽取、转换和/或合并预处理，得到待清洗数据。
3.根据权利要求1或2所述的方法，其特征在于，还包括：
进行所述数据清洗之前，统计所述待清洗数据的总数量，通过所述总数量估算所述数据清洗任务的清洗用时；
进行所述数据清洗之后，统计所述数据清洗结果中被标记的异常数据的数量，每一所述异常数据与对应的业务数据关联，所述关联的业务数据能通过链接方式进行可视化界面展示。
4.根据权利要求1所述的方法，其特征在于，所述业务属性的类型包括非重复项、归类管理规范项、非填报异常项、非校验异常项、非空缺项和时限预警项，所述根据所述业务属性确定对应的清洗规则包括：
若所述业务属性为所述非重复项，则对所述待清洗数据进行数据相似度计算，若存在所述相似度大于或等于预设相似度阈值的数据，则将所述数据记为疑似重复数据；
若所述业务属性为所述归类管理规范项，则获取企业对应的实际归类管理信息并将所述实际归类管理信息与所述待清洗数据进行一致性判断，若存在不一致的数据，则将所述不一致的数据记为不规范数据；
若所述业务属性为所述非填报异常项，则判断所述待清洗数据是否满足所述目标业务字段对应的预设填报规则，若存在不满足的数据，则将所述不满足的数据记为填报异常数据；
若所述业务属性为所述非校验异常项，则判断所述待清洗数据是否满足预设逻辑或预设阈值，若存在不满足的数据，则将所述不满足的数据记为逻辑异常数据；
若所述业务属性为所述非空缺项，则判断所述待清洗数据是否为空或无效，若存在为空或无效的数据，则将所述为空或无效的数据记为逻辑异常数据；
若所述业务属性为所述时限预警项，则判断所述待清洗数据是否存在已超期或预设时间段内未更新，若...
【专利技术属性】
技术研发人员：李莉，王志刚，周锟，罗敏，夏昕，郭宇，
申请(专利权)人：深圳市安亿通科技发展有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。