脏数据处理方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种脏数据处理方法、装置、设备及存储介质。该方法包括：由脏数据库中读取待处理脏数据，并根据预确定的属性字段对待处理脏数据进行分类标定，得到标定脏数据；获取与标定脏数据对应的待匹配数据；将标定脏数据中的有效属性特征与待匹配数据进行匹配，根据匹配结果对标定脏数据进行补全。本发明专利技术实施例的技术方案，通过确定的待匹配数据与标定脏数据进行匹配得到的匹配结果为标定脏数据中缺失的信息进行补全，使得脏数据不被直接丢弃，进而使脏数据中的有效信息得到充分利用，解决了脏数据被直接丢弃而导致其中有效信息被浪费，在进行交通违章追溯中数据缺失的问题，提高了脏数据的可用性以及获取到的数据中有效信息的利用率。

【技术实现步骤摘要】
脏数据处理方法、装置、设备及存储介质
本专利技术实施例涉及数据处理
，尤其涉及一种脏数据处理方法、装置、设备及存储介质。
技术介绍
随着汽车在人们的生产生活中扮演的角色日益重要，汽车保有量也日渐增多，且仍在以每年10％-15％的速度增长。由于车辆的猛增使得道路交通压力增大，出现了如道路拥堵、违法驾车和违章停车等违法行为。前端电子警察抓拍得到的过车数据越来越多，违章平台对过车数据进行图像识别后得到的平台过车数据中，存在特征缺失的脏数据也越来越多。目前针对平台过车数据中确定出的脏数据，如车牌长时间未清洗而导致车牌无法辨认的过车数据，由于无法直接通过脏数据对车辆完整信息进行获取，进而导致无法直接对违章车辆信息进行筛选，因此一般直接对脏数据进行丢弃处理，仅在数据库中存储信息完整的，经结构化处理后的过车数据。但脏数据中并非所有信息都是无用的，直接将脏数据进行丢弃处理不仅浪费了其中大量的有用数据，且会导致交通违章追溯中的数据缺失，为交通部门的执法造成不便，严重降低了对获取到的过车数据的利用率。专利技术内容本专利本文档来自技高网...

【技术保护点】
1.一种脏数据处理方法，其特征在于，包括：/n由脏数据库中读取待处理脏数据，并根据预确定的属性字段对所述待处理脏数据进行分类标定，得到标定脏数据；/n获取与所述标定脏数据对应的待匹配数据；/n将所述标定脏数据中的有效属性特征与所述待匹配数据进行匹配，根据匹配结果对所述标定脏数据进行补全。/n

【技术特征摘要】
1.一种脏数据处理方法，其特征在于，包括：
由脏数据库中读取待处理脏数据，并根据预确定的属性字段对所述待处理脏数据进行分类标定，得到标定脏数据；
获取与所述标定脏数据对应的待匹配数据；
将所述标定脏数据中的有效属性特征与所述待匹配数据进行匹配，根据匹配结果对所述标定脏数据进行补全。


2.根据权利要求1所述的方法，其特征在于，所述平台过车数据集中的各平台过车数据中均包括至少两个属性特征，所述由脏数据库中读取待处理脏数据之前，还包括：
将从平台过车数据集中确定的脏数据存储至脏数据库中以及将确定的有效数据存储至数据库中；
相应的，所述将从平台过车数据集中确定的脏数据存储至脏数据库中以及将确定的有效数据存储至数据库中，包括：
将所述平台过车数据集中缺失属性特征的平台过车数据确定为脏数据，并将所述平台过车数据集中未缺失属性特征的平台过车数据确定为有效数据；
将所述脏数据存储至脏数据库中，并将所述有效数据存储至数据库中。


3.根据权利要求2所述的方法，其特征在于，所述将所述脏数据存储至脏数据库中之时，还包括：
对所述脏数据中缺失的属性特征进行计数，确定各属性特征对应的缺失次数；
将所述缺失次数大于预设缺失阈值的属性特征确定为目标属性特征，生成与所述目标属性特征相对应的属性字段。


4.根据权利要求1所述的方法，其特征在于，所述获取与所述标定脏数据对应的待匹配数据，包括：
提取所述标定脏数据中的人脸特征信息，根据所述标定脏数据的生成位置确定所述数据库中的有效数据提取区域；
从所述有效数据提取区域内获取目标有效数据，并获取车管所数据库中与所述人脸特征信息对应的车辆数据；
将所述目标有效数据和所述车辆数据确定为与所述标定脏数据对应的待匹配数据。


5.根据权利要求4所述的方法，其特征在于，所述标定脏数据为字段脏数据时，所述将所述标定脏数据中的有效属性特征与所述待匹配数据进行匹配，根据匹配结果对所述标定脏数据进行补全，包括：
确定所述待匹配数据中与所述标定脏数据的生成位置距离最小的第一备选有效数据，并将所述待匹配数据中除所述第一备选有效数据外的目标有...

【专利技术属性】
技术研发人员：李钊，隆世高，
申请(专利权)人：上海眼控科技股份有限公司，
类型：发明
国别省市：上海;31