【技术实现步骤摘要】
一种海关数据清洗合并的方法、装置、设备及介质
本专利技术属于数据处理
，尤其涉及一种海关数据清洗合并的方法、装置、设备及介质。
技术介绍
海关数据就是海关履行进出口贸易统计职能中产生的各项进出口统计数据。通过对这些数据内容的深度挖掘，可以帮助企业及时、全面、可观的掌握市场动向，分析海外市场商业情况。但原始的海关数据存在以下问题：一是原始的海关数据数量大，导致用户查询有用信息难度高；二是海关数据中的贸易国多，导致数据繁杂；三是海关数据中垃圾信息多。靠用户自身整理处理这些原始海关数据，找出有用的信息难度很高。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种海关数据清洗合并的策略，其通过从原始海关数据中提取有效的提单数据进行清洗、处理和合并，生成格式统一、信息集中的提单数据，便于用户找出有用的信息。为解决上述技术问题，本专利技术第一方面公开了一种海关数据清洗合并的方法，包括以下步骤：步骤一、从原始海关数据中提取一条有
【技术保护点】
1.一种海关数据清洗合并的方法，其特征在于，包括以下步骤：/n步骤一、从原始海关数据中提取一条有效的提单数据；/n步骤二、对提单数据中的公司名信息进行提取；/n步骤三、判断提取的公司名信息是否为有效的公司名信息；若是，则进入步骤四，若否，进入步骤七；/n步骤四、对公司名信息中的区域信息根据预设规则进行匹配，若匹配成功，则对公司名信息中的区域信息进行删除，然后进入步骤五，若匹配失败，则直接进入步骤五；/n步骤五、对公司名信息中的后缀信息根据预设规则进行匹配，若匹配成功，则将所述后缀信息转换为标准格式后缀信息，然后进入步骤六，若匹配失败，则直接进入步骤六；/n步骤六、判断数据库...
【技术特征摘要】 【专利技术属性】
1.一种海关数据清洗合并的方法，其特征在于，包括以下步骤：
步骤一、从原始海关数据中提取一条有效的提单数据；
步骤二、对提单数据中的公司名信息进行提取；
步骤三、判断提取的公司名信息是否为有效的公司名信息；若是，则进入步骤四，若否，进入步骤七；
步骤四、对公司名信息中的区域信息根据预设规则进行匹配，若匹配成功，则对公司名信息中的区域信息进行删除，然后进入步骤五，若匹配失败，则直接进入步骤五；
步骤五、对公司名信息中的后缀信息根据预设规则进行匹配，若匹配成功，则将所述后缀信息转换为标准格式后缀信息，然后进入步骤六，若匹配失败，则直接进入步骤六；
步骤六、判断数据库中是否有可以与步骤五完成后的提单数据进行合并的提单数据，若有，则进行数据合并；
步骤七、从原始海关数据中提取下一条有效的提单数据，进入步骤二。
2.按照权利要求1所述的一种海关数据清洗合并的方法，其特征在于，所述步骤六中判断数据库中是否有可以与步骤五完成后的提单数据进行合并的提单数据时包括：
步骤601、将步骤五完成后的提单数据直接存储至数据库中；
步骤602、对数据库中的所有提单数据按公司名信息进行排序；
步骤603、排序完成后，提取与最新存储的提单数据相邻的提单数据中的公司名信息，提取最新存储的提单数据中的公司名信息；
步骤604、对最新存储的提单数据中的公司名信息与所述相邻的提单数据中的公司名信息进行相似度计算；若相似度大于阈值，则将最新存储的提单数据与所述相邻的提单数据进行数据合并。
3.按照权利要求2所述的一种海关数据清洗合并的方法，其特征在于，所述步骤604中相似度计算是通过LevensteinDistance算法、NGramDistance算法或JaroWinklerDistance算法实现。
4.按照权利要求1、2或3所述的一种海关数据清洗合并的方法，其特征在于，所述步骤四中对公司名信息中的区域信息根据预设规则进行匹配，是通过正则匹配实现。
5.一种海关数据清洗合并的装置，其特征在于，包括提单数据提取模块、公司名信息提取模块、第一判断模块、第一匹配模块、第二匹配模块和第二判断模块；
所述提单数据提取模块，用于从原始海关数据中提取有效的提单数据；
所述公司名信息提取模块，用于对提单数据提取模块提取的提单数据中的公司名信息进行提取；
技术研发人员：李超，
申请(专利权)人：上海义缘网络科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。