【技术实现步骤摘要】
一种基于大数据的E账册数据校验方法
本专利技术涉及E账册
，具体涉及一种基于大数据的E账册数据校验方法。
技术介绍
“E账册”就是用“电子账册”取代目前加工贸易管理中的纸质手册。海关以企业界为单元为联网企业建立的电子底账，实施电子帐册管理的，联网企业只设立一个电子帐册。海关应当根据联网企业的生产情况和海关的监管需要确定核销周期，按照核销周期对实行电子帐册管理的联网企业进行核销管理。自2006年9月1日起实行中期核查制度，企业每月底均需向海关申报料号以及物料的库存数据。目前系统对企业录入/导入的数据只进行简单的业务规范校验，校验完成返回校验结果。该执行过程中并未对数据进行智能化校验，使得校验功能较为薄弱，并且无数据整理、归纳、分析等环节，导致上报数据退单率高，通关周期长，影响企业效益。基于此，本专利技术设计了一种基于大数据的E账册数据校验方法，以解决上述问题。
技术实现思路
本专利技术的目的在于提供一种基于大数据的E账册数据校验方法，为了解决系统在处理企业录入/导入数据时只进行简单的业务规范校验，无数据进行智能化校验及对数据进行整理、归纳、分析等功能，将通过大数据...
【技术保护点】
1.一种基于大数据的E账册数据校验方法，包括企业导入数据和大数据处理，其特征在于，根据所述企业导入数据，通过多个维度计算和分析，得到企业正常导入数据值的范围，再根据企业所在行业，将行业内的各类数据进行整理、归纳、分析、汇总后，得到行业内的普遍标准值，所述大数据处理的具体步骤如下：Step1，数据仓库建设所述数据仓库建设包括各申报系统数据源、ETL数据交换、数据存储及处理和应用；所述各申报系统数据源为梳理公司内部数据源、外部数据源、结构化数据源和非结构化数据进行数据整合；所述ETL数据交换为利用“Kafka”整合线上实时生产数据、“Kettle”整合外部数据及离线数据和“Fi...
【技术特征摘要】
1.一种基于大数据的E账册数据校验方法，包括企业导入数据和大数据处理，其特征在于，根据所述企业导入数据，通过多个维度计算和分析，得到企业正常导入数据值的范围，再根据企业所在行业，将行业内的各类数据进行整理、归纳、分析、汇总后，得到行业内的普遍标准值，所述大数据处理的具体步骤如下：Step1，数据仓库建设所述数据仓库建设包括各申报系统数据源、ETL数据交换、数据存储及处理和应用；所述各申报系统数据源为梳理公司内部数据源、外部数据源、结构化数据源和非结构化数据进行数据整合；所述ETL数据交换为利用“Kafka”整合线上实时生产数据、“Kettle”整合外部数据及离线数据和“Filebeat”整合线上实时生产日志文件；所述数据存储及处理包括采用HDFS分布式文件存储系统，存储数据，对于海量数据在线计算时采用HBaseSql或HiveSql，HBaseSql用于结果集操作，HiveSql用于高效查询，将计算的中间结果存储于族式存储HBase，对于海量数据进行离线计算我们采用“Spark“,将结果存储于HBase中，供各个应用系统使用；所述应用包括将计算结果展现给各个业务系统，或利用WebApi调用HiveSQL进行时实统计计算；Step2，行业内数据分析数据源说明行业内数据分析，数据源来自各个业务系统，且数据库类型、业务数据格式、各不相同，前期需将各业务系统的数据整合同步到大数据分布式文件存储系统HDFS中，例如：捷关通系统的“经营范围(料件、成品)、归并关系(料件、成品、单损耗)、进出口清单、账册核销、日志管理“等等；区内物流系统“备案信息(料件、成品、单损耗)、申请表、仓库信息、简单加清单、出入库单信息等等”；数据特点(1)数据量按TB计算，公司现有客户家数在4000左右；(2)数据存储较为分散，有此系统采用Sas模式，有些业务系统采用C/S模式，C/S的模式采用分库的方式进行系统部署，综合各个数据源，共有400左右，ETL设计工作较为复杂；(3)计算的效率要求较高，用户在业务系统中进行数据导入时，页面数据导入完成后，调用大数据WebApi进行业数据分析，将行业的分析结果展现到业务系统界面，供其用户参考，如，行业内同规格型号物件的最低进口价格、行业内同品名的申报单位、行业内同商品的采购来源等等；分析方案第一步，采用SparkStreaming从Kafka中获取数据，进行大数据处理计算，将计算的中间结果，采...
【专利技术属性】
技术研发人员：戚晟，朱峰，杨开新，
申请(专利权)人：苏州神州数码捷通科技有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。