一种用于自动海事稽核的数据处理系统和方法技术方案

本发明专利技术公开了一种用于自动海事稽核的数据处理系统及方法，包括数据采集与清洗子系统，用于获取原始舱单数据，对原始舱单数据进行清洗和转换并将清洗、转换后的舱单数据传输给稽核分析子系统；稽核分析子系统，根据参考数据，对清洗、转换后的舱单数据进行数据完整性和/或准确性分析；自动稽核子系统，根据分析数据生成稽核结果，判断舱单数据中是否包含异常数据，对异常数据进行标识、追踪和处置；统计分析子系统采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析，生成分析报告；参数配置模块，用于分配用户权限、记录稽核任务的执行日志和用户使用日志；对外接口模块，用于实现与外部数据或平台对接。

A Data Processing System and Method for Automatic Maritime Audit

The invention discloses a data processing system and method for automatic maritime auditing, including a data acquisition and cleaning subsystem, which is used to acquire the original manifest data, clean and transform the original manifest data, and transmit the cleaned and converted manifest data to the auditing analysis subsystem; and an auditing analysis subsystem, according to the reference data, processes the cleaned and converted manifest data. Data integrity and/or accuracy analysis; automatic audit subsystem, which generates audit results based on analysis data, determines whether the manifest data contains abnormal data, identifies, traces and disposes the abnormal data; statistical analysis subsystem uses OLAP multidimensional analysis method to conduct real-time statistical analysis of audit results and abnormal data, and generates analysis report; and parameter configuration model. Blocks are used to allocate user rights, record the execution log and user log of audit tasks, and external interface module is used to realize docking with external data or platforms.

【技术实现步骤摘要】
一种用于自动海事稽核的数据处理系统和方法
本专利技术涉及港口收费管理系统的
，特别是一种用于自动海事稽核的数据处理系统和方法。
技术介绍
目前，我国港口建设费征收方式主要包括两种：一种是海事管理机构直接征收港口建设费，另一种是船舶代理公司、货物承运人、港口经营人等代收单位来代收港口建设费。目前的征收系统主要是代收为主的征收管理系统，海事人员需要通过日常稽查、专项稽查、专案稽查等多种稽查方式对规费的征收各个环节进行稽查来获取规费数据，这样就存在两个问题：1、由于需要大量人员进行稽查加重了海事管理机构的工作强度且效率较低；2、在稽查过程中，海事人员获得的数据也不够准确。
技术实现思路
本专利技术的目的就是为了解决上述现有技术中存在的问题，提出一种利用第三方进出口申报信息数据的与参考数据进行分析，从而可以获取准确实时的稽查数据的用于自动海事稽核的数据处理系统和方法。为了达到上述目的，本专利技术采用的技术方案为：一种用于自动海事稽核的数据处理系统，包括数据采集与清洗子系统、稽核分析子系统、自动稽核子系统、统计分析子系统、参数配置模块和对外接口模块，其中：数据采集与清洗子系统用于获取原始舱单数据，将获取的原始舱单数据进行清洗、转换，并将清洗、转换后的舱单数据传输给稽核分析子系统；稽核分析子系统根据参考数据库中的参考数据，对清洗、转换后的舱单数据进行数据完整性和/或准确性分析；自动稽核子系统用于根据分析数据生成稽核结果，以及判断所述舱单数据中是否包含异常数据，并对异常数据进行标识、追踪以及处置；统计分析子系统采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析，并生成分析报告；参数配置模块用于分配用户权限，并记录稽核任务的执行日志和用户使用日志；对外接口模块用于实现与外部数据或平台对接。一种用于自动海事稽核的数据处理方法，包括：对原始舱单数据进行采集、清洗和转换；根据参考数据库中的参考数据对清洗、转换后的舱单数据进行数据完整性和/或准确性分析；根据所述分析数据生成稽核结果，以及判断所述舱单数据中是否包含异常数据，并对异常数据进行标识、追踪和处置；利用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析，并生成分析报告。本专利技术获得了以下有益效果：本专利技术通过设置数据采集及清洗子系统、稽核分析子系统、自动稽核子系统、统计与分析子系统、参数配置模块和对外接口模块，将采集、清洗后的数据与第三方比对信息数据库中的外贸数据、海事比对信息数据库中的代收单位日常业务数据与参考数据进行比对分析，能够有效的检验代收单位上报数据的准确性；另外利用OLAP多维分析方法对舱单数据进行统计分析，不需要更多的人力成本，从而提高了监管效率同时也降低了成本。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1为本专利技术的一种用于自动海事稽核的数据处理系统的一个实施例的模块结构示意图；图2是本专利技术的对外接口模块的一个实施例的结构示意图；图3是本专利技术的一种用于自动海事稽核的数据处理方法的一个实施例的流程示意图；图4A-4C是本专利技术的数据采集、清洗过程的一个实施例的流程示意图。具体实施方式以下描述用于公开本专利技术以使本领域技术人员能够实现本专利技术。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变形。在以下描述中界定的本专利技术的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本专利技术的精神和范围的其他技术方案。可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。在这里使用的术语仅用于描述各种实施例的目的且不意在限制。如在此使用的，单数形式意在也包括复数形式，除非上下文清楚地指示例外。另外将理解术语“包括”和/或“具有”当在该说明书中使用时指定所述的特征、数目、步骤、操作、组件、元件或其组合的存在，而不排除一个或多个其它特征、数目、步骤、操作、组件、元件或其组的存在或者附加。下面将结合附图具体说明本专利技术的一种用于海事稽核管理的数据处理系统的实施方式。一、一种用于自动海事稽核的数据处理系统用于自动海事稽核的数据处理系统系统包括一个或多个数据库，这里对本专利技术的数据处理系统的一个实施例中所涉及的各个数据库进行说明，该数据处理系统包括：a、第三方比对信息数据库，用于存放经过清洗、转换的海关单位的船舶进出口报关信息以及船舶代理公司的出口外贸数据；b、海事比对信息数据库，用于存放经过清洗、转换的来自于港口建设费征收管理系统(即代收系统)的代收单位日常业务数据；c、海事稽核稽查数据库，是用于存放对海事管理工作者稽核稽查过程及结果、代收单位对异常的处理过程相关数据；d、代收单位数据库，是用于存放代收单位的基本相关信息，如单位名称、注册地址、法人、单位资质、联系电话等；e、参数配置数据库，是用于存放包括机构信息、用户信息、系统角色、系统资源、系统菜单等内容，同时还包括系统日志管理、数据字典、附件表等数据。图1为本专利技术的一种用于自动海事稽核的数据处理系统的一个实施例的模块结构示意图，请参见图1，本实施中，该数据处理系统包括数据采集与清洗子系统、稽核分析子系统、自动稽核子系统、统计分析子系统、参数配置模块和对外接口模块，其中：数据采集与清洗子系统用于获取原始舱单数据，将获取的原始舱单进行清洗、转换，并将清洗、转换后的舱单数据传输给稽核分析子系统、第三方比对信息数据库和海事比对信息数据库；所述原始舱单数据来自于代收单位数据库和海事稽核稽查数据库的原始舱单数据；具体的，可以对残缺、错误、重复的原始舱单数据进行清洗以及通过平滑处理、合计处理、泛化处理、规格化处理等对原始舱单数据进行转换；稽核分析子系统根据参考数据库总的参考数据，对清洗、转换后的舱单数据进行数据完整性和/或准确性分析；自动稽核子系统用于根据分析数据生成稽核结果，以及判断所述舱单数据中是否包含异常数据，并对异常数据进行标识、追踪以及将异常数据发送给统计分析子系统处置；统计分析子系统采用OLAP(即：在线分析处理)多维分析方法对稽核结果和异常数据进行实时统计分析，并生成分析报告；参数配置模块用于分配用户权限，并记录稽核任务的执行日志和用户使用日志；对外接口模块用于实现与外部数据或平台对接。二、各个子系统的说明下面将对本实施例中的数据处理系统的各个子系统或模块的结构和/或工作过程进行说明。1、数据采集与清洗子系统本实施例中的数据采集与清洗子系统包括源数据获取模块和数据清洗转换模块，其中：所述源数据获取模块用于采集原始舱单数据，并将所述原始舱单数据传输给数据清洗转换模块；所述原始舱单数据来源于代收单位数据库和海事稽核稽查数据库，所述代收单位数据库中存储用以开展代征工作的港口建设费征收管理系统的海事船舶数据；所述海事稽核稽查数据库中存储经海关审核过的船舶进出口报关信息和由船舶代理公司申报获得的出口外贸数据(即“第三方舱单数据”)；所述数据清洗转换模块将上述原始舱单数据进行清洗、转换；并将清洗、转换后的舱单数据存储到稽核分析子系统、第三方比对信息数据库和海事比对信息数据库中。具体的，源数据获取模块可以定时到第三方舱单数据接口模块和海事港建本文档来自技高网...

【技术保护点】
1.一种用于自动海事稽核的数据处理系统，其特征在于，包括数据采集与清洗子系统、稽核分析子系统、自动稽核子系统、统计分析子系统、参数配置模块和对外接口模块，其中：数据采集与清洗子系统用于获取原始舱单数据，将获取的原始舱单数据进行清洗、转换，并将清洗、转换后的舱单数据传输给稽核分析子系统；稽核分析子系统根据参考数据库中的参考数据，对清洗、转换后的舱单数据进行数据完整性和/或准确性分析；自动稽核子系统用于根据分析数据生成稽核结果，以及判断所述舱单数据中是否包含异常数据，并对异常数据进行标识、追踪以及处置；统计分析子系统采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析，并生成分析报告；参数配置模块用于分配用户权限，并记录稽核任务的执行日志和用户使用日志；对外接口模块用于实现与外部数据或平台对接。

【技术特征摘要】
1.一种用于自动海事稽核的数据处理系统，其特征在于，包括数据采集与清洗子系统、稽核分析子系统、自动稽核子系统、统计分析子系统、参数配置模块和对外接口模块，其中：数据采集与清洗子系统用于获取原始舱单数据，将获取的原始舱单数据进行清洗、转换，并将清洗、转换后的舱单数据传输给稽核分析子系统；稽核分析子系统根据参考数据库中的参考数据，对清洗、转换后的舱单数据进行数据完整性和/或准确性分析；自动稽核子系统用于根据分析数据生成稽核结果，以及判断所述舱单数据中是否包含异常数据，并对异常数据进行标识、追踪以及处置；统计分析子系统采用OLAP多维分析方法对稽核结果和异常数据进行实时统计分析，并生成分析报告；参数配置模块用于分配用户权限，并记录稽核任务的执行日志和用户使用日志；对外接口模块用于实现与外部数据或平台对接。2.根据权利要求1所述的数据处理系统，其特征在于，所述数据采集与清洗子系统包括源数据获取模块和数据清洗转换模块，其中：源数据获取模块用于采集原始舱单数据，并将所述原始舱单数据传输给数据清洗转换模块；所述数据清洗转换模块将所述原始舱单数据进行清洗、转换，并将清洗、转换后的舱单数据传输和存储到稽核分析子系统。3.根据权利要求1所述的数据处理系统，其特征在于，所述稽核分析子系统包括：数据分析模块，用于根据所述参考数据库中的参考数据对所述清洗、转换后的舱单数据进行数据完整性和/或准确性分析，获得分析结果；分析结果查看模块，用于显示所述分析结果。4.根据权利要求1所述的数据处理系统，其特征在于，自动稽核子系统包括：稽核模块，用于根据所述分析数据确定该舱单数据中是否包含异常数据，对异常数据进行标记，并生成带有异常标记的稽核结果；处置模块，用于追踪和处置所述异常数据。5.根据权利要求1所述的数据处理系统，其特征在于，所述统计分析子系统包括：统计模块，用于对辖区内的总体舱单、辖区内的总体集装箱总数、已完成稽核稽查的舱单、已完成稽核稽查的集装箱数、发现的稽核稽查问题舱单和/或发现的稽核稽查问题集装箱数进行统计并排序；分析模块，采用OLAP多维分析方法对稽核结果和异常数据进行聚类分析，并生成分析报告。6.根据权利要求1所述的数据处理系统，其特征在于，所述参数配置模块包括：系统配置模块，用于设定和存储多个配置项，所述配置项包括海事管理机构信息、代收机构信息和用户信息；...

【专利技术属性】
技术研发人员：白晶，武芳，钟璐潞，闫彦，曲国臣，桑学昆，王静，卢栋，
申请(专利权)人：交通运输部水运科学研究所，中交网科技有限公司，
类型：发明
国别省市：北京,11