一种多格式数据文件接收方法技术

本发明专利技术公开了一种多格式数据文件接收方法，将数据解析和数据校验独立处理，通过上报数据文件的后缀，调用不同的解析器，实现支持多种格式的数据上报；自动读取定义的模型文件，建立数据的元描述，数据解析器通过元描述将文件数据读取到内存中，数据校验器通过数据的元描述校验数据，校验通过后调用配置的业务处理服务接口；数据的元描述支持简单的类型检测、长度检测、正则检测、非空检测等，可配置一个行校验器，进行指定的业务校验，一个模型配置一个数据处理服务，以便进行校验后的处理；数据处理支持多进程负载，服务内采用多线程技术，并发执行待处理的上报数据。数据接收和数据处理可独立部署，也可以集中部署，方便多机负载。负载。负载。

【技术实现步骤摘要】
一种多格式数据文件接收方法


[0001]本专利技术涉及数据接收
，具体涉及一种多格式数据文件接收方法。

技术介绍

[0002]上报数据的接收是大部分政务监管系统必备的功能，通过接收企业、下级政府的数据，满足上级政府日常监管的需求。随着信息化的逐步深入，目前上报数据的量越来越大，一般数据接收系统会发布一个对外接口说明书，让数据上报系统将数据转换为接口说明书要求的格式进行上报，当上报的监管系统变多、且不同监管系统对数据的格式要求不一致时，给企业增加了一定的成本。
[0003]目前市场近似方案有一种：
[0004]方案一：
[0005]多格式科学数据文件处理，检测数据文件的格式，根据格式信息调取相应的解析组件解析数据，通过字段映射关系转换数据，达到支持多格式数据文件解析的效果。
[0006]现有方案的技术缺点如下：
[0007]1)、现有方案偏向数据的读取，缺少数据校验、业务数据持久化存储方面的支撑；
[0008]2)、数据接收和数据处理没有分离，无法应对高并发的场景；
>[0009]3)、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多格式数据文件接收方法，其特征在于，包括如下步骤：将多格式数据文件接收方法分为数据接收服务和数据处理服务，并含数据模型、数据解析、数据校验三个基础的组件服务；数据接收服务获取到数据后，通过上传者提交的业务类别代码获取适配的数据模型，通过文件类型获取适配的数据解析器，简单校验数据并将数据文件持久化到本地磁盘上，同时将描述信息持久化到数据库中；数据处理服务读取待处理的上传记录，通过文件描述信息，获取适配的数据模型及数据解析器，读取数据到内存中，调用数据校验器对数据进行校验，含基础校验和业务校验；数据处理服务在数据解析和校验通过后会调用数据模型中对应的业务处理服务处置数据。2.根据权利要求1所述的多格式数据文件接收方法，其特征在于，所述数据模型是对数据的元描述，使得数据接收时能进行基本的业务类型、数据量校验。3.根据权利要求1所述的多格式数据文件接收方法，其特征在于，所述数据模型加载流程，约定数据模型采用xml格式存储，存放在功能模块资源包的model目录下。4.根据权利要求1所述的多格式数据文件接收方法，其特征在于，所述数据模型具体执行步骤如下：S21、搜索运行包中的数据模型定义文件；S22、判断是否还有待处理文件，有，转步骤S23，无，转步骤S25；S23、读取数据模型定义文件，转换为数据模型对象后，按业务类别存入数据模型集合；S24、转步骤S22；S25、数据模型初始化完成，结束。5.根据权利要求1所述的多格式数据文件接收方法，其特征在于，所述数据模型包含业务类型、显示名称、数据实体、行校验器、业务对象转换器、最大允许行数、业务处理服务和数据列元描述；数据列元描述包含列名、列显示名称、是否允许为空、数据类型、数据长度和正则校验模板；通过数据模型指导数据解析器和数据校验器工作。6.根据权利要求1所述的多格式数据文件接收方法，其特征在于，所述数据接收服务...

【专利技术属性】
技术研发人员：何维，李引，王一龙，袁敏夫，何川，
申请(专利权)人：广州中科易德科技有限公司，
类型：发明
国别省市：