一种批量数据导入组件及其导入方法技术

本发明专利技术属于数字化处理技术领域，具体涉及一种批量数据导入组件及其导入方法。组件包括配置单元，用于提供组件的使用配置；数据输入单元，用于从不同的数据源获取数据流；数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；中心处理单元，用于处理批量数据导入的流程调度。本发明专利技术所提供的组件可配置、灵活性高、且易扩展，可以让使用本组件的业务系统无需关注数据解析，只需将核心放在业务数据处理上。

Batch data introduction component and lead-in method thereof

The invention belongs to the technical field of digital processing, in particular to a batch data introduction component and an introduction method thereof. Assembly includes a configuration unit for component configuration; data input unit is used to obtain the flow of data from different data source; data processing unit for providing a callback, the callback interface for the system using the component, processing the corresponding data service; analytical unit, according to the configuration information of the configuration unit analysis the data input unit inputs the data stream; central processing unit for processing the data into batch process scheduling. The components provided by the invention are configurable, flexible and easy to expand, so that the business system using the component does not need to pay attention to data parsing, and the core is only placed on the service data processing.

【技术实现步骤摘要】
一种批量数据导入组件及其导入方法
本专利技术属于数字化处理
，具体涉及一种批量数据导入组件及其导入方法。
技术介绍
伴随着计算机技术和网络时代的推进，批量导入技术已经得到了非常广泛的应用。特别在一些与传统行业结合的系统中，存在大量传统行业数据需要进行电子化存储，这时一般都会利用批量导入相关技术。目前常用的方法，一般都是通过定制一个固定模板或使用已有数据文档为模板，针对该模板编写相关批量处理程序。这些方法的主要缺点如下：一、复用性差，受限于文档存储格式及数据格式，一般一次编写的程序只能处理一种或有限的几种模板。二、灵活性差，要求数据严格按模板要求填写，从而导致一些不符合模板要求的已有数据文档导入前需要相应的数据格式调整，增加了导入的工作量。三、扩展性差，一般都没有提供相应扩展接口，使得系统升级工作量大，且操作复杂。
技术实现思路
本专利技术的目的在于针对现有技术存在的不足，提供一种可配置、灵活性高、易扩展的批量数据导入组件及其导入方法。本专利技术的技术方案如下：一种批量数据导入组件，包括：配置单元，用于提供组件的使用配置；数据输入单元，用于从不同的数据源获取数据流；数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；中心处理单元，用于处理批量数据导入的流程调度。进一步，如上所述的批量数据导入组件，其中，所述的配置单元的配置信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及基本验证信息；所述的基本验证信息包括数据项最大长度、是否必填。进一步，如上所述的批量数据导入组件，其中，所述的配置单元支持的配置源包括properties、xml及数据库。进一步，如上所述的批量数据导入组件，其中，所述的数据输入单元提供包括web上传、云平台资源下载多种数据文档输入方式。进一步，如上所述的批量数据导入组件，其中，所述的数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。进一步，如上所述的批量数据导入组件，其中，所述解析器单元解析数据流的过程包括：解析数据流中包含的数据项标识信息；根据数据项标识信息在数据流解析包含的数据；按照验证规则对数据进行验证；根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。进一步，如上所述的批量数据导入组件，其中，所述的中心处理单元负责解析器选择、解析任务调度、解析生命周期管理、结果输出。一种使用上述组件的批量数据导入方法，包括如下步骤：(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。进一步，如上所述的批量数据导入方法，步骤(S4)中所述的解析器分别解析出实际文档标识内容及其对应的数据内容，解析过程中调用配置的基本验证规则对数据进行验证。本专利技术的有益效果如下：采用本专利技术所述的组件，业务系统只需关注相应的业务数据处理，实现数据处理回调单元及增加相应适当的配置，就可提供风格统一，适应性强的批量数据导入功能。因为组件配置是支持多例的，使得系统很容易支持多种不同数据或数据源导入，大大降低了系统的编码开发工作量，提高了系统的稳定性。附图说明图1为本专利技术所提供的批量数据导入组件的结构组成示意图；图2为本专利技术的实施案例流程图。具体实施方式下面结合附图和实施例对本专利技术进行详细的介绍。本专利技术提供了一种批量数据导入组件，旨在为需要使用批量导入数据的业务系统进行服务。本组件具有可配置、灵活性高，且易扩展的特点，该批量数据导入方案可以让使用本组件的业务系统无需关注数据解析，只需将核心放在业务数据处理上。如图1所示，本组件包含以下几个基本单元：(1)配置单元，用于提供组件使用配置；配置单元支持properties、xml及数据库等多种配置源。使用者需配置的信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及其相关基本验证信息；基本验证信息包含数据项最大长度、是否必填。(2)数据输入单元，从不同数据源获取数据流；输入单元提供包括web上传，已有云平台资源下载等多种数据文档输入方式。(3)数据处理回调单元，用户业务逻辑处理接口；使用本组件的业务系统通过本单元提供的回调接口来实现对相应的数据业务处理。数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。接口返回的标识作用是：中心处理单元处理时会读取前面配置的实现标识来定位具体的回调实现。(4)解析器单元，根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；解析步骤包括：解析数据流中包含的数据项标识信息，根据数据项标识信息在数据流解析包含的数据，按照验证规则对数据进行验证，根据配置的实现标识查找数据处理回调单元实现，并调用它来处理解析好的数据。(5)中心处理单元，用于处理批量数据导入的流程调度；本单元为本组件的核心单元，其负责解析器选择、解析任务调度、解析生命周期管理、结果输出。如图2所示，上述组件的批量数据导入方法，包括如下步骤：(S1)在业务模块和批量数据导入组件之间实现数据处理接口，在组件中进行相应的配置；(S2)将需要批量导入的数据按配置要求写入文档，或者将已有文档按配置要求调整格式；(S3)在业务模块中嵌入导入接口，并附加上配置标识，业务用户使用嵌入的导入接口上传数据文档；(S4)组件的中心处理单元接收到上传的数据文档及配置标识后，查找对应的配置信息，并调用相应的解析器解析上传的数据，解析完成后调用步骤(S1)实现的数据处理接口向业务模块传递解析后的数据；(S5)回调接口处理完成后，返回处理结果信息到中心处理单元，中心处理单元整合各步骤的处理结果信息并返回给业务用户，包括系统验证信息及回调接口处理结果的信息。本系统有足够的扩展性，用户可扩展实现各个核心单元，也可只实现业务数据处理接口即可。实施例下面以excel格式数据导入为例，对本专利技术的批量数据导入流程进行进一步说明。excel格式数据导入流程包括以下步骤：第一步，在系统的业务模块和组件之间实现excel业务数据处理接口，并在组件中增加相应配置。配置信息包括配置标识、数据源格式、实现接口标识、导入数据标识内容及基本验证信息，数据输入方式。本实施例中，数据源格式为excel文档，导入数据标识内容为excel各列标题信息，需要配置：头部所在行序号，头部各列内容及候选内容，及基本验证信息(如姓名列，可配置为姓名，真实姓名，验证为必填，长度不超过20字符)，并生成配置标识号。第二步，将要导入的数据按配置要求写入文档，或将已有文档的格式按第一步配置要求调整格式。比如导入用户信本文档来自技高网...

【技术保护点】
一种批量数据导入组件，包括：配置单元，用于提供组件的使用配置；数据输入单元，用于从不同的数据源获取数据流；数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；中心处理单元，用于处理批量数据导入的流程调度。

【技术特征摘要】
1.一种批量数据导入组件，包括：配置单元，用于提供组件的使用配置；数据输入单元，用于从不同的数据源获取数据流；数据处理回调单元，用于为使用本组件的系统提供回调接口，实现对相应的数据业务处理；解析器单元，用于根据所述配置单元的配置信息解析所述数据输入单元输入的数据流；中心处理单元，用于处理批量数据导入的流程调度。2.如权利要求1所述的批量数据导入组件，其特征在于：所述的配置单元的配置信息包括配置标识、数据源格式、数据处理回调器标识、数据项标识及基本验证信息。3.如权利要求2所述的批量数据导入组件，其特征在于：所述的基本验证信息包括数据项最大长度、是否必填。4.如权利要求1所述的批量数据导入组件，其特征在于：所述的配置单元支持的配置源包括properties、xml及数据库。5.如权利要求1所述的批量数据导入组件，其特征在于：所述的数据输入单元提供包括web上传、云平台资源下载多种数据文档输入方式。6.如权利要求1所述的批量数据导入组件，其特征在于：所述的数据处理回调单元的回调接口能够返回具体实现标识，且该标识需配置在组件相应的配置中。7.如权利要求6所述的批量数据导入组件，其特征在于：所述解析器单元解析数据流的过程包括：解析数据流中包含的数据项标识信息；根据数据项标识信息在数据...

【专利技术属性】
技术研发人员：谭金祥，
申请(专利权)人：明博教育科技股份有限公司，
类型：发明
国别省市：北京,11