一种可视化接口数据智能提取系统及其设计方法技术方案

本发明专利技术公开了一种可视化接口数据智能提取系统及其设计方法，属于系统构建技术领域。本发明专利技术的可视化接口数据智能提取系统包括表现层、控制层、逻辑层和数据持久层，表现层由用户交互模块和模板定制模块构成，控制层与表现层相连，控制层对表现层传入的任务的可视化定制进行控制监听，所述逻辑层由数据请求模块、数据解析模块、数据导出模块和定时任务监听运行模块构成，逻辑层与控制层相连，数据持久层与逻辑层相连，数据持久层对获取的数据进行持久化处理，获取接口解析数据。该发明专利技术的可视化接口数据智能提取系统极大的提升企业生产中对接口数据的处理效率，缩小项目的代码冗余量，具有很好的推广应用价值。

A visual interface data intelligent extraction system and its design method

The invention discloses a visual interface data intelligent extraction system and a design method thereof, belonging to the technical field of system construction. The visual interface data intelligent extraction system of the invention includes the presentation layer, control layer, logic layer and data persistence layer. The presentation layer is composed of user interaction module and template customization module, the control layer is connected with the presentation layer, and the control layer monitors and monitors the visual customization of the tasks introduced by the presentation layer. The logic layer is from the number. According to the request module, the data parsing module, the data export module and the timed task monitoring module, the logic layer is connected to the control layer, the data persistence layer is connected with the logic layer, and the data persistence layer persists the acquired data and gets the interface analytic data. The visual interface data intelligent extraction system of the invention greatly improves the processing efficiency of the interface data in the enterprise production, reduces the code redundancy of the project, and has a good application value.

【技术实现步骤摘要】
一种可视化接口数据智能提取系统及其设计方法
本专利技术涉及系统构建
，具体提供一种可视化接口数据智能提取系统及其设计方法。
技术介绍
Spring框架高度可配置，而且包含多种视图技术，例如JavaServerPages（JSP）技术、Velocity、Tiles、iText和POI。SpringMVC框架并不知道使用的视图，所以不会强迫开发者只使用JSP技术。SpringMVC分离了控制器、模型对象、过滤器以及处理程序对象的角色，这种分离让它们更容易进行定制。Quartz是一个Java下作业控制的开源框架。Quartz用来创建或简单或复杂的调度时间表，执行Java下任意数量的作业，作业可以是实现了Job接口任意的Java类。作业监听器（JobListener）和触发器监听器（TriggerListener）通知作业的执行（和其他事件）。作业及其触发器可以被持久化。目前的商业系统中，对接口数据的处理还处于一个接口一个软件工程师编写一套接口处理的程序，当接口量很大的时候，这样的开发效率是及其低下的，增加了工作量及企业成本，降低了工作效率。
技术实现思路
本专利技术的技术任务是针对上述存在的问题，提供一种能够极大的提升企业生产中对接口数据的处理效率，缩小项目的代码冗余量的可视化接口数据智能提取系统。本专利技术进一步的技术任务是提供一种可视化接口数据智能提取系统的设计方法。为实现上述目的，本专利技术提供了如下技术方案：一种可视化接口数据智能提取系统，所述系统包括表现层、控制层、逻辑层和数据持久层，表现层由用户交互模块和模板定制模块构成，表现层实现用户对任务的可视化定制，控制层与表现层相连，控制层对表现层传入的任务的可视化定制进行控制监听，所述逻辑层由数据请求模块、数据解析模块、数据导出模块和定时任务监听运行模块构成，逻辑层与控制层相连，数据持久层与逻辑层相连，数据持久层对获取的数据进行持久化处理，获取接口解析数据。表现层实现用户对任务的可视化的定制，包括请求规则、数据获取规则、导出规则和定时规则等，通过控制层对传入的规则进行控制监听，确保传入的规则有效可控。控制层是整个系统的基础，通过控制层的需求分配，参数处理，保证了逻辑层的正常运转。所述逻辑层是整个系统中的所有实现中的核心部分。数据持久层将处理为模板定制所需内容进行持久化操作，本专利技术中采用多种方式可供选择，例如TXT、MYSQL和LOG等。本专利技术中通过可视化页面高度定制接口携带的各种参数，比如数据加密、随机字符串、时间戳等参数，通过系统获取到接口返回的数据，然后继续在可视化页面高度定制提取规则、提取时间段及导出方式，定制完成后系统智能获取到数据按照定义的导出规则导出到相应的数据持久层，从而真正实现一个系统对应万千接口，从而提高企业生产效率以及数据获取效率。作为优选，所述模板定制模块针对请求数据、接受数据、解析数据、导出数据需求的接口模板进行定制，并动态创建定时获取任务。作为优选，所述用户交互模块实现登录模块、用户管理、角色管理、系统管理、已定制的模板信息、已定制的定时获取任务信息及个性化交互功能。作为优选，所述数据请求模块包括请求分拣单元、请求参数处理单元、请求方式处理单元和数据接收测试单元，请求分拣单元对定制好的模板进行分拣，请求参数处理单元对符合特征值的参数进行对应的逻辑处理，请求方式处理单元根据定制好的模板进行对应的请求方式发送请求参数，数据接收测试单元对定制好的模板进行请求测试。请求分拣单元对定制好的模板进行分拣，以便进行参数处理及获取数据。请求分拣模块的原理为通过遍寻模块的参数类型及个数等信息提取参数的特征值，针对特征值进行不同的参数处理流程。请求参数处理单元针对符合该特征值的参数进行对应的逻辑处理，以便获取到接口所需的正确的参数格式。请求参数处理模块的原理为通过匹配各类型的优先级，进行相应的单类型处理流程，然后，将高优先级的类型参数处理结果向下传递，交由下一级参数流程使用，逐级类推处理，直到处理到最后的基础级，处理结束后，对参数处理结果进行封装，保证参数的准确与唯一性，并传递给下一模块。请求方式处理单元根据定制好的模板进行对应的请求方式发送请求参数，以便接口能正确识别并返回对应的数据。请求方式处理模块的原理为接受上一模块传送过来的参数集，通过对应的请求方式对参数集进行二次处理封装，并通过相对应的请求方式调用相应流程，发送请求数据，并接受获取返回的接口数据，对其进行解码、过滤等处理，并将处理后的返回值传递给父模块。数据接收测试单元针对定制好的模板进行请求测试，以保证定制的模板请求模块可以正常运行，并接受到接口数据。数据接收测试模块的原理为通过表现层传递过来的json进行解析，并调用请求分拣单元、请求参数处理单元、请求方式处理单元，进行一次请求处理及数据获取，并在前台展示处理后的数据结果。作为优选，所述数据解析模块包括数据解析分拣单元、数据解析单元和数据包装单元，数据解析分拣单元将数据请求模块传递来的数据进行分配，启用不同的处理流程，数据解析单元将数据采用对应的处理方式，运行处理流程，数据包装单元将非接口数据和接口数据进行整合、处理和封装。作为优选，所述数据导出模块包括数据导出分拣单元和数据导出单元，数据导出分拣单元将数据解析模块传递来的数据进行分配，启用不同的处理流程，数据导出单元将数据采用对应的导出方式，运行对应的导出流程处理解封，并对应导出到不同的数据持久层。一种可视化接口数据智能提取系统的设计方法，所述设计方法基于springMVC和Quartz框架，将系统分为四层，包括表现层、控制层、逻辑层和数据持久层，通过表现层实现用户对任务的可视化定制，通过控制层对任务的可视化定制进行控制监听，通过逻辑层对数据进行分拣解析和输出处理，通过数据持久层对获取的数据进行持久化处理，获取接口解析数据。作为优选，所述表现层由用户交互模块和模板定制模块，逻辑层由数据请求模块、数据解析模块、数据导出模块和定时任务监听运行模块构成。与现有技术相比，本专利技术的可视化接口数据智能提取系统具有以下突出的有益效果：所述可视化接口数据智能提取系统可视化定制请求规则、解析规则、定时规则和导出规则，进行智能处理，从而获取到相应的实用数据，通过可视化页面使得企业开发人员可以灵活的定制周期运行时间，系统通过获取配置产生商业项目中需要的数据，真正实现一个系统对应万千接口的处理，极大的提升了企业生产中对接口数据的处理效率，缩小了项目的代码冗余量，具有良好的推广应用价值。附图说明图1是本专利技术所述可视化接口数据智能提取系统的架构图。具体实施方式下面将结合附图和实施例，对本专利技术的可视化接口数据智能提取系统及其设计方法作进一步详细说明。实施例如图1所示，本专利技术的可视化接口数据智能提取系统，包括表现层、控制层、逻辑层和数据持久层。表现层由用户交互模块和模板定制模块构成，模板定制模块针对请求数据、接受数据、解析数据、导出数据需求的接口模板进行定制，并动态创建定时获取任务。用户交互模块实现登录模块、用户管理、角色管理、系统管理、已定制的模板信息、已定制的定时获取任务信息及个性化交互功能。表现层实现用户对任务的可视化的定制，包括请求规则、数据获取规则、导出规则和定时规则等，通过控制层对传入的规则进行控制监本文档来自技高网...

【技术保护点】
1.一种可视化接口数据智能提取系统，其特征在于：所述系统包括表现层、控制层、逻辑层和数据持久层，表现层由用户交互模块和模板定制模块构成，表现层实现用户对任务的可视化定制，控制层与表现层相连，控制层对表现层传入的任务的可视化定制进行控制监听，所述逻辑层由数据请求模块、数据解析模块、数据导出模块和定时任务监听运行模块构成，逻辑层与控制层相连，数据持久层与逻辑层相连，数据持久层对获取的数据进行持久化处理，获取接口解析数据。

【技术特征摘要】
1.一种可视化接口数据智能提取系统，其特征在于：所述系统包括表现层、控制层、逻辑层和数据持久层，表现层由用户交互模块和模板定制模块构成，表现层实现用户对任务的可视化定制，控制层与表现层相连，控制层对表现层传入的任务的可视化定制进行控制监听，所述逻辑层由数据请求模块、数据解析模块、数据导出模块和定时任务监听运行模块构成，逻辑层与控制层相连，数据持久层与逻辑层相连，数据持久层对获取的数据进行持久化处理，获取接口解析数据。2.根据权利要求1所述的可视化接口数据智能提取系统，其特征在于：所述模板定制模块针对请求数据、接受数据、解析数据、导出数据需求的接口模板进行定制，并动态创建定时获取任务。3.根据权利要求1或2所述的可视化接口数据智能提取系统，其特征在于：所述用户交互模块实现登录模块、用户管理、角色管理、系统管理、已定制的模板信息、已定制的定时获取任务信息及个性化交互功能。4.根据权利要求3所述的可视化接口数据智能提取系统，其特征在于：所述数据请求模块包括请求分拣单元、请求参数处理单元、请求方式处理单元和数据接收测试单元，请求分拣单元对定制好的模板进行分拣，请求参数处理单元对符合特征值的参数进行对应的逻辑处理，请求方式处理单元根据定制好的模板进行对应的请求方式发送请求参数，数据接收测试单元对定制好的模板进行请求测试。5...

【专利技术属性】
技术研发人员：刘岩，李浪，李强，侯居永，
申请(专利权)人：山东汇贸电子口岸有限公司，
类型：发明
国别省市：山东,37