一种数据自动化处理方法及系统技术方案

本发明专利技术提供了一种数据自动化处理系统及方法，包括：模块M1：根据数据源配置模块对数据源按照预设要求进行配置；模块M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；模块M3：数据解析模块根据配置信息对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；模块M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。

【技术实现步骤摘要】
一种数据自动化处理方法及系统
本专利技术涉及计算机网络
，具体地，涉及一种数据自动化处理方法及系统，更为具体地，涉及一种数据自动化处理架构。
技术介绍
在当今大数据时代业务数据量非常庞大的情况下，使用最小人力和时间投入成为一种挑战。专利文献CN104320433B(申请号：201410509935.2)公开了一种数据处理方法和分布式数据处理系统，能够克服现有技术中的上述种种不足之处。本专利技术的数据处理方法包括：分布式系统的中心节点在接收到数据处理任务后，从多个执行节点中确定一个节点作为执行该数据处理任务的任务执行节点，然后将该数据处理任务提供给该任务执行节点；所述任务执行节点在得到所述数据处理任务后，启动任务执行线程，并且监控该任务的执行线程的执行状态，在执行异常的情况下，所述任务执行节点将所述数据处理任务向所述中心节点提交。该专利的只支持单一种类数据源格式处理；无法进行信息通知；以及无法进行配置化、不够灵活、增加运维成本，难以管理。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种数据自动化处理系统及方法。根据本专利技术提供的一种数据自动化处理系统，包括：模块M1：数据源配置模块对数据源按照预设要求进行相应配置；模块M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；模块M3：数据解析模块根据配置信息选择相应解析器对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；模块M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息选择相应的处理器对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。优选地，还包括异常处理模块，自动化处理流程模块将异常数据发送至异常处理模块进行处理，异常处理模块判断异常问题并形成异常日志，同时将异常日志生成异常通知，异常通知通过系统通知模块通知指定方，由指定方对异常数据进行相应处理。优选地，所述系统通知模块包括：系统通知模块接收发送过来的通知信息，并根据配置信息选择相应的通知配置进行通知发送。优选地，还包括每一次流程的处理形成一条处理记录，处理记录用于后续审查及异常处理。优选地，所述数据源配置模块包括：数据源配置模块对数据源按照预设要求进行相应配置，配置包括：IP配置、端口配置、目录配置、解析器配置、处理器配置、通知配置、文件特征配置、邮箱信息配置和登录信息配置。优选地，所述数据源配置模块包括：数据配置模块对配置进行修改后，根据需求设置为及时生效或延迟生效。优选地，所述数据解析模块包括多种针对不同格式数据解析的解析器，并根据数据源配置模块中配置的解析器进行相应选择；通过不同的数据解析器解析不同的数据，并在解析后形成标准化数据。优选地，所述数据处理模块包括多种针对不同数据源的处理器，并根据数据源配置模块中配置的数据处理器进行相应选择；通过不同的数据处理器对标准化数据进行处理，得到处理后的标准化数据。根据本专利技术提供的一种数据自动化处理方法，包括：步骤M1：数据源配置模块对不同业务系统的数据源按照预设要求进行相应配置；步骤M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；步骤M3：数据解析模块根据配置信息选择相应解析器对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；步骤M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息选择相应的处理器对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。根据本专利技术提供的一种数据自动化处理方法，包括：步骤M1：数据源配置模块对不同来源的对账文件按照预设要求进行相应配置；步骤M2：自动化处理流程模块从已配置的对账文件中获取对账文件信息和配置信息，通过获取的对账文件信息获取相应对账数据，并将获取的相应对账数据和配置信息分发至数据解析模块；步骤M3：数据解析模块根据配置信息选择相应解析器对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；步骤M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息选择相应的处理器对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。与现有技术相比，本专利技术具有如下的有益效果：1、本专利技术将各类不同的数据处理方法进行了统一，使处理数据时不再需要根据不同数据开发不同的程序,降低了开发成本；2、本专利技术对原本杂乱的数据处理方法进行了规范，形成一套配置，方便后续运维及管理；3、本专利技术替代了原本需要大量人工处理的工作，降低了人力成本，保证数据及时有效性，不需要人为干预，减少了运维及开发人员的工作量。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为数据自动化处理系统示意图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。实施例1本专利技术提供了一套能够自动化处理不同数据的架构，该架构输入为数据，通过配置定义数据类型进行分发处理，完成后将数据持久化至指定数据库。如发生异常情况，可设置通知模式，及时通知指定人员，若后续输入正常数据，也可自行比对旧数据进行处理，保证数据及时有效性，不需要人为干预，减少了运维及开发人员的工作量。一种数据自动化处理系统，如图1所示，包含：自动化处理流程模块(模块一)，数据解析模块(模块二)，数据处理模块(模块三)，异常处理模块(模块四)，系统通知模块(模块五)，数据源配置模块(模块六)模块一：自动化处理流程模块该模块为本专利技术的主模块，在以下本文中将本模块全都简称为主模块，主模块是一套数据标准化处理流程。主模块负责从已配置的数据源中获取数据源信息，通过获取的数据源信息从各数据源获取数据(其中获取数据源包括但不限于邮件，FTP，文件存储器，数据库等)，并将数据分发至数据文件解析模块进行解析，解析完成后形成标准化数据，再将数据送回本主模块流程中，由主模块再将标准化数据送至数据处理模块进行数据处理，待数据处理模块完成数据处理后，再将数据送回主模块，做数据的最终持久化操作，如果在整个流程中出现异常，主模块会将异常本文档来自技高网...

【技术保护点】
1.一种数据自动化处理系统，其特征在于，包括：/n模块M1：数据源配置模块对数据源按照预设要求进行相应配置；/n模块M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；/n模块M3：数据解析模块根据配置信息选择相应解析器对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；/n模块M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息选择相应的处理器对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。/n

【技术特征摘要】
1.一种数据自动化处理系统，其特征在于，包括：
模块M1：数据源配置模块对数据源按照预设要求进行相应配置；
模块M2：自动化处理流程模块从已配置的数据源中获取数据源信息和配置信息，通过获取的数据源信息获取相应数据，并将获取的相应数据和配置信息分发至数据解析模块；
模块M3：数据解析模块根据配置信息选择相应解析器对获取的相应数据进行解析，解析完成后形成标准化数据，并将标准化数据送回自动化处理流程模块；
模块M4：自动化处理流程模块将标准化数据发送至数据处理模块，数据处理模块根据配置信息选择相应的处理器对标准化数据进行数据处理，并将处理后的标准化数据发送至自动化处理流程模块，并对处理后的标准化数据做最终的持久化操作。


2.根据权利要求1所述的数据自动化处理系统，其特征在于，还包括异常处理模块，自动化处理流程模块将异常数据发送至异常处理模块进行处理，异常处理模块判断异常问题并形成异常日志，同时将异常日志生成异常通知，异常通知通过系统通知模块通知指定方，由指定方对异常数据进行相应处理。


3.根据权利要求1所述的数据自动化处理系统，其特征在于，所述系统通知模块包括：系统通知模块接收发送过来的通知信息，并根据配置信息选择相应的通知配置进行通知发送。


4.根据权利要求1所述的数据自动化处理系统，其特征在于，还包括每一次流程的处理形成一条处理记录，处理记录用于后续审查及异常处理。


5.根据权利要求1所述的数据自动化处理系...

【专利技术属性】
技术研发人员：叶凯，
申请(专利权)人：杉德银卡通信息服务有限公司，
类型：发明
国别省市：上海;31