数据处理方法、装置及其电子设备制造方法及图纸

本发明专利技术公开一种数据处理方法、装置及其电子设备，方法包括任务创建模块，用于根据接收到的执行参数信息创建数据清洗任务存储；和数据清洗模块，用于为创建的数据清洗任务关联待清洗的数据报表，并根据所述数据清洗任务对关联的所述数据报表进行清洗入库，获得相应的清洗结果数据。根据本发明专利技术提供的方案，解决了现有技术中的缺乏一种数据清洗效果良好的数据清洗方法来对仅可以通过原非结构呈现的预算审查报表进行数据处理的技术问题。审查报表进行数据处理的技术问题。审查报表进行数据处理的技术问题。

【技术实现步骤摘要】
数据处理方法、装置及其电子设备


[0001]本专利技术涉及数据处理
，尤其涉及一种数据处理方法、装置及其电子设备。

技术介绍

[0002]在预算联网监督领域，基于预算审查的特点以及相关部门的信息化交换特点，当前各政府部门主要通过excel电子表格的方式来报送预算审查报表。在实际操作中，实际上报的预算审查报表不规范，存在的问题包括有：报表字段命名不规范、报送数据科目不规范、无效空行列、隐藏行列、数据列存在非数字字符、字符全角半角、存在公式列、报表勾稽关系不正确等。存在的这些问题导致报送来的预算审查报表不能满足进一步的数据应用分析需求，如对报表数据进行纵向或横向对比分析，多维可视化分析等数据处理需求。因而，一般需要对上报的原始数据进行数据清洗预处理，将其标准化。目前，业内常规的数据清洗方式一般是通过ETL工具对原始数据进行标准化处理，然而这种处理方式是基于固定的标准化数据结构的，因而对于单点接入的应用场景能够产生比较好的效果，但是当预算审查涉及到的接入端比较多时，如人大的预算审查涉及不同层级的人大、不同业务部门等多种接入端，而每个接入端的原始数据内容和格式都具有其个性化特点，这就导致了因接入端多样性导致的需求多样化，因而难以通过单一的标准化结构完成数据清洗处理，即面对预算审查这一多数据接入端的应用场景，通过常规的ETL工具难以取得较好的数据清洗效果。

技术实现思路

[0003]为了解决
技术介绍
提及的问题，专利技术人想到通过一种数据清洗方法、装置及其电子设备，以解决现有技术中的缺乏一种数据清洗效果良好的数据清洗方法来针对多接入端的预算审查场景下的多样化的预算审查报表进行数据处理的技术问题。
[0004]基于此，根据本专利技术的第一方面，本专利技术实施例提供数据处理装置，其包括：
[0005]任务创建模块，用于根据接收到的执行参数信息创建数据清洗任务存储；和
[0006]数据清洗模块，用于为创建的数据清洗任务关联待清洗的数据报表，并根据所述数据清洗任务对关联的所述数据报表进行清洗入库，获得相应的清洗结果数据。
[0007]根据本专利技术的第二方面，本专利技术实施例提供一种数据处理方法，包括：
[0008]获取第一数据信息；
[0009]根据所述第一数据信息创建数据清洗任务；
[0010]获取为所述数据清洗任务关联的待清洗数据报表；
[0011]根据所述数据清洗任务对关联的所述待清洗数据报表进行清洗入库，获得相应的清洗结果数据。
[0012]根据本专利技术的第三方面，本专利技术实施例提供一种数据处理装置的操作方法，包括：
[0013]通过可视化用户界面选定当前任务对应的基础信息标准；
[0014]根据可视化用户界面呈现的数据清洗策略和数据清洗规则的可选项内容，选取和编排数据清洗策略，并为各数据清洗策略选定数据清洗规则和其适用的基础信息标准的字
段内容；
[0015]通过可视化用户界面关联当前任务需要清洗的数据报表，并输入用户开始执行数据清洗处理的操作指令。
[0016]根据本专利技术的第四方面，本专利技术实施例提供一种存储介质，所述存储介质中存储有一个或多个包括执行指令的程序，所述执行指令能够被电子设备(包括但不限于计算机，服务器，或者网络设备等)读取并执行，以用于执行本专利技术上述数据处理方法。
[0017]根据本专利技术的第五方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本专利技术上述数据处理方法。
[0018]本专利技术实施例的有益效果在于：本专利技术实施例提供的数据处理装置及方法，可以根据用户需求创建不同的数据清洗任务，各个数据清洗任务可以对应不同的基础信息标准，并根据需求设置不同的自定义数据清洗执行流程和数据清洗规则，以使得用户能够根据选取的基础信息标准和构建的自定义数据清洗执行流程和数据清洗规则来执行不同业务场景下的数据清洗任务，能够灵活适应和适配不同业务特点的接入端，能够对具有多接入端的预算审查场景下的数据报表进行高效的数据清洗处理，解决了现有技术中的ETL工具仅能以固定的数据格式来对单点的输入数据进行数据清洗、对多接入端的预算审查场景下的数据清洗处理效果差的技术问题。
附图说明
[0019]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0020]图1为本专利技术的一实施方式的数据处理装置的装置原理框图；
[0021]图2为本专利技术的另一实施方式的数据处理装置的装置原理框图；
[0022]图3为本专利技术的一实施方式的数据处理方法的方法流程图；
[0023]图4为本专利技术的一实施方式的利用数据处理装置进行数据处理的操作方法流程。
具体实施方式
[0024]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0025]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0026]本专利技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元件、数据结构等等。也可以在分布式计算环境中实践本专利技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以
位于包括存储设备在内的本地和远程计算机存储介质中。
[0027]在本专利技术中，“模块”、“装置”、“系统”等指应用于计算机的相关实体，如硬件、硬件和软件的组合、软件或执行中的软件等。详细地说，例如，元件可以、但不限于是运行于处理器的过程、处理器、对象、可执行元件、执行线程、程序和/或计算机。还有，运行于服务器上的应用程序或脚本程序、服务器都可以是元件。一个或多个元件可在执行的过程和/或线程中，并且元件可以在一台计算机上本地化和/或分布在两台或多台计算机之间，并可以由各种计算机可读介质运行。元件还可以根据具有一个或多个数据包的信号，例如，来自一个与本地系统、分布式系统中另一元件交互的，和/或在因特网的网络通过信号与其它系统交互的数据的信号通过本地和/或远程过程来进行通信。
[0028]最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理装置，其特征在于，包括：任务创建模块，用于根据接收到的执行参数信息创建数据清洗任务存储；和数据清洗模块，用于为创建的数据清洗任务关联待清洗的数据报表，并根据所述数据清洗任务对关联的所述数据报表进行清洗入库，获得相应的清洗结果数据。2.根据权利要求1所述的装置，其特征在于，所述数据清洗任务包括第一数据信息、第二数据信息和与第二数据信息关联的第三数据信息，所述数据清洗模块包括调度单元，用于调用执行引擎对数据清洗任务关联的待清洗的数据报表执行数据清洗入库；和执行引擎，用于根据数据清洗任务的第一数据信息和第二数据信息按照与第二数据信息关联的第三数据信息执行数据清洗入库处理。3.根据权利要求1或2所述的装置，其中，所述第三数据信息与业务类别关联，且一个第三数据信息关联的业务类别至少为一种；为创建的数据清洗任务关联的待清洗的数据报表至少为一个，在关联的数据报表有多个时，所述数据报表对应的业务类别至少为一种。4.根据权利要求1至3任一项所述的装置，其特征在于，还包括策略规则库，用于存储预先构建的第四数据信息和第二数据信息存储；和可视化组件，用于响应于用户的请求，从所述策略规则库获取第四数据信息和第二数据信息的可选项在可视化用户界面展示输出，并通过可视化用户界面接收用户基于所述第四数据信息和第二数据信息的可选项内容配置的执行参数信息。5.根据权利要求4所述的装置，其特征在于，所述第二数据信息还关联有复用策略。6.根据权利要求5所述的装置，其特征在于，所述执行引擎还用于输出执行过程日志，并在执行过程日志中对执行异常数据进行标注。7.一种数据处理方法，其特征在于，包括：获取第一数据信息；根...

【专利技术属性】
技术研发人员：柳絮，张勇，李欣潼，
申请(专利权)人：广东铭太信息科技有限公司，
类型：发明
国别省市：