一种基于脚本的数据处理方法及系统技术方案

本发明专利技术涉及一种基于脚本的数据处理方法及系统，基于脚本的数据处理系统包括来源数据管理模块、数据加工处理模块、批处理脚本录制模块和生成任务处理模板模块；数据处理方法包括：通过来源数据管理模块，完成数据来源的配置管理；通过数据加工处理模块，完成来源数据的加工处理；通过批处理脚本录制模块，完成来源数据批处理的脚本录制；通过生成任务处理模版模块，完成任务处理的模版编辑、配置操作。本发明专利技术彻底解决了传统数据处理过程中，同类型数据的批量重复操作处理的业务场景，人工操作既耗时耗力，又容易因为长时间重复性操作而导致诸如步骤遗漏、步骤失序、步骤重复等难点，解决了批量数据处理结果出现偏差时的反向溯源难度极大的问题。度极大的问题。度极大的问题。

A script based data processing method and system

【技术实现步骤摘要】
一种基于脚本的数据处理方法及系统


[0001]本专利技术属于统计数据分析
，涉及一种基于脚本的数据处理方法及系统。

技术介绍

[0002]数据作为国家新基建的一项重要建设内容，其重要性不言而喻。伴随着信息化建设覆盖面的日益拓展、信息化应用层级的不断深入，各类业务应用系统时时刻刻在产生着大量的数据；同时，数量众多的物联网设备的引入和应用，更加加快了数据产生、积累的速度。
[0003]随着数据、特别是大数据在国民日常工作、学习、生活过程中发挥着愈来愈重要的作用，为解决传统数据处理过程中人工操作的耗时耗力、不准确、易出错的工作难点，需要解决高效、规范、重复地处理数量众多的同质化数据的问题，需要解决人为因素而导致的数据处理过程的偏差问题，需要解决提高数据处理质量的问题。

技术实现思路

[0004]本专利技术的目的是解决现有技术中存在的上述问题，提供一种基于脚本的数据处理方法及系统。本专利技术彻底解决了传统数据处理、特别是大数据处理过程中，同类型数据的批量重复操作处理的业务场景，人工操作既耗时耗力，又容易因为长时间重复性操作而导致诸如步骤遗漏、步骤失序、步骤重复等工作难点，解决了批量数据处理结果出现偏差时的反向溯源难度极大的问题，解决了人工处理数据过程中的操作随意性问题，解决了传统人工处理过程中效率低下的问题。
[0005]为达到上述目的，本专利技术采用的技术方案如下：
[0006]一种基于脚本的数据处理方法，包括：
[0007]数据来源配置；
[0008]对来源数据对象的数据分类、表对象、字段属性以及代码表引用关系的信息按目录结构进行管理，得到目录化数据对象；
[0009]数据加工处理；
[0010]将目录化数据对象作为基础数据，对基础数据进行包括数据查询、审核、计算、汇总、分析、交互式图表制作等数据处理分析的数据加工处理得到结果数据；
[0011]基础数据是整个处理过程的数据来源，基础数据通过拖拽的方式，确定关联关系后，选择查询条件进行查询，生成过程数据；过程数据可以添加派生数据，之后选择过程数据，将文本类型数据分组、数字类型数据聚合、设置好汇总报表样式，通过拖拽生成结果数据(用户最终需要的图表或报表)；
[0012]录制数据对象处理脚本；
[0013]针对基础数据中的同类型数据的数据加工处理操作录制形成数据对象处理脚本；通过提供脚本录制的功能将用户完成一个任务的所有操作步骤录制成脚本，形成一个与数据无关的数据处理过程模板，脚本通过审核，下次用户可以用一键执行的方式对新的数据
自动完成相同的数据处理；
[0014]执行数据对象处理脚本；
[0015]利用录制形成的数据对象处理脚本对一个新的数据对象进行处理，生成新的结果数据。
[0016]作为优选的技术方案：
[0017]如上所述的方法，来源数据对象为数据库、离线文件或采集器。
[0018]如上所述的方法，目录化数据对象包括：数据分类管理(数据对象的分类目录的导入、增加、删除、修改、设置排序号)、表对象管理(表对象的导入导出和增删改查)、字段属性管理(字段的导入导出和增删改查)和代码表引用关系管理(代码表引用关系的增删改查)。
[0019]本专利技术还提供一种利用如上任一项所述的方法的基于脚本的数据处理系统，包括：
[0020]来源数据管理模块，包括数据源注册管理单元和数据对象管理单元，提供数据源和数据对象的配置管理；
[0021]数据加工处理模块，对经来源数据管理模块配置管理得到的数据对象进行数据加工处理步骤，并生成所需的结果数据(用户最终需要的图表或报表)；
[0022]批处理脚本录制模块，提供脚本录制的功能，将用户完成一次数据加工处理任务的所有操作步骤录制成脚本，形成一个与数据无关的数据处理过程脚本，供用户下次以一键执行的方式对新的数据自动完成相同的数据处理过程；
[0023]生成任务处理模板模块，提供模板生成的功能，将一个或多个脚本组合成为一个公共样板并保存，其他数据处理任务可以直接调用或者以此为基础进行适应性调整，以满足复杂数据处理场景的数据处理要求。在数据处理业务领域，不同的数据处理过程或者处理任务之间，会存在一些共性的操作。生成任务处理模板的作用是把某个数据处理过程对应的脚本保存下来，以后设计其他数据处理过程的脚本时，可以直接选择一个有类似操作的模板、并在此基础之上进行修改调整，免去每一个设计一个新脚本都需要从头开始。
[0024]作为优选的技术方案：
[0025]如上所述的基于脚本的数据处理系统，来源数据管理模块是数据处理对象的实际来源，包括数据来源(数据库、离线文件、采集器等)、访问地址、访问方式等关键性数据信息；来源数据管理模块包括数据源注册管理单元和数据对象管理单元；
[0026]数据源注册管理单元用于管理来源数据对象信息，具有添加、删除、修改、审核脚本功能，并设置审核条件的报错级别，报错级别包括错误、警告两个级别；从来源数据对象使用状态可分为三大类，启用(指该状态的来源数据对象处于已接入、使用中的状态)、停用(指该状态的来源数据对象处于已接入、已停用的状态)、待接入(指已完成了来源数据对象的相关接入访问信息的设置、但还没有实际接入的状态)；
[0027]数据对象管理单元用于将来源数据对象按目录结构进行管理，包括：数据分类管理(数据对象的分类目录的导入、增加、删除、修改、设置排序号)、表对象管理(表对象的导入导出和增删改查)、字段属性管理(字段的导入导出和增删改查)和代码表引用关系管理(代码表引用关系的增删改查)。
[0028]如上所述的基于脚本的数据处理系统，数据加工处理模块包括数据集成交换管理单元、数据集成交换调度单元和数据加工处理单元；
[0029]数据集成交换管理单元用于根据数据源注册管理单元中来源数据对象信息，选择适用于报表数据、图片数据、加密数据、签名数据等类型数据对象的数据交换集成方式，并完成相关的配置操作，包括设置来源数据对象访问地址、访问方式等关键性数据信息；
[0030]数据集成交换调度单元用于根据数据交换集成方式，结合数据处理的业务需要，设置数据集成交换调度任务，定时完成来源数据对象的获取并交付待加工处理的数据至数据加工处理单元；支持数据集成交换调度任务执行状态的监控，当出现数据集成交换调度任务执行失败等情况，支持将相关失败信息写入错误日志，供问题追溯使用；
[0031]数据加工处理单元用于接收通过数据集成交换调度单元的数据集成交换调度任务交付的待加工处理的数据，执行数据加工处理操作，并交付加工处理后的数据至指定的存放位置；支持数据加工处理操作的执行状态的监控，当出现数据加工处理操作执行失败等情况，支持将相关失败信息写入错误日志，供问题追溯使用。
[0032]如上所述的基于脚本的数据处理系统，批处理脚本录制模块包括脚本录制单元和脚本验证单元；
[0033]脚本录制单元用于根据用户的需要，将数据加工处理模块针对同类型数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脚本的数据处理方法，其特征在于，包括：数据来源配置；对来源数据对象的数据分类、表对象、字段属性以及代码表引用关系的信息按目录结构进行管理，得到目录化数据对象；数据加工处理；将目录化数据对象作为基础数据，对基础数据进行数据加工处理得到结果数据；录制数据对象处理脚本；针对基础数据中的同类型数据的数据加工处理操作录制形成数据对象处理脚本；执行数据对象处理脚本；利用录制形成的数据对象处理脚本对一个新的数据对象进行处理，生成新的结果数据。2.根据权利要求1所述的方法，其特征在于，来源数据对象为数据库、离线文件或采集器。3.根据权利要求1所述的方法，其特征在于，目录化数据对象包括：数据分类管理、表对象管理、字段属性管理和代码表引用关系管理。4.一种利用如权利要求1～3任一项所述的方法的基于脚本的数据处理系统，其特征在于包括：来源数据管理模块，提供数据源和数据对象的配置管理；数据加工处理模块，对经来源数据管理模块配置管理得到的数据对象进行数据加工处理步骤，并生成所需的结果数据；批处理脚本录制模块，提供脚本录制的功能，将用户完成一次数据加工处理任务的所有操作步骤录制成脚本，形成一个与数据无关的数据处理过程脚本，供用户下次以一键执行的方式对新的数据自动完成相同的数据处理过程；生成任务处理模板模块，提供模板生成的功能。5.根据权利要4所述的基于脚本的数据处理系统，其特征在于，来源数据管理模块包括数据源注册管理单元和数据对象管理单元；数据源注册管理单元用于管理来源数据对象信息，具有...

【专利技术属性】
技术研发人员：崔晓君，陈俊琰，张竟元，王颖，
申请(专利权)人：上海华东电信研究院，
类型：发明
国别省市：