一种基于脚本的数据处理方法及系统技术方案

本发明专利技术涉及一种基于脚本的数据处理方法及系统，基于脚本的数据处理系统包括来源数据管理模块、数据加工处理模块、批处理脚本录制模块和生成任务处理模板模块；数据处理方法包括：通过来源数据管理模块，完成数据来源的配置管理；通过数据加工处理模块，完成来源数据的加工处理；通过批处理脚本录制模块，完成来源数据批处理的脚本录制；通过生成任务处理模版模块，完成任务处理的模版编辑、配置操作。本发明专利技术彻底解决了传统数据处理过程中，同类型数据的批量重复操作处理的业务场景，人工操作既耗时耗力，又容易因为长时间重复性操作而导致诸如步骤遗漏、步骤失序、步骤重复等难点，解决了批量数据处理结果出现偏差时的反向溯源难度极大的问题。度极大的问题。度极大的问题。

A script based data processing method and system

【技术实现步骤摘要】
一种基于脚本的数据处理方法及系统


[0001]本专利技术属于统计数据分析
，涉及一种基于脚本的数据处理方法及系统。

技术介绍

[0002]数据作为国家新基建的一项重要建设内容，其重要性不言而喻。伴随着信息化建设覆盖面的日益拓展、信息化应用层级的不断深入，各类业务应用系统时时刻刻在产生着大量的数据；同时，数量众多的物联网设备的引入和应用，更加加快了数据产生、积累的速度。
[0003]随着数据、特别是大数据在国民日常工作、学习、生活过程中发挥着愈来愈重要的作用，为解决传统数据处理过程中人工操作的耗时耗力、不准确、易出错的工作难点，需要解决高效、规范、重复地处理数量众多的同质化数据的问题，需要解决人为因素而导致的数据处理过程的偏差问题，需要解决提高数据处理质量的问题。

技术实现思路

[0004]本专利技术的目的是解决现有技术中存在的上述问题，提供一种基于脚本的数据处理方法及系统。本专利技术彻底解决了传统数据处理、特别是大数据处理过程中，同类型数据的批量重复操作处理的业务场景，人工操作既耗时耗力，又容易因为长时间重复性操作本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于脚本的数据处理方法，其特征在于，包括：数据来源配置；对来源数据对象的数据分类、表对象、字段属性以及代码表引用关系的信息按目录结构进行管理，得到目录化数据对象；数据加工处理；将目录化数据对象作为基础数据，对基础数据进行数据加工处理得到结果数据；录制数据对象处理脚本；针对基础数据中的同类型数据的数据加工处理操作录制形成数据对象处理脚本；执行数据对象处理脚本；利用录制形成的数据对象处理脚本对一个新的数据对象进行处理，生成新的结果数据。2.根据权利要求1所述的方法，其特征在于，来源数据对象为数据库、离线文件或采集器。3.根据权利要求1所述的方法，其特征在于，目录化数据对象包括：数据分类管理、表对象管理、字段属性管理和代码表引用关系管理。4.一种利用如权利要求1～3任一项所述的方法的基于脚本的数据处理系统，其特征在于包括：来源数据管理模块，提供数据源和数据对象的配置管理；数据加工处理模块，对经来源数据管理模块配置管理得到的数据对象进行数据加工处理步骤，并生成所需的结果数据；批处理脚本录制模块，提供脚本录制的功能，将用户完成一次数据加工处理任务的所有操作步骤录制成脚本，形成一个与数据无关的数据处理过程脚本，供用户下次以一键执行的方式对新的数据自动完成相同的数据处理过程；生成任务处理模板模块，提供模板生成的功能。5.根据权利要4所述的基于脚本的数据处理系统，其特征在于，来源数据管理模块包括数据源注册管理单元和数据对象管理单元；数据源注册管理单元用于管理来源数据对象信息，具有...

【专利技术属性】
技术研发人员：崔晓君，陈俊琰，张竟元，王颖，
申请(专利权)人：上海华东电信研究院，
类型：发明
国别省市：