一种数据处理系统及数据处理方法技术方案

本发明专利技术提供一种数据处理系统及数据处理方法，所述数据处理系统包括：接口模块，用于显示用户界面，并接收用户在用户界面上的第一输入；显示模块，用于响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息；创建模块，用于根据所述数据模型创建信息，创建数据模型；其中，所述数据模型用于表示从上游系统接入的业务数据和提供至下游系统的数据之间的关系。本发明专利技术实施例中，用户可以通过接口模块显示的用户界面创建数据模型，从而能够在面对日益增长的数据量和日益复杂的业务的情况下，借助基于用户对业务数据的理解创建的数据模型，对上游系统的数据进行处理，满足相应的数据需求变化。

A Data Processing System and Method

The present invention provides a data processing system and a data processing method. The data processing system includes: an interface module for displaying the user interface and receiving the user's first input on the user interface; a display module for displaying the data model creation information corresponding to the first input in response to the first input; and a creation module for creating the data model according to the first input. Create information and create a data model, in which the data model is used to represent the relationship between business data accessed from the upstream system and data provided to the downstream system. In the embodiment of the present invention, the user can create a data model through the user interface displayed by the interface module, so that the data of the upstream system can be processed with the help of the data model created by the user's understanding of the business data in the face of the increasing data volume and the increasingly complex business, so as to meet the corresponding data demand changes.

【技术实现步骤摘要】
一种数据处理系统及数据处理方法
本专利技术涉及数据处理
，尤其涉及一种数据处理系统及数据处理方法。
技术介绍
近年来，大数据处理与分析已经成为全球性问题。随着经济社会信息化和自动化水平不断提高，在政府管理、公共服务、科学研究、商业应用等许多领域都面临大数据问题，需要有各种针对性和经济有效的解决方案。大数据处理系统为行业大数据提供处理能力，一般集数据接入、数据处理、数据存储、查询检索、分析挖掘、应用接口等功能为一体。在数据处理
中，当前的环境越来越重视数据的累积。随着数据量的越来越大，数据处理系统对处理数据的能力以及其对应的基本架构有着越来越高的要求，需要更快的处理速度、更大的数据存储能力、易维护性和使用便利性等。但面对日益增长的数据量和日益复杂的业务，当前数据处理系统无法满足相应的数据需求变化。
技术实现思路
本专利技术实施例提供一种数据处理系统及数据处理方法，以能够在面对日益增长的数据量和日益复杂的业务的情况下，满足相应的数据需求变化。第一方面，本专利技术实施例提供了一种数据处理系统，包括：接口模块，用于显示用户界面，并接收用户在用户界面上的第一输入；显示模块，用于响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息；创建模块，用于根据所述数据模型创建信息，创建数据模型；其中，所述数据模型用于表示从上游系统接入的业务数据和提供至下游系统的数据之间的关系。可选的，所述用户界面为界面模式时，所述数据模型创建信息包括如下至少一项：目标表基本信息、源表、源表之间的连接关系、目标表中各字段的信息和目标表中各字段的数据来源方式；或者，所述数据模型创建信息包括如下至少一项：目标表基本信息、模型配置对象、模型配置对象之间的连线关系、字段加工信息、目标表中各字段的设置信息。可选的，所述接口模块还用于接收用户用于设置目标表基本信息的输入、用于选择模型配置对象的输入和用于设置模型配置对象之间的连线关系的输入；所述显示模块还用于显示设置的目标表基本信息、选择的模型配置对象和设置的模型配置对象之间的连线关系；所述创建模块还用于根据所述设置的目标表基本信息、选择的模型配置对象和设置的模型配置对象之间的连线关系，创建目标表。可选的，所述用户界面为脚本模式时，所述数据模型创建信息包括如下至少一项：建表脚本代码信息和加工脚本代码信息。可选的，所述接口模块还用于：接收用户在用户界面上的第二输入；所述系统还包括：切换模块，用于响应于所述第二输入，对所述用户界面的模式进行切换，将在模式切换前确定的数据模型创建信息转换为与切换后的模式对应的数据模型创建信息，并进行显示。可选的，所述切换模块还用于：基于接收到的用于将界面模式切换至脚本模式的输入，将模型配置对象及其连线关系翻译为对应的代码，以生成脚本代码信息；或者基于接收到的用于将脚本模式切换至界面模式的输入，将脚本代码信息解析为对应的模型配置对象、模型配置对象的界面坐标及模型配置对象之间的连线关系，并显示于用户界面。可选的，所述系统还包括：数据处理模块，用于根据所述数据模型获取目标数据；数据服务模块，用于将所述目标数据提供给对应的下游系统。可选的，所述接口模块还用于：接收用户在用户界面上的第三输入；所述系统还包括：数据血缘模块，用于响应于所述第三输入，确定目标数据表及其关联表之间的数据血缘关系，并对确定的数据血缘关系进行显示。可选的，所述系统还包括：数据接入模块，用于从所述上游系统接入业务数据；元数据管理模块，用于对所述业务数据进行元数据管理。可选的，所述数据接入模块还用于：根据预先生成的接入数据代码模块，从所述上游系统接入所述业务数据。可选的，所述接口模块还用于：接收用户在用户界面上的第四输入；所述系统还包括：确定模块，用于响应于所述第四输入，确定与所述第四输入对应的业务数据信息和元数据信息；生成模块，用于根据所述业务数据信息和所述元数据信息，生成所述接入数据代码模块。可选的，所述数据接入模块中包括清洗规则模块；所述数据接入模块还用于：根据所述清洗规则模块，对所述业务数据进行清洗，规范所述业务数据。可选的，所述接口模块还用于：接收用户在用户界面上的第五输入；所述系统还包括：检查模块，用于响应于所述第五输入，检查所述数据模型是否符合向下游系统提供数据的要求，得到检查结果并显示所述检查结果。可选的，所述数据处理模块还用于：根据预先生成的供数脚本代码模块获取目标数据。第二方面，本专利技术实施例还提供了一种数据处理方法，包括：显示用户界面，并接收用户在用户界面上的第一输入；响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息；根据所述数据模型创建信息，创建数据模型；其中，所述数据模型用于表示从上游系统接入的业务数据和提供至下游系统的数据之间的关系。可选的，所述用户界面为界面模式时，所述数据模型创建信息包括如下至少一项：目标表基本信息、源表、源表之间的连接关系、目标表中各字段的信息和目标表中各字段的数据来源方式；或者，所述数据模型创建信息包括如下至少一项：目标表基本信息、模型配置对象、模型配置对象之间的连线关系、字段加工信息、目标表中各字段的设置信息。可选的，所述接收用户在用户界面上的第一输入的步骤，包括：接收用户用于设置目标表基本信息的输入、用于选择模型配置对象的输入和用于设置模型配置对象之间的连线关系的输入；所述显示与所述第一输入对应的数据模型创建信息的步骤，包括：显示设置的目标表基本信息、选择的模型配置对象和设置的模型配置对象之间的连线关系；所述根据所述数据模型创建信息，创建数据模型的步骤，包括：根据所述设置的目标表基本信息、选择的模型配置对象和设置的模型配置对象之间的连线关系，创建目标表。可选的，所述用户界面为脚本模式时，所述数据模型创建信息包括如下至少一项：建表脚本代码信息和加工脚本代码信息。可选的，所述响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息的步骤之后，所述方法还包括：接收用户在用户界面上的第二输入；响应于所述第二输入，对所述用户界面的模式进行切换，将在模式切换前确定的数据模型创建信息转换为与切换后的模式对应的数据模型创建信息，并进行显示。可选的，所述响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息的步骤之后，所述方法还包括：基于接收到的用于将界面模式切换至脚本模式的输入，将模型配置对象及其连线关系翻译为对应的代码，以生成脚本代码信息；或者基于接收到的用于将脚本模式切换至界面模式的输入，将脚本代码信息解析为对应的模型配置对象、模型配置对象的界面坐标及模型配置对象之间的连线关系，并显示于用户界面。可选的，所述根据所述数据模型创建信息，创建数据模型之后，所述方法还包括：根据所述数据模型获取目标数据；将所述目标数据提供给对应的下游系统。可选的，所述方法还包括：接收用户在用户界面上的第三输入；响应于所述第三输入，确定目标数据表及其关联表之间的数据血缘关系，并对确定的数据血缘关系进行显示。可选的，所述根据所述数据模型获取目标数据之前，所述方法还包括：从所述上游系统接入业务数据；对所述业务数据进行元数据管理。可选的，所述从所述上游系统接入业务数据，包括：根据预先生成的接入数据代码模块，从所述上游系统接入所述业务数据。可选的，所述根据预先生成的接入本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，包括：接口模块，用于显示用户界面，并接收用户在用户界面上的第一输入；显示模块，用于响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息；创建模块，用于根据所述数据模型创建信息，创建数据模型；其中，所述数据模型用于表示从上游系统接入的业务数据和提供至下游系统的数据之间的关系。

【技术特征摘要】
2018.03.29 CN 20181027252251.一种数据处理系统，其特征在于，包括：接口模块，用于显示用户界面，并接收用户在用户界面上的第一输入；显示模块，用于响应于所述第一输入，显示与所述第一输入对应的数据模型创建信息；创建模块，用于根据所述数据模型创建信息，创建数据模型；其中，所述数据模型用于表示从上游系统接入的业务数据和提供至下游系统的数据之间的关系。2.根据权利要求1所述的系统，其特征在于，所述用户界面为界面模式时，所述数据模型创建信息包括如下至少一项：目标表基本信息、源表、源表之间的连接关系、目标表中各字段的信息和目标表中各字段的数据来源方式；或者，所述数据模型创建信息包括如下至少一项：目标表基本信息、模型配置对象、模型配置对象之间的连线关系、字段加工信息、目标表中各字段的设置信息。3.根据权利要求1所述的系统，其特征在于，所述接口模块还用于接收用户用于设置目标表基本信息的输入、用于选择模型配置对象的输入和用于设置模型配置对象之间的连线关系的输入；所述显示模块还用于显示设置的目标表基本信息、选择的模型配置对象和设置的模型配置对象之间的连线关系；所述创建模块还用于根据所述设置的目标表基本信息、选择的模型配置对象和设置的模型配置对象之间的连线关系，创建目标表。4.根据权利要求1所述的系统，其特征在于，所述用户界面为脚本模式时，所述数据模型创建信息包括如下至少一项：建表脚本代码信息和加工脚本代码信息。5.根据权利要求3所述的系统，其特征在于，所述接口模块还用于：接收用户在用户界面上的第二输入；所述系统还包括：切换模块，用于响应于所述第二输入，对所述用户界面的模式进行切换，将在模式切换前确定的数据模型创建信息转换为与切换后的模式对应的数据模型创建信息，并进行显...

【专利技术属性】
技术研发人员：王清臣，陈静瑶，
申请(专利权)人：北京九章云极科技有限公司，
类型：发明
国别省市：北京,11