数据处理方法和设备技术

技术编号:20117676 阅读:66 留言:0更新日期:2019-01-16 12:03
本发明专利技术实施例公开了一种数据处理方法和设备,用于高效地建立数据源的数据和使用该数据的使用对象信息的对应关系。本发明专利技术实施例方法包括:从数据源获取使用对象信息和SQL语句,SQL语句包括数据源存储的数据,使用对象信息为使用数据的对象的信息;根据SQL语句构建局部查询血统,局部查询血统用于记载该数据的处理历史;从局部查询血统获取该数据;建立该数据和使用对象信息的对应关系。从数据源获取使用对象信息和SQL语句,通过获取数据源的SQL语句即获取了数据源存储的数据。然后,先根据SQL语句构建局部查询血统,再从局部查询血统获取数据源存储的数据。这样,数据处理设备即可自动且高效地建立数据和使用对象信息的对应关系。

Data Processing Method and Equipment

An embodiment of the present invention discloses a data processing method and device for efficiently establishing a correspondence between data of a data source and information of the user using the data. The embodiments of the present invention include: acquiring object information and SQL statements from data sources, including data stored by data sources and using object information as object information of data use; constructing local inquiry lineage according to SQL statements and using local inquiry lineage to record the processing history of the data; acquiring the data from local inquiry lineage; establishing the data and using objects. Correspondence of information. The object information and SQL statements are acquired from the data source, and the data stored by the data source is acquired by acquiring the SQL statements of the data source. Then, the local query lineage is constructed according to the SQL statement, and the data stored by the data source is obtained from the local query lineage. In this way, data processing equipment can automatically and efficiently establish the corresponding relationship between data and object information.

【技术实现步骤摘要】
数据处理方法和设备
本专利技术涉及数据管理领域,尤其涉及一种数据处理方法和设备。
技术介绍
数据的变化往往会使得数据的使用对象受到影响,为此,在数据管理领域需要进行数据迁移影响分析,以分析数据的结构或位置变化后影响到的使用对象。现有的分析方式是,使用人工方式分别收集数据源的数据和使用该数据的使用对象信息。从而,可确定出受该数据的变化影响的使用对象。这样的方式浪费大量的人力物力,执行效率较低。
技术实现思路
本专利技术实施例提供了一种数据处理方法和设备,用于高效地建立数据源的数据和使用该数据的使用对象信息的对应关系。本专利技术实施例的第一方面提供一种数据处理方法,该方法包括:从数据源获取使用对象信息和SQL语句,其中,SQL语句包括数据源存储的数据,使用对象信息为使用数据的对象的信息。执行本专利技术实施例的方法的数据处理设备可从一个数据源中获取一个或多个SQL语句。该使用对象信息包括但不限于用户信息、应用程序信息等。该数据源存储的数据包括但不限于数据库信息、表信息、列信息和视图等。然后,根据SQL语句构建局部查询血统,局部查询血统用于记载数据的处理历史,从局部查询血统可方便获取该数据源存储的数据。例如,该局部查询血统是一种树形数据结构,用树的深度优先或广度优先算法遍历局部查询血统,找出局部查询血统的树中的叶子结点。该叶子节点即为数据源存储的数据。获取该数据后,即可使用该数据和使用对象信息建立数据和使用对象信息的对应关系。在该对应关系中,使用对象信息是使用该数据的对象的信息。这样,通过获取数据源的SQL语句即获取了数据源存储的数据。而从数据源获取使用对象信息和SQL语句,使得使用对象信息为使用该SQL语句包括的该数据的对象的信息。然后,先根据SQL语句构建局部查询血统,因局部查询血统用于记载数据的处理历史,从而可以从局部查询血统获取数据源存储的数据,这样的数据获取方式更简便高效。从而,数据处理设备即可建立数据和使用对象信息的对应关系。通过这样的方式,设备可自动且高效地建立数据和使用对象信息的对应关系,从而节省了成本。结合本专利技术实施例的第一方面,在本专利技术实施例的第一方面的第一种实现方式中,从数据源获取使用对象信息和SQL语句,包括:从数据源的DBMS日志获取使用对象信息和SQL语句。例如,通过文件监控工具监控DBMS日志,以提取并收集使用对象信息和SQL语句。从DBMS日志获取相关信息的方式可适用于多种数据源类型,使得本专利技术实施例的方法适用范围广。结合本专利技术实施例的第一方面的第一种实现方式,本专利技术实施例的第一方面的第二种实现方式中,从数据源的DBMS日志获取使用对象信息和SQL语句之前,本实现方式的方法还包括:确定目标数据源的类型,该目标数据源为待连接的数据源。例如,从数据源的表信息中的元数据中获取目标数据源的类型信息,从而可确定目标数据源的类型。然后,根据预先建立的数据源的类型和插件的对应关系,从预存的插件池获取与目标数据源的类型对应的目标插件,其中插件池包括至少一个插件。从而,数据处理设备通过目标插件接入目标数据源,以从目标数据源的DBMS日志获取使用对象信息和SQL语句。插件为预先开发的用于接入数据源的程序模块,不同的插件可分别对应于不同数据源的特有部分,这样,通过插件,本专利技术实施例的方法可实现数据源的自动适配,并连接不同的数据源,以获取数据源的信息。结合本专利技术实施例的第一方面,在本专利技术实施例的第一方面的第三种实现方式中,根据SQL语句构建局部查询血统,包括:使用explain命令对SQL语句进行处理,以生成查询计划。然后,解析查询计划,得到局部查询血统。因DBMS支持explain命令语句,而通过解析查询计划可得到局部查询血统,从这样得到局部查询血统的方式较为通用,有助于从不同数据源上正确获取到局部查询血统。结合本专利技术实施例的第一方面,在本专利技术实施例的第一方面的第四种实现方式中,可在多个数据源的场景实现本专利技术实施例的方法,此时,从数据源获取使用对象信息和SQL语句,包括:从多个数据源获取使用对象信息和SQL语句,以得到多个SQL语句。相应地,根据SQL语句构建局部查询血统,包括:根据每一SQL语句分别构建局部查询血统,得到多个局部查询血统。而从局部查询血统获取数据,包括:从每一局部查询血统获取数据。相应地,建立数据和使用对象信息的对应关系,包括:根据属于同一数据源的数据和使用对象信息,建立数据和使用对象信息的对应关系。属于同一数据源的数据和使用对象信息,表示该使用对象信息为使用该数据源的数据的对象。这样,即可从多个数据源获取使用对象信息和SQL语句,以建立出数据和使用对象信息的多个对应关系。结合本专利技术实施例的第一方面的第四种实现方式,在本专利技术实施例的第一方面的第五种实现方式中,根据每一SQL语句分别构建局部查询血统,得到多个局部查询血统之后,本专利技术实现方式的方法还包括:整合多个局部查询血统,得到全局查询血统。这样即可通过多个局部查询血统得到全局查询血统,从而将该多个局部查询血统的数据关联起来,得到更为丰富的数据的血统信息。结合本专利技术实施例的第一方面的第五种实现方式,在本专利技术实施例的第一方面的第六种实现方式中,根据属于同一数据源的数据和使用对象信息,建立数据和使用对象信息的对应关系之后,本实现方式的方法还包括:获取目标数据,该目标数据例如可以为待修改的数据、管理员需要查询的数据等。因全局查询血统由多个局部查询血统得到,全局查询血统的数据间的关系信息更为丰富。从而根据目标数据从全局查询血统可获取衍生数据,该衍生数据由目标数据衍生得到。然后,从对应关系中,确定分别与目标数据和衍生数据对应的使用对象信息。可以同时使用目标数据和其衍生数据从对应关系中获取使用对象信息,也可以先后使用目标数据和其衍生数据从对应关系中获取使用对象信息。根据目标数据从该对应关系中获取的使用对象信息,为直接受该目标数据影响的使用对象信息;根据衍生数据从对应关系中获取的使用对象信息,因衍生数据为目标数据衍生的数据,从而,该使用对象信息也受目标数据的影响。这样,本实现方式的方法可全面高效地获取到与目标数据关联的使用对象信息。结合本专利技术实施例的第一方面、或者第一方面的第一种至第六种实现方式中的任意一种,在本专利技术实施例的第一方面的第七种实现方式中,使用对象信息包括用户信息和/或应用程序信息。即该用户信息为使用该数据的用户的信息,该应用程序信息为使用该数据的应用程序的信息。结合本专利技术实施例的第一方面、或者第一方面的第一种至第六种实现方式中的任意一种,在本专利技术实施例的第一方面的第八种实现方式中,该数据源存储的数据包括数据库信息、表信息、列信息和视图中的一种或多种。第二方面,本专利技术实施例中提供一种数据处理设备,该数据处理设备具有上述方法中数据处理设备的功能。该功能可以通过硬件实现,也可能通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。一种可能的实现方式中,该数据处理设备包括:信息获取模块,用于从数据源获取使用对象信息和SQL语句,SQL语句包括数据源存储的数据,使用对象信息为使用数据的对象的信息;构建模块,用于根据SQL语句构建局部查询血统,局部查询血统用于记载数据的处理历史;处理模块,用于从局部查询血统获取数据;处理模块,本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,包括:从数据源获取使用对象信息和结构化查询语言SQL语句,所述SQL语句包括所述数据源存储的数据,所述使用对象信息为使用所述数据的对象的信息;根据所述SQL语句构建局部查询血统,所述局部查询血统用于记载所述数据的处理历史;从所述局部查询血统获取所述数据;建立所述数据和所述使用对象信息的对应关系。

【技术特征摘要】
1.一种数据处理方法,其特征在于,包括:从数据源获取使用对象信息和结构化查询语言SQL语句,所述SQL语句包括所述数据源存储的数据,所述使用对象信息为使用所述数据的对象的信息;根据所述SQL语句构建局部查询血统,所述局部查询血统用于记载所述数据的处理历史;从所述局部查询血统获取所述数据;建立所述数据和所述使用对象信息的对应关系。2.根据权利要求1所述的方法,其特征在于,所述从数据源获取使用对象信息和SQL语句,包括:从数据源的数据库管理系统DBMS日志获取使用对象信息和SQL语句。3.根据权利要求2所述的方法,其特征在于,所述从数据源的DBMS日志获取使用对象信息和SQL语句之前,所述方法还包括:确定目标数据源的类型;根据预先建立的数据源的类型和插件的对应关系,从预存的插件池获取与所述目标数据源的类型对应的目标插件,所述插件池包括至少一个插件;通过所述目标插件接入所述目标数据源;所述从数据源的DBMS日志获取使用对象信息和SQL语句,包括:从所述目标数据源的DBMS日志获取使用对象信息和SQL语句。4.根据权利要求1所述的方法,其特征在于,所述根据所述SQL语句构建局部查询血统,包括:使用explain命令对所述SQL语句进行处理,以生成查询计划;解析所述查询计划,得到局部查询血统。5.根据权利要求1所述的方法,其特征在于,所述从数据源获取使用对象信息和SQL语句,包括:从多个数据源获取使用对象信息和SQL语句,以得到多个SQL语句;所述根据所述SQL语句构建局部查询血统,包括:根据每一所述SQL语句分别构建局部查询血统,得到多个局部查询血统;所述从所述局部查询血统获取所述数据,包括:从每一所述局部查询血统获取所述数据;所述建立所述数据和所述使用对象信息的对应关系,包括:根据属于同一数据源的所述数据和所述使用对象信息,建立所述数据和所述使用对象信息的对应关系。6.根据权利要求5所述的方法,其特征在于,所述根据每一所述SQL语句分别构建局部查询血统,得到多个局部查询血统之后,所述方法还包括:整合所述多个局部查询血统,得到全局查询血统。7.根据权利要求6所述的方法,其特征在于,所述根据属于同一数据源的所述数据和所述使用对象信息,建立所述数据和所述使用对象信息的对应关系之后,所述方法还包括:获取目标数据;根据所述目标数据从所述全局查询血统获取衍生数据,所述衍生数据由所述目标数据衍生得到;从所述对应关系中,确定分别与所述目标数据和所述衍生数据对应的使用对象信息。8.根据权利要求1至7任一项所述的方法,其特征在于,所述使用对象信息包括用户信息和/或应用程序信息。9.根据权利要求1至7任一项所述的方法,其特征在于,所述数据包括数据库信息、表信息、列信息和视图中的一种或多种。10.一种数据处理设备,其特...

【专利技术属性】
技术研发人员:王才华王云鹏薛文伟梁定裕
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1