数据源管理方法及装置制造方法及图纸

本公开涉及数据源管理方法及装置，包括遍历数据源的描述文件；对于遍历到的任一数据源的描述文件：解析所述描述文件，获取所述数据源的元模型的标识；若元模型管理文件中不包含所述元模型的标识，则解析所述描述文件，获取所述元模型包括的属性的信息；在所述元模型管理文件中记录所述元模型的标识和所述元模型包括的属性的信息的关联关系。通过基于数据源的描述文件实现元模型的增加，根据本公开实施例的数据源管理方法及装置能够提高元模型种类的可扩展性。

【技术实现步骤摘要】
数据源管理方法及装置
本公开涉及大数据
，尤其涉及一种数据源管理方法及装置。
技术介绍
数据源是存在于本地或者网络上的某个位置的数据集合。在大数据平台中，数据源的种类众多，大致可分为数据库、文件系统和消息中间件等。数据源管理系统可以对整个平台中的数据源进行统一管理，减少资源浪费，方便统一的数据审计、数据追溯和数据监控。数据源的某些属性是连接该数据源需要的属性，例如IP地址、端口号、用户名和密码等。数据源的某些属性能够优化数据源连接，例如是否能使用线程池、断开重连时间、连接的字符集等。连接数据源需要的属性称为基本属性，能够优化数据源连接的属性称为扩展属性。数据源的基本属性和扩展属性组成数据源的元模型。根据数据源的元模型中各基本属性的属性值，可以连接数据源，根据数据源的元模型中各扩展属性的属性值，可以优化数据源连接。相关技术中，可以利用关系型数据库管理数据源信息，将数据源的元模型中各基本属性作为关系型数据表中的属性字段，将每个数据源的各基本属性的属性值作为一条记录保存在该数据表中。采用上述方式管理数据源信息时，若添加一种新的数据源，该数据源的元模型包括的基本属性与已有的数据表包括的本文档来自技高网...

【技术保护点】
1.一种数据源管理方法，其特征在于，所述方法包括：遍历数据源的描述文件；对于遍历到的任一数据源的描述文件：解析所述描述文件，获取所述数据源的元模型的标识；若元模型管理文件中不包含所述元模型的标识，则解析所述描述文件，获取所述元模型包括的属性的信息；在所述元模型管理文件中记录所述元模型的标识和所述元模型包括的属性的信息的关联关系。

【技术特征摘要】
1.一种数据源管理方法，其特征在于，所述方法包括：遍历数据源的描述文件；对于遍历到的任一数据源的描述文件：解析所述描述文件，获取所述数据源的元模型的标识；若元模型管理文件中不包含所述元模型的标识，则解析所述描述文件，获取所述元模型包括的属性的信息；在所述元模型管理文件中记录所述元模型的标识和所述元模型包括的属性的信息的关联关系。2.根据权利要求1所述的方法，其特征在于，所述描述文件为XML类型或JSON类型的文件；所述元模型包括的属性的信息包括基本属性的信息和扩展属性的信息；所述描述文件包括数据源标签、基本属性标签和扩展属性标签，其中，所述基本属性标签用于存储所述基本属性的信息；所述扩展属性标签用于存储所述扩展属性的信息。3.根据权利要求2所述的方法，其特征在于，所述基本属性标签包括一个或多个基本属性的信息，每个基本属性的信息包括所述基本属性的标识和约束条件；所述扩展属性标签包括一个或多个扩展属性的信息，每个扩展属性的信息包括所述扩展属性的标识和约束条件。4.根据权利要求1所述的方法，其特征在于，所述元模型管理文件中通过键值对存储所述元模型的标识和所述元模型包括的属性的信息的关联关系；所述键值对的键为所述元模型的标识；所述键值对的值为所述元模型包括的属性的信息，所述属性的信息包括属性的标识和约束条件。5.根据权利要求4所述的方法，其特征在于，获取所述数据源的元模型的标识之后，该方法还包括：将所述元模型的标识记录在本次遍历对应的标识文件中。6.根据权利要求5所述的方法，其特征在于，遍历完所述数据源的描述文件之后，所述方法还包括：遍历所述元模型管理文件中的元模型的标识；对于遍历到的任一元模型的标识，若该元模型的标识在所述标识文件中不存在，则从所述元模型管理文件中删除所述元模型的标识和关联的所述元模型包括的属性的信息。7.根据权利要求6所述的方法，其特征在于，所述元模型的标识为所述描述文件的md5值或为所述描述文件的名称。8.一种数据源管理装置，其特征在于，所述装置包括：文件遍历模块，用于遍历数据源的描述文件；标识获取模块，用于解析所...

【专利技术属性】
技术研发人员：王慧锋，
申请(专利权)人：新华三大数据技术有限公司，
类型：发明
国别省市：河南,41