【技术实现步骤摘要】
本专利技术涉及数据处理，尤其涉及一种元数据处理方法及系统。
技术介绍
1、随着大数据时代的到来以及各企业业务的持续发展，数据的数量、种类越来越多，数据之间的关系越来越复杂，数据的应用场景也从传统的统计分析，到现在基于大数据的机器学习、知识图谱等。数据的深度挖掘使用、数据对业务的促进、数据在企业运营等方方面面均发挥着越来越重要的作用。数据资产已经逐步成为企业的核心资产之一。
2、元数据是关于数据的数据，是对数据进行描述、解释、定位并使其更方便检索、使用或管理的数据。元数据是数据的共享、交换、分析、使用的基础，大数据必然产生海量元数据，元数据变得更加重要，元数据存储、管理、使用、分析的好坏，直接决定了数据应用在企业中的好坏。只有管好、用好元数据，才能管好、用好数据。
3、传统的元数据的管理在大数据时代存在不少问题。首先，元数据的种类、数量在大数据时代越来越多，海量的数据必然产生海量的大数据，传统的元数据的管理依然依赖于关系数据库，显然无法满足海量元数据的存储；其次，元数据的关系也越来越复杂，元数据的分析使用的主要场景之一是对元数据进行血缘分析或影响分析，快速定位数据的根因。传统元数据管理通过关系数据库中表的关联递归查询实现元数据的影响和血缘分析，在海量元数据的情况下，效率非常低，对复杂元数据的关系分析甚至无法实现，无法满足用户的需求；第三，传统元数据的用户体验也非常差，无法快速定位元数据，无法清晰明了展示不同层级的元数据的信息，无法满足不同角色的使用者。
技术实现思路>
1、本专利技术提供一种元数据处理方法及系统，用以解决现有元数据查询效率低、用户使用体验差的问题。
2、本专利技术提供一种元数据处理方法，包括：
3、获取元数据并对元数据基本信息和元数据关系进行同步，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中；
4、基于所述元数据地图的底图和图层，通过数据库查询技术和图数据遍历技术进行元数据的节点遍历、关系遍历和标签查询，并提供数据服务接口；
5、调用所述数据服务接口获取底图和图层数据，建立元数据地图的全景视图和血缘影响分析视图，通过数据地图的形式进行元数据前端交互。
6、根据本专利技术提供的一种元数据处理方法，所述获取元数据并对元数据基本信息和元数据关系进行同步，具体包括：
7、从外部元数据中进行元数据同步获取，判断同步是否成功；
8、同步成功则进行元数据加工，同步失败则同步异常数据退出。
9、根据本专利技术提供的一种元数据处理方法，所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中，具体包括：
10、将元数据信息从将传统的元数据信息加工转换成图数据中的元数据节点信息，包括节点信息、属性和标签信息；
11、将分散的元数据之间的关系加工转换成图数据中的元数据节点关系，包括基本关系及衍生关系。
12、根据本专利技术提供的一种元数据处理方法，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中，还包括：
13、元数据加工过程中实现分类加工、统计分析、位置分配、标签建立、关系转换、层级划分和属性映射功能；
14、将分散的元数据基本信息和元数据关系信息加工成图形数据库存储的节点信息、关系信息和标签信息，同时将元数据的属性进行映射，单形成节点的属性信息。
15、根据本专利技术提供的一种元数据处理方法，基于所述元数据地图的底图和图层，通过数据库查询技术和图数据遍历技术进行元数据的节点遍历、关系遍历和标签查询，并提供数据服务接口，具体包括：
16、通过数据库查询技术和图数据遍历技术进行元数据的节点遍历、关系遍历和标签查询；
17、基于遍历结果完成元数据地图的动态生成、关系遍历、标签遍历、全局搜索；
18、其中，所述关系遍历包括：血缘分析、影响分析、全景分析。
19、根据本专利技术提供的一种元数据处理方法，调用所述数据服务接口获取底图和图层数据，建立元数据地图的全景视图和血缘影响分析视图，通过数据地图的形式进行元数据前端交互，具体包括：
20、用户直接访问元数据应用单元，根据用户的需要元数据应用单元会向元数据服务模块发送rest交易请求获取数；
21、元数据服务单元收到交易请求后会调用图数据遍历模块获取元数据存储模块中存储的元数据信息，并将数据返回给元数据应用单元；
22、元数据应用单元接收到数据后通过全景视图模块和血缘影响分析视图模块进行数据展示。
23、本专利技术还提供一种元数据处理系统，所述系统包括：
24、数据处理模块，用于获取元数据并对元数据基本信息和元数据关系进行同步，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中；
25、服务模块，用于基于所述元数据地图的底图和图层，通过数据库查询技术和图数据遍历技术进行元数据的节点遍历、关系遍历和标签查询，并提供数据服务接口；
26、应用模块，用于调用所述数据服务接口获取底图和图层数据，建立元数据地图的全景视图和血缘影响分析视图，通过数据地图的形式进行元数据前端交互。
27、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述元数据处理方法。
28、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述元数据处理方法。
29、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述元数据处理方法。
30、本专利技术提供的一种元数据处理方法及系统，通过一套标准的数据处理、转换和建立标签的过程，不同类的元数据能够通过该标准流程快速转换为图形数据库数据，形成图形数据库中的节点、属性、关系和标签图形数据库，能够存储海量元数据的不同属性，在图形数据库中元数据的信息通过图形数据库的节点、属性、关系和标签分别存储，特别是图形数据库中，能够很好的解决元数据之间关系的存储。通过图形数据库解决了海量元数据的使用效率问题。通过图形数据库，已经预先存储了元数据之间复杂的关系，通过图形数据库的图遍历算法，能够快速高效的进行元数据的关系查找和分析，不仅效率和传统元数据系统有量级提升，而且对元数据之间的关系的分析得到了质的提升；通过地图技术，构建新颖独特的元数据地图使用模式及展示方式，加强元数据视觉可视化能力，从而提升用户体验效果。
本文档来自技高网...【技术保护点】
1.一种元数据处理方法，其特征在于，包括：
2.根据权利要求1所述的元数据处理方法，其特征在于，所述获取元数据并对元数据基本信息和元数据关系进行同步，具体包括：
3.根据权利要求1所述的元数据处理方法，其特征在于，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中，具体包括：
4.根据权利要求1所述的元数据处理方法，其特征在于，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中，还包括：
5.根据权利要求1所述的元数据处理方法，其特征在于，基于所述元数据地图的底图和图层，通过数据库查询技术和图数据遍历技术进行元数据的节点遍历、关系遍历和标签查询，并提供数据服务接口，具体包括：
6.根据权利要求1所述的元数据处理方法，其特征在于，调用所述数据服务接口获取底图和图层数据，建立元数据地图的全景视图和血缘影响分析视图，通过数据地图的形式进行元数据前端交互，具体包括：
7.一种元数据处理系统，其特征在于，所述系统包括：
8.一种电子设备，包括存储器、处理器及存储在所述
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述元数据处理方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述元数据处理方法。
...【技术特征摘要】
1.一种元数据处理方法，其特征在于，包括：
2.根据权利要求1所述的元数据处理方法，其特征在于，所述获取元数据并对元数据基本信息和元数据关系进行同步，具体包括：
3.根据权利要求1所述的元数据处理方法，其特征在于，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中，具体包括：
4.根据权利要求1所述的元数据处理方法，其特征在于，对所述元数据进行数据加工处理生成元数据地图的底图和图层并存储至数据库中，还包括：
5.根据权利要求1所述的元数据处理方法，其特征在于，基于所述元数据地图的底图和图层，通过数据库查询技术和图数据遍历技术进行元数据的节点遍历、关系遍历和标签查询，并提供数据服务接口，具体包括：
6.根据权利要求1所述的元数...
【专利技术属性】
技术研发人员：邓崇治，杨万强，苏磊，
申请(专利权)人：上海复深蓝软件股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。