【技术实现步骤摘要】
本公开属于通信，具体涉及一种分布式的数据编织处理架构。
技术介绍
1、随着网络通信不断发展，信息化进程不断推进，在信息技术与生产、生活交汇融合的过程中，数据呈现爆发增长、海量聚集的特点，从而对数据管理架构提出了新的挑战。
2、目前，常采用数据入湖的方式实现数据现代化治理，通过设置数据中心对独立分散的边缘原始数据进行集中管控，以在数据中心提供对应的存储、管理、传输、分析等数据处理业务。
3、但是，在该架构中，一方面需要将边缘产生、存储的数据向数据中心大量集中传输，难以支持实时性业务，易阻塞网络，带宽成本较高，且需要在数据中心集中算力以对传回的数据进行汇聚计算，对算力要求高，从而存在数据流转周期长、算力性能瓶颈高以及业务处理不灵活的问题；另一方面，在不同数据中心集中各边缘原始数据，使得数据在不同采集、计算平台集群分散，无法提供全局聚合的数据业务，导致数据全局关联程度较低；再一方面，在集中存储、管理、传输、分析的过程中，数据安全隐私难以充分保障，也导致数据不能被充分利用。
技术实现思路
1、本公开实施例的目的是提供一种数据编织架构，能够解决目前数据治理架构中数据流转周期长、算力性能瓶颈高，以及全局关联程度较低、利用不充分的问题。
2、为了解决上述技术问题，本公开是这样实现的：
3、第一方面，本公开提供了一种分布式的数据编织处理架构，该架构可以包括采集存储层、数据管理层、用户需求层；其中，采集存储层，用于采集并存储原始数据对应的元数据，原始数
4、可选地，数据管理层，具体用于依据定义规则获得元数据的原始分类，并对原始分类相同，且数据类型相同、相似度大于或等于相似度阈值的元数据进行归并，获得元数据的归并分类。
5、可选地，该架构还可以包括知识图谱层、数据目录层；其中，知识图谱层，用于在元数据中抽取实体，以及实体之间的关系，并根据实体和关系构建元数据对应的知识图谱；数据目录层，用于依据元数据与原始数据的对应关系关联知识图谱与原始数据，并基于知识图谱构建原始数据对应的静态知识目录。
6、可选地，用户需求层，还用于向数据目录层提供数据检索需求；数据目录层，还用于根据知识图谱获取数据检索需求对应的目标元数据，并根据目标元数据构建数据检索需求对应的动态知识目录。
7、可选地，知识图谱层具体用于根据语义特征识别元数据中的实体，并提取实体之间的关系，构建第一知识表示；还用于对第一知识表示进行实体对齐，获得第二知识表示，实体对齐包括实体消歧、指代消解中的一个以上；还用于在第二知识表示的基础上进行知识加工，以获得元数据对应的知识图谱，知识加工包括权重分析、知识推理、规则推理、质量评估中的一个以上。
8、可选地，该架构还可以包括模型应用层；其中，用户需求层还用于向模型应用层提供数据检索需求；模型应用层用于根据数据检索需求匹配对应的目标算法，并基于目标算法在对应的数据源节点对目标数据进行解析，向用户提供目标算法的解析结果。
9、可选地，目标数据对应两个以上数据源节点，模型应用层具体用于向数据检索需求对应的目标数据匹配对应的目标算法；具体还用于将目标算法分解到目标数据对应的数据源节点中，并基于联邦学习在数据源节点间进行联合训练，以对目标数据进行解析，向用户提供目标算法的解析结果。
10、可选地，用户需求层还用于对用户进行权限管理，其中，权限包括数据所有权、数据使用权、数据管理权、算法所有权、算法使用权、算法管理权中的一个以上。
11、可选地，用户需求层还用于在元数据中根据预置关联关系，获取目标元数据对应的关联元数据，并根据目标元数据、关联元数据向用户提供数据地图；其中，预置关联关系包括因果关联关系、相关关联关系、集成关联关系中的一个以上。
12、可选地，用户需求层还用于根据算法属性向用户提供算法地图；其中，算法属性包括工作流程、分析用途、算法类别中的一个以上。
13、第二方面，本公开提供了一种服务器，该服务器包括处理器、存储器及存储在该存储器上并可在该处理器上运行的程序或指令，该服务器用于组成第一方面所述的分布式数据编织处理架构，该程序或指令被该处理器执行时实现如第一方面所述的分布式的数据编织处理架构中不同功能层。
14、第三方面，本公开提供了一种可读存储介质，所述可读存储介质上存储程序或指令，该程序或指令被处理器执行时实现如如第一方面所述的分布式的数据编织处理架构中不同功能层。
15、第四方面，本公开提供了一种芯片，该芯片包括处理器和通信接口，通信接口和处理器耦合，该处理器用于运行程序或指令，实现实现如第一方面所述的分布式的数据编织处理架构中不同功能层。
16、第五方面，本公开提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如实现如第一方面所述的分布式的数据编织处理架构中不同功能层。
17、在本公开提供的分布式的数据编织处理架构中，通过采集存储层可以采集并存储原始数据对应的元数据，其中，原始数据在两个以上数据源节点采用分布式存储，元数据用于描述原始数据在数据源节点中的存储信息；再依据定义规则获得元数据的归并分类，基于该归并分类对元数据进行管理；进一步可以在元数据中确定用户的数据检索需求对应的目标元数据，并根据目标元数据在元数据中向用户提供数据检索需求对应的目标数据。上述方案对分布式存储在数据源节点的原始数据进行元数据的采集、存储、归并分类、管理，从而无需将大量边缘节点的数据向数据中心集中传输，避免了网络阻塞，降低了带宽成本以及算力要求，维持原始数据分布式本地存储的状态也避免了数据在集中存储、管理、传输、分析过程中可能造成的安全隐私隐患；并且基于用户的数据检索需求可以确定对应的目标元数据，进而确定对应的目标数据，可以实现数据源节点间跨业务、跨系统的数据整合，提高数据全局关联程度。
本文档来自技高网...【技术保护点】
1.一种分布式的数据编织处理架构，其特征在于，所述架构包括：
2.根据权利要求1所述的架构，其特征在于，所述数据管理层，具体用于依据定义规则获得所述元数据的原始分类，并对所述原始分类相同，且数据类型相同、相似度大于或等于相似度阈值的所述元数据进行归并，获得所述元数据的归并分类。
3.根据权利要求1所述的架构，其特征在于，所述架构还包括：
4.根据权利要求3所述的架构，其特征在于，所述用户需求层，还用于向所述数据目录层提供所述数据检索需求；
5.根据权利要求3所述的架构，其特征在于，所述知识图谱层，具体用于根据语义特征识别所述元数据中的所述实体，并提取所述实体之间的关系，构建第一知识表示；
6.根据权利要求1所述的架构，其特征在于，所述架构还包括模型应用层，所述用户需求层，还用于向所述模型应用层提供所述数据检索需求；
7.根据权利要求6所述的架构，其特征在于，所述目标数据对应两个以上数据源节点，所述模型应用层，具体用于向所述数据检索需求对应的目标数据匹配对应的目标算法；
8.根据权利要求1所述的架构
9.根据权利要求1所述的架构，其特征在于，所述用户需求层还用于在所述元数据中根据预置关联关系，获取所述目标元数据对应的关联元数据，并根据所述目标元数据、所述关联元数据向所述用户提供数据地图，所述预置关联关系包括因果关联关系、相关关联关系、集成关联关系中的一个以上。
10.根据权利要求1所述的架构，其特征在于，所述用户需求层还用于根据算法属性向所述用户提供算法地图，所述算法属性包括工作流程、分析用途、算法类别中的一个以上。
...【技术特征摘要】
1.一种分布式的数据编织处理架构，其特征在于，所述架构包括：
2.根据权利要求1所述的架构，其特征在于，所述数据管理层，具体用于依据定义规则获得所述元数据的原始分类，并对所述原始分类相同，且数据类型相同、相似度大于或等于相似度阈值的所述元数据进行归并，获得所述元数据的归并分类。
3.根据权利要求1所述的架构，其特征在于，所述架构还包括：
4.根据权利要求3所述的架构，其特征在于，所述用户需求层，还用于向所述数据目录层提供所述数据检索需求；
5.根据权利要求3所述的架构，其特征在于，所述知识图谱层，具体用于根据语义特征识别所述元数据中的所述实体，并提取所述实体之间的关系，构建第一知识表示；
6.根据权利要求1所述的架构，其特征在于，所述架构还包括模型应用层，所述用户需求层，还用于向所述模型应用层提供所述数据检索需求；
7...
【专利技术属性】
技术研发人员：李馨迟，闫汇，夏晓晴，梁伟，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。