对等式数据运算与存储架构构建方法技术

本发明专利技术涉及一种对等式数据运算与存储架构构建方法，多个数据湖服务器节点构成权限对等的拓扑结构；每一个数据湖服务器作为一个节点，采用分布式运算和存储架构，支持对关系型数据库数据、文档型数据库数据、文件型数据以及图数据的存储和管理；节点内部用户之间，或者各个节点的用户之间进行点对点的安全通信，且通信时各节点的用户之间拥有对等的权限。本发明专利技术可以解决子公司与总公司在数据分享过程中的利益博弈，达成双方都能够接受的方案。

The construction method of computing and storage architecture for equality data

【技术实现步骤摘要】
对等式数据运算与存储架构构建方法
本专利技术涉及数据湖服务器群架构，特别涉及一种对等式数据运算与存储架构构建方法。
技术介绍
大规模集团级企业的数据运算和存储应用的特点在于，尽管总公司与其所属子公司之间是管理与被管理的关系，在实际集团级公司的运营中，总公司与子公司之间是事实上的合作关系，总公司对子公司的管理是宏观的，子公司需要保留自己运营的独立性。因而，在数据分享方面，总公司与各个子公司之间是存在利益博弈的，这时，双方之间的关系是对等的，子公司有权保留或者可以私下保留自己的数据，仅仅共享与自己利益无损害的数据，总公司也能够接受这种状态。当前亟需一种权限对等的架构，来满足这种集团级企业应用的数据运算和存储需要。
技术实现思路
本专利技术提供一种对等式数据运算与存储架构构建方法，各个拓扑节点拥有完全自主的控制权限，适用于满足集团级企业在数据运算和存储方面的需求。为了达到上述目的，本专利技术的一个技术方案是提供一种对等式数据运算与存储架构构建方法：多个数据湖服务器节点构成权限对等的拓扑结构；其中，每一个数据湖服务器作为一个节点，采用分布式运算和存储架构，支持对关系型数据库数据、文档型数据库数据、文件型数据以及图数据之中的任意一种或其任意组合进行存储和管理；节点内部用户之间，或者各个节点的用户之间进行点对点的安全通信，且通信时各节点的用户之间拥有对等的权限。可选地，所述数据湖服务器，是包含关系型数据库、文档型数据库、分布式文件系统以及图数据库的一种数据存储和管理服务平台，这个平台采用分布式运算和存储架构，集成了具有数据存储以及运算功能的各类计算机单机、服务器以及计算机集群或者服务器集群，并提供包括数据管理、数据存储、算法开发的各类功能组件。可选地，所述“各节点的用户之间拥有对等的权限”，是指：每个节点对自己节点的数据和运算资源，拥有完全自主的管理权限；每个节点的用户向其他节点的用户发送请求并获得授权后，被允许访问其他节点用户拥有的数据资源，或者使用其他节点的运算资源；每个节点的用户有权同意或者拒绝其他节点用户发出的任何操作请求。可选地，每个节点拥有与之对应的一个或多个用户，当前节点支持每个用户对自己导入的数据进行无权限限制的任意操作，和/或对于当前节点的其他用户或其他节点的用户所分享的数据执行与权限相符的处理。可选地，任意两个用户之间的每次通信，是通过网络专线或者公开网络进行的一对一连接；所述的任意两个用户属于同一个节点或者属于不同的节点；用户身份有安全验证，且用户之间的数据通信内容有安全加密保障。可选地，任意多个用户组成一个用户组；所述的任意多个用户，属于同一个节点或属于不同的节点；用户组内任意两个用户之间的每次通信，是通过网络专线或者公开网络进行的一对一连接。可选地，用户身份由当前节点的管理员建立，或者由拓扑结构内与当前节点有通信连接的其他节点的管理员建立；各个节点的管理员，具有以下的权限：对当前节点的用户和用户组、和/或与之通信连接的其他节点的用户和用户组，进行创建、删除、查看、修改、权限设置；组管理员，具有以下权限：对用户组进行创建、删除、信息修改，对组信息、组内用户数及组内用户权限进行统计，以及向组内或组外各节点的管理员或数据所有者申请访问数据或使用运算资源的权限。可选地，所述拓扑结构包含网状拓扑、或树状拓扑、或星型拓扑。可选地，所述的分布式运算和存储架构，是指：通过使用PaaS云计算平台提供计算资源的分配，将业务容器分配到集群中各个节点，提供分布式计算资源。可选地，所述数据存储和管理服务平台通过日志文件和元数据文件，对数据文件及其存储、交换进行组织管理；其中，所述日志文件包含的日志记录数据，以键值对的形式存在，包含对应以下内容的字段：当前操作的操作者名称；当前操作的类型；当前操作的内容，即操作动作的执行对象；其中，当操作类型是修改、或创建、或追加时，是指保存对应数据源的位置；当操作类型是查询时，是指保存对应的查询语句；当前操作的日期时间；当前操作的状态，用来判断当前操作是否成功；当前操作的数据类型；其中，所述元数据文件包含的文件元数据，以键值对的形式存在，其包含对应以下内容的字段：正在处理的数据的名称；对当前数据的描述；当前数据所属的用户；当前数据所属的组；存储的目的地，其与数据库类型相匹配；数据生成的资源描述框架；元数据创建时间；元数据更新时间。本专利技术的另一个技术方案是提供一种对等式数据运算与存储架构的应用方法，使用上述任意一种对等式数据运算与存储架构，针对类似于集团企业管理架构的组织机构，进行数据管理、处理及存储；集团内的总公司及各个子公司、供应商、客户，各自作为权限对等的拓扑结构内的一个节点，构建与之对应的数据湖服务器，来收集内部数据；称任意一个节点为本地节点；所述本地节点通过与其他节点建立信息连接，收集其他节点向该本地节点分享的数据，并在提取数据字段、整合数据、清洗数据之后，保存到本地节点。可选地，所述本地节点发出请求并在其他节点允许后，将其他节点添加到该本地节点的用户组；所述本地节点对来自其他节点的整合数据进行分析，并将分析结果以文件的形式对其他节点发布；和/或，其他节点向该本地节点请求获取分析结果。本专利技术构建了权限对等的多节点扩展与通信的架构，对等拓扑中的每一个节点，就是一个数据湖服务器，该数据湖服务器是一种综合了典型的4种常见数据/文档类型存储形态，集中接受外部三种数据源的混合数据的存储服务器架构。本专利技术的各个拓扑节点拥有完全自主的控制权限，可以将其用来解决子公司与总公司在数据分享过程中的利益博弈，达成双方都能够接受的方案。附图说明图1是本专利技术的数据湖服务器架构示意图；图2、图3、图4是本专利技术中服务器群节点拓扑典型结构，分别是网状、树状、星型的拓扑架构示意图；图5是本专利技术的实施例中节点与数据流向的示意图。具体实施方式配合参见图1与图2-图4所示，本专利技术提供一种用于数据存储、运算以及分享的数据湖服务器群架构，其群架构可以由任意多个数据湖服务器节点构成，根据数据湖服务器使用者组织架构的不同，每一台数据湖服务器作为一个节点，与其他同类型数据湖服务器节点构成权限对等的网状拓扑(图2)，或者构成其他权限类型的拓扑，比如树状拓扑结构(图3)或者星型拓扑结构(图4)。每一台数据湖服务器作为拓扑中的一个节点，采用分布式运算和存储架构，支持关系型数据库数据、文档型数据库数据、文件型数据以及图数据的存储和管理，从而解决待保存数据的多元异构问题，使各类数据都可以在数据湖中保存。所述的“分布式运算和存储架构”，是指：通过使用PaaS云计算平台提供计算资源的分配，将业务容器分配到集群中各个节点，提供分布式计算资源。节点内部用户之间，或者各个节点上的本文档来自技高网...

【技术保护点】
1.一种对等式数据运算与存储架构构建方法，其特征在于，/n多个数据湖服务器节点构成权限对等的拓扑结构；/n其中，每一个数据湖服务器作为一个节点，采用分布式运算和存储架构，支持对关系型数据库数据、文档型数据库数据、文件型数据以及图数据之中的任意一种或其任意组合进行存储和管理；/n节点内部用户之间，或者各个节点的用户之间进行点对点的安全通信，且通信时各节点的用户之间拥有对等的权限。/n

【技术特征摘要】
1.一种对等式数据运算与存储架构构建方法，其特征在于，
多个数据湖服务器节点构成权限对等的拓扑结构；
其中，每一个数据湖服务器作为一个节点，采用分布式运算和存储架构，支持对关系型数据库数据、文档型数据库数据、文件型数据以及图数据之中的任意一种或其任意组合进行存储和管理；
节点内部用户之间，或者各个节点的用户之间进行点对点的安全通信，且通信时各节点的用户之间拥有对等的权限。


2.如权利要求1所述对等式数据运算与存储架构构建方法，其特征在于，
所述数据湖服务器，是包含关系型数据库、文档型数据库、分布式文件系统以及图数据库的一种数据存储和管理服务平台，这个平台采用分布式运算和存储架构，集成了具有数据存储以及运算功能的各类计算机单机、服务器以及计算机集群或者服务器集群，并提供包括数据管理、数据存储、算法开发的各类功能组件。


3.如权利要求1所述对等式数据运算与存储架构构建方法，其特征在于，
所述“各节点的用户之间拥有对等的权限”，是指：
每个节点对自己节点的数据和运算资源，拥有完全自主的管理权限；
每个节点的用户向其他节点的用户发送请求并获得授权后，被允许访问其他节点用户拥有的数据资源，或者使用其他节点的运算资源；
每个节点的用户有权同意或者拒绝其他节点用户发出的任何操作请求。


4.如权利要求1所述对等式数据运算与存储架构构建方法，其特征在于，
每个节点拥有与之对应的一个或多个用户，当前节点支持每个用户对自己导入的数据进行无权限限制的任意操作，和/或对于当前节点的其他用户或其他节点的用户所分享的数据执行与权限相符的处理。


5.如权利要求4所述对等式数据运算与存储架构构建方法，其特征在于，
任意两个用户之间的每次通信，是通过网络专线或者公开网络进行的一对一连接；所述的任意两个用户属于同一个节点或者属于不同的节点；用户身份有安全验证，且用户之间的数据通信内容有安全加密保障。


6.如权利要求1-5中任意一项所述对等式数据运算与存储架构构建方法，其特征在于，
任意多个用户组成一个用户组；所述的任意多个用户，属于同一个节点或属于不同的节点；用户组内任意两个用户之间的每次通信，是通过网络专线或者公开网络进行的一对一连接。


7.如权利要求6所述对等式数据运算与存储架构构建方法，其特征在于，
用户身份由当前节点的管理员建立，或者由拓扑结构内与当前节点有通信连接的其他节点的管理员建立；
各个节点的管理员，具有以下的...

【专利技术属性】
技术研发人员：陈刚，
申请(专利权)人：中云开源数据技术上海有限公司，
类型：发明
国别省市：上海;31