【技术实现步骤摘要】
本专利技术涉及数据开发领域，尤其是一种去中心化的数据开发装置及其方法。
技术介绍
1、在现代软件开发过程中，数据交换和协作变得越来越重要。然而，传统的数据开发方法依赖于中心化的管理团队来处理数据交换和协作。一种常见的方法是基于已有的数据分析处理框架扩展新的插件，或者依赖中心化的管理团队来寻求技术支持或实现需求。然而，这种方式存在以下缺点：
2、1、中心化的管理团队可能成为瓶颈，中心化的管理团队通常是一个有限的资源，如果过多的开发过程依赖于这个团队，他们可能会面临过多的任务和需求，导致工作负荷过重。
3、2、缺乏灵活性：中心化的管理团队在处理数据交换和协作时可能需要遵循一定的规范和流程，限制了开发人员的灵活性和自主性，可能导致开发过程的延迟和冗余。
4、3、沟通和协调困难：中心化的管理团队在处理数据交换和协作时需要与其他团队或开发者进行沟通和协调。如果沟通渠道不畅或协调工作不顺畅，可能会导致信息传递的延迟和误解，进而影响整个开发过程的效率。
5、4、依赖单一技术栈：基于已有框架扩展新插件，通常受限于特定的开发语言，导致跨语言的数据交换和协作变得困难。例如，如果基于java语言的框架，就很难在python和c++之间进行跨语言的调用和数据交互。这意味着用户必须使用特定框架支持的语言来实现功能，无法灵活地满足用户的需求。
技术实现思路
1、为解决现有技术存在的上述问题，本专利技术提供一种去中心化的数据开发装置及其方法，使开发人员能够自主扩展
2、为实现上述目的，本专利技术采用下述技术方案：
3、在本专利技术一实施例中，提出了一种去中心化的数据开发装置，该装置包括：
4、数据源连接器组件，用于连接到各种数据源并读取数据，支持同时连接多种数据源；将读取到的数据通过标准输出传输给数据组件或数据存储连接器组件；
5、数据组件，用于通过标准输入接收数据，并对接收到的数据进行加工；将经过加工后的数据通过标准输出传输给数据组件或数据存储连接器组件；
6、数据存储连接器组件，用于通过标准输入接收数据，并将接收到的数据写入各种类型的数据存储连接器。
7、进一步地，若各个组件的容器分布在多台物理主机，通过如下方法实现数据的交互：
8、在上游组件，通过linux操作系统创建标准错误命名管道和标准输出命名管道；
9、将读取或者加工后的数据发送至标准输出命名管道，将错误的日志信息发送至标准错误命名管道；
10、将标准输出命名管道的数据重定向至下游组件的监听端口；
11、将标准错误命名管道的数据重定向至中心节点；
12、下游组件启动监听端口，接收数据，生成标准输出，传递给下游组件的标准输入命名管道；
13、下游组件接收下游组件的标准输入命名管道的数据，作为数据加工或者数据存储的标准输入；在下游组件进行数据加工或者存储之后，生成当前组件的标准输出和标准错误，继续传递给下游组件。
14、进一步地，将对数据进行加工的工具和框架作为数据组件，利用插件机制集成到数据开发的运行时流程中。
15、进一步地，将每个组件都放在一个docker镜像中，该镜像包含程序运行所需要的所有依赖；多个镜像组合实现一个完整的数据开发的运行时流程。
16、进一步地，数据开发的运行时流程通过一个中心节点进行管理和调度，该中心节点负责数据开发的运行时流程的创建、分区分配、调度以及监控。
17、在本专利技术一实施例中，还提出了一种去中心化的数据开发方法，该方法包括：
18、数据源连接器组件连接到各种数据源并读取数据，支持同时连接多种数据源；
19、将读取到的数据通过标准输出传输给数据组件或数据存储连接器组件；
20、数据组件通过标准输入接收数据，并对接收到的数据进行加工；
21、将经过加工后的数据通过标准输出传输给数据组件或数据存储连接器组件；
22、数据存储连接器组件通过标准输入接收数据，并将接收到的数据写入各种类型的数据存储连接器。
23、进一步地，若各个组件的容器分布在多台物理主机，通过如下方法实现数据的交互：
24、在上游组件，通过linux操作系统创建标准错误命名管道和标准输出命名管道；
25、将读取或者加工后的数据发送至标准输出命名管道，将错误的日志信息发送至标准错误命名管道；
26、将标准输出命名管道的数据重定向至下游组件的监听端口；
27、将标准错误命名管道的数据重定向至中心节点；
28、下游组件启动监听端口，接收数据，生成标准输出，传递给下游组件的标准输入命名管道；
29、下游组件接收下游组件的标准输入命名管道的数据，作为数据加工或者数据存储的标准输入；在下游组件进行数据加工或者存储之后，生成当前组件的标准输出和标准错误，继续传递给下游组件。
30、进一步地，将对数据进行加工的工具和框架作为数据组件，利用插件机制集成到数据开发的运行时流程中。
31、进一步地，将每个组件都放在一个docker镜像中，该镜像包含程序运行所需要的所有依赖；多个镜像组合实现一个完整的数据开发的运行时流程。
32、进一步地，数据开发的运行时流程通过一个中心节点进行管理和调度，该中心节点负责数据开发的运行时流程的创建、分区分配、调度以及监控。
33、在本专利技术一实施例中，还提出了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现前述去中心化的数据开发方法。
34、在本专利技术一实施例中，还提出了一种计算机可读存储介质，计算机可读存储介质存储有执行去中心化的数据开发方法的计算机程序。
35、有益效果：
36、1、本专利技术数据开发不受开发语言的限制，可以使用不同的编程语言来实现数据开发的需求。
37、2、通过本专利技术用户可自由扩展自己的数据处理需求，而不受中心化的管理团队的限制和阻止。
38、3、本专利技术可复用已有的成熟工具或者框架，将其无缝集成到数据开发的运行时流程中，大幅提升研发效率，形成生态化的开发模式。
本文档来自技高网...【技术保护点】
1.一种去中心化的数据开发装置，其特征在于，该装置包括：
2.根据权利要求1所述的去中心化的数据开发装置，其特征在于，若各个组件的容器分布在多台物理主机，通过如下方法实现数据的交互：
3.根据权利要求1所述的去中心化的数据开发装置，其特征在于，将对数据进行加工的工具和框架作为数据组件，利用插件机制集成到数据开发的运行时流程中。
4.根据权利要求1所述的去中心化的数据开发装置，其特征在于，将每个组件都放在一个docker镜像中，该镜像包含程序运行所需要的所有依赖；多个镜像组合实现一个完整的数据开发的运行时流程。
5.根据权利要求4所述的去中心化的数据开发装置，其特征在于，所述数据开发的运行时流程通过一个中心节点进行管理和调度，该中心节点负责数据开发的运行时流程的创建、分区分配、调度以及监控。
6.一种去中心化的数据开发方法，其特征在于，该方法包括：
7.根据权利要求6所述的去中心化的数据开发方法，其特征在于，若各个组件的容器分布在多台物理主机，通过如下方法实现数据的交互：
8.根据权利要求6所述的去
9.根据权利要求6所述的去中心化的数据开发方法，其特征在于，将每个组件都放在一个docker镜像中，该镜像包含程序运行所需要的所有依赖；多个镜像组合实现一个完整的数据开发的运行时流程。
10.根据权利要求9所述的去中心化的数据开发方法，其特征在于，所述数据开发的运行时流程通过一个中心节点进行管理和调度，该中心节点负责数据开发的运行时流程的创建、分区分配、调度以及监控。
11.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求6-10任一项所述方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有执行权利要求6-10任一项所述方法的计算机程序。
...【技术特征摘要】
1.一种去中心化的数据开发装置，其特征在于，该装置包括：
2.根据权利要求1所述的去中心化的数据开发装置，其特征在于，若各个组件的容器分布在多台物理主机，通过如下方法实现数据的交互：
3.根据权利要求1所述的去中心化的数据开发装置，其特征在于，将对数据进行加工的工具和框架作为数据组件，利用插件机制集成到数据开发的运行时流程中。
4.根据权利要求1所述的去中心化的数据开发装置，其特征在于，将每个组件都放在一个docker镜像中，该镜像包含程序运行所需要的所有依赖；多个镜像组合实现一个完整的数据开发的运行时流程。
5.根据权利要求4所述的去中心化的数据开发装置，其特征在于，所述数据开发的运行时流程通过一个中心节点进行管理和调度，该中心节点负责数据开发的运行时流程的创建、分区分配、调度以及监控。
6.一种去中心化的数据开发方法，其特征在于，该方法包括：
7.根据权利要求6所述的去中心化的数据开发方法，其特征在于，若各个组件的容器分布...
【专利技术属性】
技术研发人员：周朝卫，
申请(专利权)人：中盈优创资讯科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。