一种基于容器技术的数据采集和处理系统技术方案

本发明专利技术公开了一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台，其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块。本基于容器技术的数据采集和处理系统，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程。整个系统数据处理有条理，处理效率高。

【技术实现步骤摘要】

本专利技术涉及容器
，具体为一种基于容器技术的数据采集和处理系统。
技术介绍
Linux容器作为一类操作系统层面的虚拟化技术成果，旨在立足于单一Linux主机交付多套隔离性Linux环境。与虚拟机不同，容器系统并不需要运行特定的访客操作系统。相反，容器共享同一套主机操作系统内核，同时利用访客操作系统的系统库以交付必要的系统功能。由于无需借助于专门的操作系统，因此容器在启动速度上要远远优于虚拟机，容器能够利用Namespaces、Apparmor、SELinux配置、chroot以及CGroups等Linux内核功能，从而交付一套类似于虚拟机的隔离性环境。Linux安全模块能够确保来自容器的主机设备与内核访问行为受到妥善管理，从而避免入侵活动的发生。除此之外，容器还能够通过其主机操作系统运行多种不同Linux发行版——只要各类操作系统拥有同样的底层CPU架构要求。总体而言，容器技术提供了一种立足于各类Linux发行版的容器镜像创建方式，同时利用API进行容器生命周期管理，通过客户端工具实现与该API的交互，进而提供快照以及不同容器主机之间容器实例迁移等能力，在Linux容器技术持续发展的情况下，容器技术由于系统消耗开销小，应用隔离性好，调度方便，部署简易，更新简单等特点，正在得到越来越大规模的使用。在传统的数据采集和分析系统中，由于数据分析方法的不确定性，存在随时可能变更和对计算依赖大的问题，因此通常做法是进行数据采集后，先进行存储，然后再进行计算分析。在进行计算分析时，对相同数据也可能存在多种不同的分析计算方法，得出不同的结果或进行不同的后续操作，同时由于方法的多变，随时可能更新计算方法或添加更多新的计算方法，现有的基于容器技术的数据采集和处理系统并不能很好的应对这些变化，造成数据处理缓慢。
技术实现思路
本专利技术要解决的技术问题是克服现有的缺陷，提供一种基于容器技术的数据采集和处理系统，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程，数据处理效率高，可以有效解决
技术介绍
中的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台，其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器。作为本专利技术的一种优选技术方案，用户需要新增数据处理应用时，容器管理调度平台启动新应用，并更新应用记录，用户需要删除数据处理应用时，容器管理调度平台删除应用，并更新应用记录，用户需要更新数据处理应用时，容器管理调度平台启动新应用，删除旧应用，并更新应用记录。作为本专利技术的一种优选技术方案，数据传递模块不断读取容器管理调度平台的应用记录，在数据无更新的情况下，等待一段时间后再次进行读取，在有数据更新的情况下，根据更新，开启新的数据传输通道到新的应用上。作为本专利技术的一种优选技术方案，所述Linux容器不少于三个，数据处理模块包装在Linux容器内，称其为数据处理应用。作为本专利技术的一种优选技术方案，数据传递模块包括数据压缩处理器，所述数据压缩处理器由信号变换模块、A/D转换模块、高速缓存模块、数据压缩模块、数据分包模块和数据存储模块组成，其中，信号变换模块，对数据采集模块采集的数据信号进行抬升和限幅；A/D转换模块，与所述信号变换模块连接，把采集到的数据信号转换成数字量信号；高速缓存模块，与所述A/D转换模块连接，对完成A/D转换的数据进行高速缓存；数据压缩模块，与所述高速缓存模块连接，对高速缓存模块中的数据进行压缩处理；数据分包模块，与所述数据压缩模块连接，将压缩后的数据进行分包处理；数据存储模块，与所述数据分包模块连接，并且对数据信号存储。与现有技术相比，本专利技术的有益效果是：本基于容器技术的数据采集和处理系统，第一，数据处理模块可以进行接收数据的实时处理，可以将数据处理模块与数据采集模块部署在一起；第二，可以通过添加，删除，更新容器，来随意的增加，移除和更新数据处理模块，实现了多种数据处理方式的同时部署，同时在数据处理方式变更的情况下，可以很容易的进行更新；第三，各个数据处理模块隔离，互相不会干扰和影响，每个模块可以专注与自身的处理过程。整个系统数据处理有条理，处理效率高。附图说明图1为本专利技术框架结构示意图；图2为本专利技术用户控制和数据传递流程图；图3为本专利技术数据传递模块示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1-3，本专利技术提供一种技术方案：一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台，其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块包括数据压缩处理器，所述数据压缩处理器由信号变换模块、A/D转换模块、高速缓存模块、数据压缩模块、数据分包模块和数据存储模块组成，其中，信号变换模块，对数据采集模块采集的数据信号进行抬升和限幅；A/D转换模块，与所述信号变换模块连接，把采集到的数据信号转换成数字量信号；高速缓存模块，与所述A/D转换模块连接，对完成A/D转换的数据进行高速缓存；数据压缩模块，与所述高速缓存模块连接，对高速缓存模块中的数据进行压缩处理；数据分包模块，与所述数据压缩模块连接，将压缩后的数据进行分包处理；数据存储模块，与所述数据分包模块连接，并且对数据信号存储，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器不少于三个，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器，系统由数据采集模块，数据传递模块，运行与Linux容器中的数据处理模块和容器管理调度平台组成，数据采集模块负责采集数据，并将采集到的数据发送给数据传递模块，通过将传统的数据处理模块包装在Linux容器内，称其为数据处理应用，数据传递模块拿到数据后，通过读取容器管理调度平台内的记录，发现有若干数据处理应用，则将数据分别发送给数据处理应用，进行数据处理，不同的数据处理应用，可以进行不同的数据处理操作，例如存储，分析，告警，数据存储应用受到容器管理调度平台的调度和控制，通过容器管理调度平台，用户可以随意的增加，运行，停止，本文档来自技高网...

【技术保护点】
一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台， 其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器。

【技术特征摘要】
1.一种基于容器技术的数据采集和处理系统，包括数据采集模块、数据传递模块、包装有数据处理模块的Linux容器、容器管理调度平台，其中，数据采集模块为传统数据采集系统中的采集模块，数据采集模块将采集到的数据发送给数据传递模块，数据传递模块负责数据的分发，通过发现模块从容器管理调度平台上获取到Linux容器信息，然后将数据分别分发给每个可用的Linux容器，Linux容器负责接收数据，并处理数据和后续操作，容器管理调度平台负责启动、停止、更新等调度Linux容器。2.根据权利要求1所述的一种基于容器技术的数据采集和处理系统，其特征在于：用户需要新增数据处理应用时，容器管理调度平台启动新应用，并更新应用记录，用户需要删除数据处理应用时，容器管理调度平台删除应用，并更新应用记录，用户需要更新数据处理应用时，容器管理调度平台启动新应用，删除旧应用，并更新应用记录。3.根据权利要求1所述的一种基于容器技术的数据采集和处理系统，其特征在于：数据传递模块不断读取容器管理调度平台的应用记录，在数据无更新的...

【专利技术属性】
技术研发人员：黄文俊，
申请(专利权)人：深圳市云舒网络技术有限公司，
类型：发明
国别省市：广东;44