数据采集系统、存储系统以及交换方法技术方案

本发明专利技术提供了一种数据采集系统、存储系统以及交换方法，其中，所述数据采集系统包括：配置多个采集器与多个客户端一一连接，以及配置一个采集控制器；在所述采集器中配置一个分类模型、分发控制单元、任务调度分析单元以及多个缓存区；在本申请中，通过在采集器内设置分类模型，在采集的同时将数据进行分类整理，同时根据每一个采集器获得的不同类别数据占用缓存内存的大小来对应的匹配传输信道，将同一类别的数据同步传输到数据交换器中，由于所有的数据都是按照设定周期进行采集的，因此在采集周期完成后，在下一周期没有开始之前，可以将数据初步整理的工作分配在每一个采集器中，节约了数据整理的时间。节约了数据整理的时间。节约了数据整理的时间。

【技术实现步骤摘要】
数据采集系统、存储系统以及交换方法


[0001]本申请属于数据采集、存储以及交换
，具体的涉及一种数据采集系统、存储系统以及交换方法。

技术介绍

[0002]目前企业级数据采集一般都是在客户端或者应用端配置采集软件，以获取客户端和应用端的运行数据、运行日志、监控视频或者采集到的图像数据等。采集到数据后分发至服务器进行数据处理、整理、分析以及清洗等，这种方式造成服务器后端处理任务量大，占用服务器资源；且对于企业级大数据的安全，传统的技术手段基本采用的数据加密、安全隔离以及通过构建防火墙来保证数据安全，但是，只要数据要在网络上进行传输和对应的交换，就有可能通过互联网的安全漏洞、病毒软件等攻入到大数据的数据库，导致数据被窃取。

技术实现思路

[0003]有鉴于此，本专利技术的主要目的在于提供一种数据采集系统、存储系统以及交换方法。
[0004]本专利技术采用的技术方案如下：数据采集系统，包括：配置多个采集器与多个客户端一一连接，所述采集器用于按照设定周期从所述客户端获取资源数据；以及配置一个采集控制器，所述采集控制器被配置为通过控制所述采集器按照设定方式将采集器获取的资源数据发送至数据交换器；在所述采集器中配置一个分类模型、分发控制单元、任务调度分析单元以及多个缓存区；所述分类模型用于接收到客户端的资源数据后，将所述资源数据根据资源数据的基础属性进行分类，并将同一类别的资源数据划分成多个独立的数据单元；所述缓存区连接所述分类模型，用于将同一类别的所述数据单元存储在同一个所述缓存区下；所述任务调度分析单元连接所述缓存区和所述分发控制单元；当采集器完成一个周期的采集任务后，向所述采集控制器发送反馈指令，基于，所述反馈指令所述采集控制器向所述分发控制单元发送分发控制指令；基于所述分发控制指令，所述分发控制单元控制任务调度分析单元来获取每一采集器下不同缓存区中数据单元占用对应缓存区的基础内存，并将每一采集器下不同数据单元占用对应缓存区的基础内存发送至所述采集控制器；所述采集控制器按照相同类别的数据单元在每一采集器下占用对应缓存区的基础内存的大小来分配采集器与数据交换器之间的网络传输资源，从而实现多个采集器与数据交换器之间同一类别数据单元的同步传输。
[0005]进一步地，所述网络传输资源按照如下的方法进行分配：将多个采集器、数据交换器以及采集控制器进行组网；获取在采集器中每一类别的数据单元占用对应缓存区的基础内存；基于在不同的采集器下每一类别的数据单元占用对应缓存区的基础内存的大小来驱动所述采集控制器对应匹配每一采集器和数据交换器之间从传输信道以及传输信道的带宽大小。
[0006]本专利技术还提供了一种数据存储系统，包含上述所述的数据采集系统，其中包括；数据交换器以及存储服务器；所述存储服务器被配置成具有多个存储模块，配置每一存储模块的存储路径并形成存储配置文件；所述数据交换器具有：任务管理模块、分析模型、分割模块、验证模块、数据加载规则以及多个交换存储区；所述分析模型被配置成多个分析单元和分析任务管理器，通过分析任务管理器调度分析任务以及基于分析任务的进行来配置数据单元在分析模型中匹配的训练资源，使得每一所述分析单元在训练资源的支持下对数据单元进行分析，以获取数据单元所对应的多个索引实体，由所述索引实体构成数据单元的索引表；所述分割模块用于将每一数据单元分割为多个数据区块，记录每一数据区块所对应的区块码，并将所述区块码对应地写在所述索引表的二级目类下；所述任务管理模块用于获取所述存储配置文件，基于所述存储配置文件，根据存储数据任务的进行来构建至少一个数据存储通道以将数据交换器和对应的存储模块连通，将所述数据区块按照不同的数据存储通道存储到对应的存储模块中，并将对应的存储路径写入对应的索引表的三级目类下；所述加载规则用于当数据交换器接收客户端的数据交换请求指令时，先通过验证模块完成初始验证后，验证完毕后自动激活任务管理模块，所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的数据单元和所述数据单元对应的区块码以及区块码对应的存储路径；任务管理模块依次将每一数据单元对应的区块码同步给验证模块，所述验证模块基于同一数据单元对应的区块码形成一个验证规则，所述验证规则为：当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前，所述数据交换器在验证规则下向客户端发送接入验证；验证通过后，对应的数据存储通道被开启，数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区，待同一数据单元下的所有数据区块全部存放至交换存储区后，所述数据交换器再将数据区块以及对应的区块码发送至客户端。
[0007]进一步地，所述分析模型通过如下的方法进行建立：获取大量的数据单元进行人工专家进行标记；标记后按照数据单元的基本属性依次输入至神经网络单元进行迭代训练；将多个神经网络单元进行组合，得到神经网络模型，即所述分析模型。
[0008]进一步地，每一所述数据单元下设置的区块码具有相同的组合结构，所述组合结构至少包含表示数据单元的字段、每一数据区块字段和顺序字段以及数据区块之间相互融合的组合字段。
[0009]进一步地，所述数据交换器在验证规则下向客户端发送接入验证，具体包括：在数据交换器中构建一个监听模块，所述监听模块用于监测客户端与数据交换器之间的接入验证响应；通过监听客户端与数据交换器之间的验证响应频次来控制验证规则，即当验证响应频次增大时，则控制验证规则对应地增大数据交换器与客户端之间的接入验证，当验证响应频次超过设定阈值时，监听模块形成一个断开指令，数据交换器基于所述断开指令断开数据交换器与客户端之间的连接。
[0010]进一步地，所述数据交换器与存储服务器之间通过局域网进行连接。
[0011]进一步地，在所述数据交换器中设置一个融合检测模块，所述融合检测模块用于对交换存储区中数据区块所对应的区块码进行融合验证，当融合检测模块检测到多个区块码构成一个完整的数据单元后，向数据交换器发送一个交换确认指令，数据交换器基于交换确认指令将交换存储区内的多个数据区块以及对应的区块码发送至客户端。
[0012]进一步地，所述任务管理模块具有：数据存储通道构建模块，用于根据存储数据任务的进行对应地加载存储路径以在数据交换器和存储模块之间构建数据存储通道；存储控制模块，用于将得到的所述数据区块按照不同的数据存储通道存储到对应的存储模块中；或，通过所述数据存储通道从存储模块中对应的将数据区块发送至交换存储区；以及同步模块，用于与验证模块进行数据同步。
[0013]数据交换方法，包括上述所述的数据存储系统，其中，所述方法包括如下步骤：客户端向数据交换器发送数据交换请求，所述数据交换器接收到数据交换请求后通过验证模块向客户端发送初始验证；验证通过后对所述数据交换请求进行解析，以获取数据交换请求中所包含的请求数据内容；激活任务管理模块，所述任务管理模块基于所述请求数据内容在索引表中进行对应的检索，以获取对应的数据单元和所述数据单元对应的区块码以及区块码对应的存储路径；同时，所述任务管本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.数据采集系统，其特征在于，包括：配置多个采集器与多个客户端一一连接，所述采集器用于按照设定周期从所述客户端获取资源数据；以及配置一个采集控制器，所述采集控制器被配置为通过控制所述采集器按照设定方式将采集器获取的资源数据发送至数据交换器；在所述采集器中配置一个分类模型、分发控制单元、任务调度分析单元以及多个缓存区；所述分类模型用于接收到客户端的资源数据后，将所述资源数据根据资源数据的基础属性进行分类，并将同一类别的资源数据划分成多个独立的数据单元；所述缓存区连接所述分类模型，用于将同一类别的所述数据单元存储在同一个所述缓存区下；所述任务调度分析单元连接所述缓存区和所述分发控制单元；当采集器完成一个周期的采集任务后，向所述采集控制器发送反馈指令，基于所述反馈指令，所述采集控制器向所述分发控制单元发送分发控制指令；基于所述分发控制指令，所述分发控制单元控制任务调度分析单元来获取每一采集器下不同缓存区中数据单元占用对应缓存区的基础内存，并将每一采集器下不同数据单元占用对应缓存区的基础内存发送至所述采集控制器；所述采集控制器按照相同类别的数据单元在每一采集器下占用对应缓存区的基础内存的大小来分配采集器与数据交换器之间的网络传输资源，从而实现多个采集器与数据交换器之间同一类别数据单元的同步传输。2.根据权利要求1所述的数据采集系统，其特征在于，所述网络传输资源按照如下的方法进行分配：将多个采集器、数据交换器以及采集控制器进行组网；获取在采集器中每一类别的数据单元占用对应缓存区的基础内存；基于在不同的采集器下每一类别的数据单元占用对应缓存区的基础内存的大小来驱动所述采集控制器对应匹配每一采集器和数据交换器之间从传输信道以及传输信道的带宽大小。3.数据存储系统，其特征在于，包含权利要求1和2任意一项所述的数据采集系统，其中包括；数据交换器以及存储服务器；所述存储服务器被配置成具有多个存储模块，配置每一存储模块的存储路径并形成存储配置文件；所述数据交换器具有：任务管理模块、分析模型、分割模块、验证模块、数据加载规则以及多个交换存储区；所述分析模型被配置成多个分析单元和分析任务管理器，通过分析任务管理器调度分析任务以及基于分析任务的进行来配置数据单元在分析模型中匹配的训练资源，使得每一所述分析单元在训练资源的支持下对数据单元进行分析，以获取数据单元所对应的多个索引实体，由所述索引实体构成数据单元的索引表；所述分割模块用于将每一数据单元分割为多个数据区块，记录每一数据区块所对应的区块码，并将所述区块码对应地写在所述索引表的二级目类下；
所述任务管理模块用于获取所述存储配置文件，基于所述存储配置文件，根据存储数据任务的进行来构建至少一个数据存储通道以将数据交换器和对应的存储模块连通，将所述数据区块按照不同的数据存储通道存储到对应的存储模块中，并将对应的存储路径写入对应的索引表的三级目类下；所述加载规则用于当数据交换器接收客户端的数据交换请求指令时，先通过验证模块完成初始验证后，验证完毕后自动激活任务管理模块，所述任务管理模块按照请求指令所包含的请求数据内容在索引表中查找对应的数据单元和所述数据单元对应的区块码以及区块码对应的存储路径；任务管理模块依次将每一数据单元对应的区块码同步给验证模块，所述验证模块基于同一数据单元对应的区块码形成一个验证规则，所述验证规则为：当任务管理模块以每一区块码对应的存储路径来启用数据存储通道之前，所述数据交换器在验证规则下向客户端发送接入验证；验证通过后，对应的数据存储通道被开启，数据交换器通过数据存储通道依次从对应的存储模块获取数据区块存放至交换存储区，待同一数据单元下...

【专利技术属性】
技术研发人员：黄光宇，邢淳怡，贾军平，孙林新，
申请(专利权)人：长城数字能源西安科技有限公司，
类型：发明
国别省市：