【技术实现步骤摘要】
本专利技术涉及大数据采集存储领域，尤其涉及一种数据采集分析系统。
技术介绍
1、随着城市更新与未来社区数字化的发展的不断推进，需要收集大量关于城市基础设施、建筑物、建筑设计和施工管理等方面的数据来指导决策和规划。同时，未来社区数字化的趋势也在加速发展，数字化基础设施和智能设备的普及将使得社区运营的数据采集和管理成为必要的环节。
2、由于目前的数据采集方法往往面临数据的安全性不够和保密性不强等问题，因此，需要研究出一种安全的数据采集系统，以满足城市更新和未来社区数字化建设的需求。
技术实现思路
1、(一)要解决的技术问题
2、鉴于现有技术的上述缺点、不足，本专利技术提供一种数据采集分析系统，其解决了现有数据中存在着的数据的安全性不够和保密性不强的技术问题。
3、(二)技术方案
4、为了达到上述目的，本专利技术采用的主要技术方案包括：
5、本专利技术实施例提供一种数据采集分析系统，包括数据采集模块、数据存储模块、数据分析模块和数据管理模块，并且数据采集模块、数据存储模块和数据分析模块均与数据管理模块连接；
6、其中，数据管理模块用于获取数据采集分析任务；
7、数据采集模块用于识别与数据采集分析任务对应的任务数据的数据源，并基于任务数据的数据源，确定任务数据的采集过程所使用的对应的加密算法，并通过加密算法进行任务数据的采集；
8、数据管理模块进一步用于将采集到的任务数据存储到数据存储模块中，并
9、在一个可能的实施例中，数据采集模块包括可扩展的多个数据采集子模块，多个数据采集子模块中的部分或者全部的数据采集子模块同时执行任务数据的采集工作。
10、在一个可能的实施例中，任务数据包括静态任务数据和动态任务数据，多个数据采集子模块中的部分数据采集子模块同时执行静态任务数据的采集工作，多个数据采集子模块中除执行静态任务数据的采集工作之外的其他数据采集子模块的部分或者全部的数据采集子模块同时执行动态任务数据的采集工作。
11、在一个可能的实施例中，数据管理模块进一步用于基于数据采集子模块的类型、每个数据采集子模块的采集频率和每个数据采集子模块的带宽，确定每个数据采集子模块的采集配置策略；
12、用于执行任务数据的采集工作的数据采集子模块用于基于采集配置策略确定自身是采集动态任务数据还是静态任务采集数据。
13、在一个可能的实施例中，任务数据包括但不限于传感器数据、网页数据、文件数据和数据库数据。
14、在一个可能的实施例中，数据存储模块包括可扩展的多个数据存储子模块，多个数据存储子模块中的部分或者全部的数据存储子模块同时执行任务数据的存储工作。
15、在一个可能的实施例中，数据管理模块进一步用于将采集到的任务数据切割成多个数据块，并将多个数据块中每个数据块存储到至少两个数据存储子模块中。
16、在一个可能的实施例中，数据管理模块具体用于依据如下公式确定除存储当前数据块的数据存储子模块之外的其他数据存储子模块中每个数据存储子模块的备份系数，并基于备份系数从其他数据存储子模块中选择出用于存储当前数据块的其他数据存储子模块；
17、x＝r*6+m*1.8-t*3；
18、其中，x表示数据存储子模块的备份系数；r表示数据存储子模块的存储容量；m表示数据存储子模块的带宽；t表示数据存储子模块的响应延迟。
19、(三)有益效果
20、本专利技术的有益效果是：
21、本申请提供了一种数据采集分析系统，通过数据管理模块获取数据采集分析任务，并通过数据采集模块识别与数据采集分析任务对应的任务数据的数据源，并基于任务数据的数据源，确定任务数据的采集过程所使用的对应的加密算法，并通过加密算法进行任务数据的采集，以及通过数据管理模块将采集到的任务数据存储到数据存储模块中，并控制数据分析模块从数据存储模块中读取任务数据，并进行任务数据的分析，从而相比于现有的数据采集分析方法，其能够确保数据的安全性，防止数据泄露和攻击。
22、为使本申请实施例所要实现的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种数据采集分析系统，其特征在于，包括数据采集模块、数据存储模块、数据分析模块和数据管理模块，并且所述数据采集模块、所述数据存储模块和所述数据分析模块均与所述数据管理模块连接；
2.根据权利要求1所述的数据采集分析系统，其特征在于，所述数据采集模块包括可扩展的多个数据采集子模块，所述多个数据采集子模块中的部分或者全部的数据采集子模块同时执行所述任务数据的采集工作。
3.根据权利要求2所述的数据采集分析系统，其特征在于，所述任务数据包括静态任务数据和动态任务数据，所述多个数据采集子模块中的部分数据采集子模块同时执行所述静态任务数据的采集工作，所述多个数据采集子模块中除执行所述静态任务数据的采集工作之外的其他数据采集子模块的部分或者全部的数据采集子模块同时执行所述动态任务数据的采集工作。
4.根据权利要求3所述的数据采集分析系统，其特征在于，所述数据管理模块进一步用于基于所述数据采集子模块的类型、每个所述数据采集子模块的采集频率和每个所述数据采集子模块的带宽，确定每个所述数据采集子模块的采集配置策略；
5.根据权利要求1或者2所述的
6.根据权利要求1所述的数据采集分析系统，其特征在于，所述数据存储模块包括可扩展的多个数据存储子模块，所述多个数据存储子模块中的部分或者全部的数据存储子模块同时执行所述任务数据的存储工作。
7.根据权利要求6所述的数据采集分析系统，其特征在于，所述数据管理模块进一步用于将采集到的所述任务数据切割成多个数据块，并将所述多个数据块中每个数据块存储到至少两个数据存储子模块中。
8.根据权利要求5所述的数据采集分析系统，其特征在于，所述数据管理模块具体用于依据如下公式确定除存储当前数据块的数据存储子模块之外的其他数据存储子模块中每个数据存储子模块的备份系数，并基于所述备份系数从所述其他数据存储子模块中选择出用于存储所述当前数据块的其他数据存储子模块；
...【技术特征摘要】
1.一种数据采集分析系统，其特征在于，包括数据采集模块、数据存储模块、数据分析模块和数据管理模块，并且所述数据采集模块、所述数据存储模块和所述数据分析模块均与所述数据管理模块连接；
2.根据权利要求1所述的数据采集分析系统，其特征在于，所述数据采集模块包括可扩展的多个数据采集子模块，所述多个数据采集子模块中的部分或者全部的数据采集子模块同时执行所述任务数据的采集工作。
3.根据权利要求2所述的数据采集分析系统，其特征在于，所述任务数据包括静态任务数据和动态任务数据，所述多个数据采集子模块中的部分数据采集子模块同时执行所述静态任务数据的采集工作，所述多个数据采集子模块中除执行所述静态任务数据的采集工作之外的其他数据采集子模块的部分或者全部的数据采集子模块同时执行所述动态任务数据的采集工作。
4.根据权利要求3所述的数据采集分析系统，其特征在于，所述数据管理模块进一步用于基于所述数据采集子模块的类型、每个所述数据采集子模块的采集频率和每个所述数据...
【专利技术属性】
技术研发人员：寇智聪，孔德立，宋洪峰，李德仿，张维，
申请(专利权)人：中国铁建股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。