一种人工智能的大数据处理与管理系统技术方案

本发明专利技术公开了一种人工智能的大数据处理与管理系统，数据采集模块，属于大数据处理领域，包括数据采集模块、预处理分配模块以及数据分析模块；通过对多个数据源进行数据采集，并对数据采集过程进行监控获取日志和数据采集时间；通过对接收的采集数据利用训练好的随机森林模型实施预处理以及隐私判断，并根据判断结果中的标签来将元数据上传至私有链或者公有链；通过构建K‑Means聚类算法模型对原始数据集进行分组，计算每个特征向量和簇中心之间的相似距离，并评估聚类结果与真实分类的一致性；通过对数据传输过程进行分析，获取数据传输干扰比和数据传输速率，评估数据传输的效果。

【技术实现步骤摘要】

本专利技术涉及大数据处理领域，具体涉及一种人工智能的大数据处理与管理系统。

技术介绍

1、人工智能（ai）技术能够增强大数据处理分析的能力，对于企业而言，利用ai技术使企业能够从大数据中获得更深入的洞察，做出更智能的决策，并提高竞争力，实现商业数据智能化。

2、现有的大数据处理及管理系统在处理数据时，大多数未能对数据收集处理过程进行优化，使得数据的质量得到保障以及保护敏感数据不外泄；没有进一步评估聚类结果和真实结果的一致性从而未能提高聚类效果的准确性和鲁棒性，导致无法更精准挖掘数据中的潜在价值；也没有对数据传输过程进行分析从而无法提高系统整体效率和响应速度。

技术实现思路

1、本专利技术的目的是提供一种人工智能的大数据处理与管理系统，以解决
技术介绍
中的不足。

2、本专利技术的目的可以通过以下技术方案实现：一种人工智能的大数据处理与管理系统，包括数据采集模块，用于从多个数据源中采集数据，对数据采集过程进行监控并记录日志和数据采集时间；

3、预处理分配模块，通过对接收的采集数据本文档来自技高网...

【技术保护点】

1.一种人工智能的大数据处理与管理系统，包括数据采集模块，用于从多个数据源中采集数据，对数据采集过程进行监控并记录日志和数据采集时间；

2.根据权利要求1所述的一种人工智能的大数据处理与管理系统，其特征在于，数据采集模块，用于同时接入多种类型的数据源，确保从不同渠道获取所需数据内容，并将采集到的数据整合成统一的格式，以便于后续的处理和分析；其中，多个数据源包括但不限于传感器、数据库、API接口。

3.根据权利要求2所述的一种人工智能的大数据处理与管理系统，其特征在于，预处理分配模块，通过对接收的采集数据实施预处理，将采集的数据按采集时间顺序排列组合，对采集的数据进...

【技术特征摘要】

1.一种人工智能的大数据处理与管理系统，包括数据采集模块，用于从多个数据源中采集数据，对数据采集过程进行监控并记录日志和数据采集时间；

2.根据权利要求1所述的一种人工智能的大数据处理与管理系统，其特征在于，数据采集模块，用于同时接入多种类型的数据源，确保从不同渠道获取所需数据内容，并将采集到的数据整合成统一的格式，以便于后续的处理和分析；其中，多个数据源包括但不限于传感器、数据库、api接口。

3.根据权利要求2所述的一种人工智能的大数据处理与管理系统，其特征在于，预处理分配模块，通过对接收的采集数据实施预处理，将采集的数据按采集时间顺序排列组合，对采集的数据进行数据清洗，利用训练好的随机森林模型，对异常数据进行识别和剔除；

4.根据权利要求3所述的一种人工智能的大数据处理与管理系统，其特征在于，实施隐私判断时，获取元数据的数据内容并与预设的敏感信息进行匹配，若匹配成功，则将该数据内容所对应的元数据标记上隐私标签；若匹配失败，则将该数据内容所对应的元...

【专利技术属性】
技术研发人员：马磊，张凯，
申请(专利权)人：东台奥凯新能源发展有限公司，
类型：发明
国别省市：