一种基于计算机大数据的平台架构制造技术

技术编号:41786812 阅读:23 留言:0更新日期:2024-06-24 20:14
本发明专利技术公开了一种基于计算机大数据的平台架构,涉及计算机大数据技术领域;用于解决数据分析不准确的问题,包括业务数据存储模块、数据处理模块、过程分析模块、稳定状态确定模块以及管理模块;本发明专利技术通过对业务数据获取并进行分片存储,将分片后的业务数据存储在不同的节点或存储介质上,提高了数据之间的可读性,然后,确定选择的特征并使用机器学习进行模型训练,对模型训练过程进行分析,获取训练分析过程中产生的训练状态信息,对训练状态信息中数据倾斜信息、维度影响信息进行分析,更具分析结果从而确定模型训练过程中的稳定情况,根据不同情况使用不同的策略进行管理,使得模型选择更准确、快速,从而提高了数据分析的效率。

【技术实现步骤摘要】

本专利技术涉及计算机大数据,更具体地说,本专利技术涉及一种基于计算机大数据的平台架构


技术介绍

1、计算机大数据是指在计算机系统中处理和管理的大规模数据集合。这些数据通常包含海量的结构化、半结构化和非结构化数据,来自于不同行业或者的数据源头,例如传感器数据、计算机日志文件、社交媒体数据、文本、图像、视频等等。

2、现有技术存在的不足:

3、在进行大规模数据处理时,由于数据结构复杂且数据量巨大,各种数据之间存在着不同的行业背景,由于专业之间的差异,不同行业人员与计算机从业人员之间往往存在技术屏障,其他行业数据人员使用专业计算机技术进行数据分析时操作困难,计算机专业人员同样难以理解其他行业的专业数据,不能全面了解数据特性,即缺少对不同行业数据的智能分析,快速选择出合适模型的手段,进而造成数据分析和处理的效率降低,甚至影响到数据分析结果的准确性和可信度。


技术实现思路

1、为了克服现有技术的上述缺陷,本专利技术的实施例提供一种基于计算机大数据的平台架构,先通过对业务数据获取并进行分片存储,本文档来自技高网...

【技术保护点】

1.一种基于计算机大数据的平台架构,其特征在于:包括业务数据存储模块、数据处理模块、过程分析模块、稳定状态确定模块以及管理模块,模块之间通过信号连接;

2.根据权利要求1所述的一种基于计算机大数据的平台架构,其特征在于:用于平台对业务数据的获取,并对业务数据进行分片存储,将分片后的业务数据存储在不同的节点或存储介质上,包括以下步骤:

3.根据权利要求2所述的一种基于计算机大数据的平台架构,其特征在于:对用户所上传或所链接的指定数据集进行分片存储后,进行数据的预处理以及特征工程处理,确定选择的特征并使用机器学习进行模型训练,具体步骤包括:

4.根据权利要...

【技术特征摘要】

1.一种基于计算机大数据的平台架构,其特征在于:包括业务数据存储模块、数据处理模块、过程分析模块、稳定状态确定模块以及管理模块,模块之间通过信号连接;

2.根据权利要求1所述的一种基于计算机大数据的平台架构,其特征在于:用于平台对业务数据的获取,并对业务数据进行分片存储,将分片后的业务数据存储在不同的节点或存储介质上,包括以下步骤:

3.根据权利要求2所述的一种基于计算机大数据的平台架构,其特征在于:对用户所上传或所链接的指定数据集进行分片存储后,进行数据的预处理以及特征工程处理,确定选择的特征并使用机器学习进行模型训练,具体步...

【专利技术属性】
技术研发人员:曹海榕
申请(专利权)人:苏州市电化教育馆
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1