System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据分析平台管理方法、系统、设备及可存储介质技术方案_技高网

一种数据分析平台管理方法、系统、设备及可存储介质技术方案

技术编号:40516876 阅读:9 留言:0更新日期:2024-03-01 13:34
本发明专利技术涉及大数据技术领域,具体涉及一种数据分析平台管理方法、系统、设备及可存储介质,本发明专利技术构建起大数据平台,通过建设数据获取模块,数据开发模块、数据管理模块、数据服务模块、数据运维模块和管理中心模块对海量数据进行采集、清洗、计算、加工、存储,按照统一标准把数据统一之后形成标准数据,形成大数据资产,提升数据融合和智能应用能力,提升数据共享交换和开放能力,实现一体化数据的统一门户、统一需求、统一目录、统一服务,进而提供高效服务。本发明专利技术具有数据处理能力强和利用企业决策的优点。

【技术实现步骤摘要】

本专利技术涉及一种数据分析平台,具体为一种数据分析平台管理方法、系统、设备及可存储介质


技术介绍

1、大数据已经成为企业决策的重要驱动力。然而,随着数据量的不断增长和数据类型的多样化,企业生产的数据无论从数量空间还是从维度层次上都日益繁杂。面对大量数据,管理层常常望洋兴叹,要么企业自产的大量数据不能有效利用,无法提供决策依据,要么数据处理模式繁杂晦涩,无法快速甄别有效信息。如何将海量数据经过抽取、加工、提炼并展示出来,改变传统的文字描述识别模式,让决策者更高效的掌握重要信息和了解重要细节,这关系到企业在重大决策的制定和发展方向的决策。基于以上的原因,本专利技术提出一种数据分析平台管理方法、系统、设备及可存储介质。


技术实现思路

1、针对现有技术的不足,本专利技术提供了一种数据分析平台管理方法、系统、设备及可存储介质。

2、为了解决上述技术问题,本专利技术提供了如下的技术方案:

3、一种数据分析平台管理方法,包括以下步骤:

4、s1:平台数据的获取,将企业的各个管理系统接入到数据分析平台中,对企业运营过程中产生的不同来源和不同形式的数据进行统一的存储;

5、s2:数据的开发,运营人员对数据经过采集、清洗和转换操作,形成符合业务使用的高质量、标准化的基础数据,并构建出合适的管理模型;

6、s3:依据开发出的管理模型并根据实际的需求,对采集数据的元数据信息和对不符合业务标准、质量的数据进行清洗、转换操作,明确企业的数据分析方向

7、s4:给出依据数据分析后的企业决策和发展方案,企业根据决策方案进行决策的下发和执行操作;

8、s5:在决策方案进行执行的过程中,不断的对产生的数据进行收集操作,并将这些数据再次的输入到管理模型之中,通过管理模型对方案执行的进度进行跟进,对方案执行的方向进行不断的修正,确保基于数据的决策方案具有实时性和准确性。

9、作为本专利技术的一种优选技术方案,所述步骤1中所采集的系统涉及企业运行之中的各个方面,所采集的数据包括多种数据库采集、各类文件采集和硬件数据获取需求。

10、作为本专利技术的一种优选技术方案,所述步骤2中运营人员对于数据的操作,包括以下的步骤:

11、s21:对数据进行预处理操作,将收集到的原始数据进行格式化、规范化、去重和异常值操作,完成对数据的修剪、替换、填充和归一化操作,以此确保数据的质量;

12、s22:对数据进行转换操作,将原始数据转换为数据分析平台系统可以进行分析的数据格式,从而方便后续对数据的调用和分析操作;

13、s23:对数据进行集成操作,将多个数据源的数据集成为一个数据集库,实现对数据的集中汇总;

14、s24:对数据进行验证操作,对清洗之后的数据进行验证,保证数据的质量和完整性;

15、s25:对经过上述步骤处理过的数据以指定的格式进行存储和备份操作,确保后期在对数据进行调用时数据可读和可维护操作。

16、作为本专利技术的一种优选技术方案,所述步骤5中决策方案的执行过程,包括以下的步骤:

17、s51:基于现有数据分析平台管理模型进行决策方案的决策制定,并将指定的决策的目标和前期部分下发到各个执行部门;

18、s52:执行部门对决策进行执行,并在执行的过程中不断的对执行产生的数据进行采集和上传到数据分析平台之中,数据分析平台对接收到的数据进行再次的处理,并将处理后的数据输入到管理模型之中;

19、s53:管理模块基于执行过程中所得的数据信息对自身进行优化,优化的方向基于实际执行过程和决策目标进行,得到一个新的更加完善的基于数据分析的管理模型;

20、s54:新的管理模型在保证决策目标不变的前提下,下发优化后的部分决策过程到各个执行部门;

21、s55:重复上述步骤,直至将全部的执行过程优化完成和达成决策目标,确保了基于数据的决策方案具有实时性和准确性。

22、一种数据分析平台管理系统,包括数据获取模块、数据开发模块、数据管理模块、数据服务模块、数据运维模块和管理中心模块;

23、所述数据获取模块用于提供统一的数据获取功能,其能够支持多种数据库采集、各类文件采集和硬件数据获取需求,使用方可根据业务需求通过多渠道采集的数据;

24、所述数据开发模块用于运营人员对数据经过采集﹑清洗和转换操作,形成符合业务使用的高质量、标准化的基础数据来进行可视化、简易的数据开发挖掘操作的功能,并可以结合具体业务开发和挖掘后形成各种主题、子主题库,提供给上层应用;

25、所述数据管理模块可以实现运营人员对采集数据的元数据信息和对不符合业务标准、质量的数据进行清洗、转换操作的功能,使得运营人员能够对业务的数据获取、治理、开发、共享全流程有更深的了解;

26、所述数据服务模块用于在数据挖掘开发后形成的融合层各种数据,可在系统的内外部进行数据的共享,这些相关的数据可通过restful、api形式提供各业务系统调用;

27、所述数据运维模块用于实现对整个数据分析平台的管理,包括软件管理、配置管理﹑故障管理、性能管理、安全管理﹑租户管理、备份管理功能;

28、所述管理中心模块用于提供平台所需的登录认证、权限认证、用户管理、审批管理、数据项目管理基础功能。

29、作为本专利技术的一种优选技术方案,所述据管理模块可以提供基于可视化的血缘图进行向前追溯,用于分析数据质量和加工链路;向后影响分析,用于找出当前元数据变更后影响的数据的功能。

30、一种数据分析平台管理设备,包括:

31、存储器,用于存储计算机程序;

32、处理器,用于执行所述计算机程序时实现所述的一种数据分析平台管理方法的步骤。

33、一种可存储介质,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现所述的一种数据分析平台管理方法的步骤。

34、本专利技术实施例提供了一种数据分析平台管理方法、系统、设备及可存储介质,具备以下有益效果:

35、1、本专利技术构建起大数据平台,通过建设数据获取模块,数据开发模块、数据管理模块、数据服务模块、数据运维模块和管理中心模块对海量数据进行采集、清洗、计算、加工、存储,按照统一标准把数据统一之后形成标准数据,形成大数据资产,提升数据融合和智能应用能力,提升数据共享交换和开放能力,实现一体化数据的统一门户、统一需求、统一目录、统一服务,进而提供高效服务;

36、2、本专利技术通过对企业生产过程中和企业各个系统产生的数据信息进行收集和处理操作,并以处理后的数据建立起针对企业决策和发展的管理模型,可以有效的提高企业决策的精准性,并且在企业决策执行的过程中,通过执行产生的数据不断的对管理模型进行优化处理,提高数据分析的准确性和确保决策健康有效的执行,使得企业数据分析清晰且对企业发展具有促进作用。

本文档来自技高网...

【技术保护点】

1.一种数据分析平台管理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种数据分析平台管理方法,其特征在于,所述步骤1中所采集的系统涉及企业运行之中的各个方面,所采集的数据包括多种数据库采集、各类文件采集和硬件数据获取需求。

3.根据权利要求1所述的一种数据分析平台管理方法,其特征在于,所述步骤2中运营人员对于数据的操作,包括以下的步骤:

4.根据权利要求1所述的一种数据分析平台管理方法,其特征在于,所述步骤5中决策方案的执行过程,包括以下的步骤:

5.根据权利要求1所述的一种数据分析平台管理系统,其特征在于,包括数据获取模块、数据开发模块、数据管理模块、数据服务模块、数据运维模块和管理中心模块;

6.根据权利要求5所述的一种数据分析平台管理系统,其特征在于,所述据管理模块可以提供基于可视化的血缘图进行向前追溯,用于分析数据质量和加工链路;向后影响分析,用于找出当前元数据变更后影响的数据的功能。

7.一种数据分析平台管理设备,其特征在于,包括:

8.一种可存储介质,其特征在于,所述可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的一种数据分析平台管理方法的步骤。

...

【技术特征摘要】

1.一种数据分析平台管理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的一种数据分析平台管理方法,其特征在于,所述步骤1中所采集的系统涉及企业运行之中的各个方面,所采集的数据包括多种数据库采集、各类文件采集和硬件数据获取需求。

3.根据权利要求1所述的一种数据分析平台管理方法,其特征在于,所述步骤2中运营人员对于数据的操作,包括以下的步骤:

4.根据权利要求1所述的一种数据分析平台管理方法,其特征在于,所述步骤5中决策方案的执行过程,包括以下的步骤:

5.根据权利要求1所述的一种数据分析平台管理...

【专利技术属性】
技术研发人员:池永生姚自力
申请(专利权)人:广州双友电子技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1