System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于大数据的数据共享管理平台及方法技术_技高网

一种基于大数据的数据共享管理平台及方法技术

技术编号:40823406 阅读:2 留言:0更新日期:2024-04-01 14:43
本发明专利技术公开了一种基于大数据的数据共享管理平台及方法,包括数据获取模块、数据开发模块、数据管理模块和数据服务模块;通过设置数据获取模块和数据服务模块,能够实现从大数据中进行数据获取,并将获取到的数据进行共享服务的效果,有效解决了现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷,同时,通过设置数据开发模块和数据管理模块,依据数据开发模块对从大数据中获取到的数据进行挖掘处理,依据数据管理模块对从大数据中获取到的数据进行分析管理,能够有效对不符合业务需求和数据质量的数据进行过滤,并且还能够实现数据追溯和数据变更的效果,有效替换质量不合格的数据。

【技术实现步骤摘要】

本专利技术涉及数据共享,尤其涉及一种基于大数据的数据共享管理平台及方法


技术介绍

1、目前,各个政府机构、事业单位之间的数据是相互独立的,这就导致办理者在政府机构或者事业单位办理事务,如申报项目时,需要提供多种数据,为了使提交的材料符合要求,办事者需要在多个机构间件来回奔波,效率低下。

2、除此,由于各政府机构、事业单位之间的业务数据是相互独立的,受理业务的机构也无法直接在别的机构的数据库中查看原始数据进行核对,只能凭借材料上的盖章等证明物来对材料的真实性进行判断。


技术实现思路

1、有鉴于此,本专利技术提出一种基于大数据的数据共享管理平台及方法,可以解决现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷。

2、本专利技术的技术方案是这样实现的:

3、一种基于大数据的数据共享管理平台,包括数据获取模块、数据开发模块、数据管理模块和数据服务模块,所述数据获取模块用于通过多渠道从大数据中进行数据获取,所述数据开发模块用于对从大数据中获取到的数据进行挖掘处理,所述数据管理模块用于对从大数据中获取到的数据进行分析管理,所述数据服务模块用于对挖掘处理后的数据和分析管理后的数据进行共享服务,所述数据管理模块包括数据向前追溯分析单元和数据变更单元,所述数据向前追溯分析单元用于对从大数据中获取到的数据进行数据质量分析和加工链路分析,所述数据变更单元用于对质量不合格的数据进行替换。

4、作为所述基于大数据的数据共享管理平台的进一步可选方案,所述数据获取模块包括数据库数据采集单元、文件类数据采集单元和硬件数据采集单元,所述数据库数据采集单元用于从多种数据库中进行数据获取,所述文件类数据采集单元用于采集各种文件类的数据,所述硬件数据采集单元用于采集各种硬件设备的数据。

5、作为所述基于大数据的数据共享管理平台的进一步可选方案,所述数据开发模块包括数据清洗单元、数据转换单元和数据可视化单元,所述数据清洗单元用于对重复冗余的数据进行清洗操作,所述数据转换单元用于按照统一的存储标准将清洗后的数据进行格式转换,所述数据可视化单元用于将格式转换后的数据按照不同的主题类型进行可视化展示。

6、作为所述基于大数据的数据共享管理平台的进一步可选方案,所述数据服务模块包括数据融合单元和接口单元,所述数据融合单元用于将挖掘处理后的数据和分析管理后的数据进行数据融合,所述接口单元用于与内外部的业务系统进行传输连接。

7、作为所述基于大数据的数据共享管理平台的进一步可选方案,所述数据共享管理平台还包括数据运维模块和管理中心模块,所述数据运维模块用于对数据共享管理平台进行监控管理,所述管理中心模块用于对数据共享管理平台的基础功能进行管理。

8、作为所述基于大数据的数据共享管理平台的进一步可选方案,所述数据运维模块包括软件管理单元、配置管理单元、故障管理单元、性能管理单元、安全管理单元、租户管理单元和备份管理单元,所述软件管理单元用于对与数据共享管理平台连接的软件进行监控管理,所述配置管理单元用于对数据共享管理平台的配置进行监控管理,所述故障管理单元用于对数据共享管理平台的故障进行监控管理,所述性能管理单元用于对数据共享管理平台的进行监控管理,所述安全管理单元用于对数据共享管理平台的数据安全进行监控管理,所述租户管理单元用于对数据共享管理平台的租户信息进行监控管理,所述备份管理单元用于对数据共享管理平台的数据备份进行监控管理。

9、作为所述基于大数据的数据共享管理平台的进一步可选方案,所述管理中心模块包括登录认证管理单元和权限认证管理单元,所述登录认证管理单元用于对登陆数据共享管理平台的用户信息进行认证管理,所述权限认证管理单元用于对登陆数据共享管理平台的用户进行权限认证管理。

10、一种基于大数据的数据共享管理方法,所述方法基于上述任意一项所述基于大数据的数据共享管理平台,具体包括:

11、依据数据获取模块从大数据中进行数据获取;

12、依据数据开发模块对从大数据中获取到的数据进行挖掘处理,并将挖掘处理后的数据发送至数据服务模块中;

13、依据数据管理模块对从大数据中获取到的数据进行分析管理,并将分析管理后的数据发送至数据服务模块中;

14、数据服务模块将获取到的数据进行融合,并将融合后的数据进行数据共享服务。

15、本专利技术的有益效果是:通过设置数据获取模块和数据服务模块,能够实现从大数据中进行数据获取,并将获取到的数据进行共享服务的效果,有效解决了现有技术所存在的效率低下和无法查看原始数据进行核对的缺陷,同时,通过设置数据开发模块和数据管理模块,依据数据开发模块对从大数据中获取到的数据进行挖掘处理,依据数据管理模块对从大数据中获取到的数据进行分析管理,能够有效对不符合业务需求和数据质量的数据进行过滤,并且还能够实现数据追溯和数据变更的效果,有效替换质量不合格的数据。

本文档来自技高网...

【技术保护点】

1.一种基于大数据的数据共享管理平台,其特征在于,包括数据获取模块、数据开发模块、数据管理模块和数据服务模块,所述数据获取模块用于通过多渠道从大数据中进行数据获取,所述数据开发模块用于对从大数据中获取到的数据进行挖掘处理,所述数据管理模块用于对从大数据中获取到的数据进行分析管理,所述数据服务模块用于对挖掘处理后的数据和分析管理后的数据进行共享服务,所述数据管理模块包括数据向前追溯分析单元和数据变更单元,所述数据向前追溯分析单元用于对从大数据中获取到的数据进行数据质量分析和加工链路分析,所述数据变更单元用于对质量不合格的数据进行替换。

2.根据权利要求1所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据获取模块包括数据库数据采集单元、文件类数据采集单元和硬件数据采集单元,所述数据库数据采集单元用于从多种数据库中进行数据获取,所述文件类数据采集单元用于采集各种文件类的数据,所述硬件数据采集单元用于采集各种硬件设备的数据。

3.根据权利要求2所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据开发模块包括数据清洗单元、数据转换单元和数据可视化单元,所述数据清洗单元用于对重复冗余的数据进行清洗操作,所述数据转换单元用于按照统一的存储标准将清洗后的数据进行格式转换,所述数据可视化单元用于将格式转换后的数据按照不同的主题类型进行可视化展示。

4.根据权利要求3所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据服务模块包括数据融合单元和接口单元,所述数据融合单元用于将挖掘处理后的数据和分析管理后的数据进行数据融合,所述接口单元用于与内外部的业务系统进行传输连接。

5.根据权利要求4所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据共享管理平台还包括数据运维模块和管理中心模块,所述数据运维模块用于对数据共享管理平台进行监控管理,所述管理中心模块用于对数据共享管理平台的基础功能进行管理。

6.根据权利要求5所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据运维模块包括软件管理单元、配置管理单元、故障管理单元、性能管理单元、安全管理单元、租户管理单元和备份管理单元,所述软件管理单元用于对与数据共享管理平台连接的软件进行监控管理,所述配置管理单元用于对数据共享管理平台的配置进行监控管理,所述故障管理单元用于对数据共享管理平台的故障进行监控管理,所述性能管理单元用于对数据共享管理平台的进行监控管理,所述安全管理单元用于对数据共享管理平台的数据安全进行监控管理,所述租户管理单元用于对数据共享管理平台的租户信息进行监控管理,所述备份管理单元用于对数据共享管理平台的数据备份进行监控管理。

7.根据权利要求6所述的一种基于大数据的数据共享管理平台,其特征在于,所述管理中心模块包括登录认证管理单元和权限认证管理单元,所述登录认证管理单元用于对登陆数据共享管理平台的用户信息进行认证管理,所述权限认证管理单元用于对登陆数据共享管理平台的用户进行权限认证管理。

8.一种基于大数据的数据共享管理方法,其特征在于,所述方法基于权利要求1-7中任意一项所述基于大数据的数据共享管理平台,具体包括:

...

【技术特征摘要】

1.一种基于大数据的数据共享管理平台,其特征在于,包括数据获取模块、数据开发模块、数据管理模块和数据服务模块,所述数据获取模块用于通过多渠道从大数据中进行数据获取,所述数据开发模块用于对从大数据中获取到的数据进行挖掘处理,所述数据管理模块用于对从大数据中获取到的数据进行分析管理,所述数据服务模块用于对挖掘处理后的数据和分析管理后的数据进行共享服务,所述数据管理模块包括数据向前追溯分析单元和数据变更单元,所述数据向前追溯分析单元用于对从大数据中获取到的数据进行数据质量分析和加工链路分析,所述数据变更单元用于对质量不合格的数据进行替换。

2.根据权利要求1所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据获取模块包括数据库数据采集单元、文件类数据采集单元和硬件数据采集单元,所述数据库数据采集单元用于从多种数据库中进行数据获取,所述文件类数据采集单元用于采集各种文件类的数据,所述硬件数据采集单元用于采集各种硬件设备的数据。

3.根据权利要求2所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据开发模块包括数据清洗单元、数据转换单元和数据可视化单元,所述数据清洗单元用于对重复冗余的数据进行清洗操作,所述数据转换单元用于按照统一的存储标准将清洗后的数据进行格式转换,所述数据可视化单元用于将格式转换后的数据按照不同的主题类型进行可视化展示。

4.根据权利要求3所述的一种基于大数据的数据共享管理平台,其特征在于,所述数据服务模块包括数据融合单元和接口单元,所述数据融合单元用于将挖掘处理后的数据和分析管理...

【专利技术属性】
技术研发人员:池永生姚自力
申请(专利权)人:广州双友电子技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1