【技术实现步骤摘要】
一种基于Hive的资产管理数据安全保护仓库系统
[0001]本专利技术属于资产管理数据
,具体为一种基于Hive的资产管理数据安全保护仓库系统。
技术介绍
[0002]近年来伴随着我国经济和科技的迅速发展,各行各业行业的发展环境与过去相比发生了巨大的变化,为了提高企业的经济效益和市场竞争力,国内的各大保险企业都在加快信息化建设的步伐,逐渐建立了资产管理数据服务系统、代理人管理系统和客户管理系统等一系列辅助保险业务开展的信息管理系统,并通过这些信息管理系统积累了大量的业务历史数据。目前,企业的信息化建设已经进入到深水区,而且市场竞争也变得越发的激烈。在这个大数据时代,数据的重要性已经不言而喻,通过数据安全保护仓库系统来对资产数据进行管理。
[0003]但是常见的系统不能对数据是否存在重复开发和数据模型设计是否合理进行判断,从而使得使用时较为不便。
技术实现思路
[0004]本专利技术的目的在于:为了解决上述提出的问题,提供一种基于Hive的资产管理数据安全保护仓库系统。
[0005]本专利技术采用的技术方案如下:一种基于Hive的资产管理数据安全保护仓库系统,包括电源供电模块、数据源模块、数据处理模块、数据传输模块、数据仓库模块、数据管理模块、开发环境构建模块、数据采集模块、数据转换装载模块、元数据管理模块和数据质量管理模块,所述电源供电模块的输出端连接有所述数据源模块的输入端,所述数据源模块的输出端连接有所述数据处理模块的输入端,所述数据处理模块的输出端连接有所述数据传输模块的输 ...
【技术保护点】
【技术特征摘要】
1.一种基于Hive的资产管理数据安全保护仓库系统,包括电源供电模块(1)、数据源模块(2)、数据处理模块(3)、数据传输模块(4)、数据仓库模块(5)、数据管理模块(6)、开发环境构建模块(7)、数据采集模块(8)、数据转换装载模块(9)、元数据管理模块(10)和数据质量管理模块(11),其特征在于:所述电源供电模块(1)的输出端连接有所述数据源模块(2)的输入端,所述数据源模块(2)的输出端连接有所述数据处理模块(3)的输入端,所述数据处理模块(3)的输出端连接有所述数据传输模块(4)的输入端,所述数据传输模块(4)的输出端连接有所述数据仓库模块(5)的输入端,所述数据仓库模块(5)的输出端连接有所述数据管理模块(6)的输入端。2.如权利要求1所述的一种基于Hive的资产管理数据安全保护仓库系统,其特征在于:所述数据处理模块(3)的内部设置有开发环境构建模块(7)、数据采集模块(8)和数据转换装载模块(9),所述开发环境构建模块(7)、数据采集模块(8)、数据转换装载模块(9)的整体输出端连接有所述数据处理模块(3)的输入端;所述数据管理模块(6)的内部设置有元数据管理模块(10)和数据质量管理模块(11),所述元数据管理模块(10)和数据质量管理模块(11)的整体输出端连接有所述数据管理模块(6)的输入端。3.如权利要求1所述的一种基于Hive的资产管理数据安全保护仓库系统,其特征在于:所述数据源模块(2)使用Hadoop生态圈的数据传输工具Sqoop和Flume来进行数据的传输工作,该层主要应用Sqoop脚本在特定的时间将线上Oracle中的数据传输到分布式文件系统HDFS中,使用Flume将服务器日志产生的日志数据传输到HDFS中;这两部分共同构成了数据仓库的源数据层。4.如权利要求1所述的一种基于Hive的资产管理数据安全保护仓库系统,其特征在于:所述开发环境构建模块(7)使用Hive来进行数据的处理和开发工作,利用Hadoop生态圈的数据传输工具Sqoop和Flume来进行数据的传输和采集工作;所述开发环境构建模块(7)的步骤包括:(1)Hadoop集群搭建;首先,该Hadoop集群是在虚拟机VirtualBox中,通过CDH下载Cloudera
‑
VM镜像,使用VirtualBox启动虚拟机,最后测试和使用。5.如权利要求1所述的一种基于Hive的资产管理数据安全保护仓库系统,其特征在于:所述数据采集模块(8)对业务数据采集和日志数据采集,业务数据采集模块采用Sqoop来采集业务数据;首先Sqoop与业务数据库创建联系,获取业务数据表的Schema,然后通过Import导入功能直接从业务数据库Mysql中抽取数据并传输到Hive数据仓库ODS表中。6.如权利要求1所述的一种基于Hive的资产管理数据安全保护仓库系统,其特征在于:所述数据转换装载模块(9)首先是把ODS层数据装载到DIM层和DWD层中,然后再把DIM层数据和DWD层数据装载到DWS层中,数据转换主要包括统一数据编码、清除重复数据、空值填充、统一日期格式和异常值处理;统一数据编码是指不同业务系统中同样的数据采用不同的编码,在数据仓库中需要进行统一编码处理,例如性别属性,有些系统采用的是M和F,有些系统采用的是1和0,有些系统采用的是男和女,在数据仓库中统一转换为M和F;清除重复数据是指在业务数据重...
【专利技术属性】
技术研发人员:刘晓琳,
申请(专利权)人:深圳华夏凯词财富管理有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。