基于大数据平台的多层业务模型制造技术

本发明专利技术公开了基于大数据平台的多层业务模型，包括大数据平台、计算引擎，其特征在于大数据平台采用Hadoop分布式系统基础架构，计算引擎采用基于内存的Spark计算引擎，所述大数据平台可采用自定义大于五层的多层模型，其中，第一层为基础数据，第二层为经过处理的模型因子数据，第三层为聚合模型因子数据后的维度数据，第四层为具体场景数据，第五层及其更高层级为可视化的图表。本发明专利技术所述基于大数据平台的多层业务模型，可以显著提高数据存储的安全性，可以极大优化计算性能和响应速度，更快更好的为各模型对应的特定公司及业务人员提供服务，满足了日益增长的数据处理需求。

Multilayer Business Model Based on Big Data Platform

The invention discloses a multi-layer business model based on a large data platform, including a large data platform and a computing engine. Its characteristics are that the large data platform adopts a Hadoop distributed system infrastructure, and the computing engine adopts a memory-based Spark computing engine. The large data platform can adopt a multi-layer model with more than five layers defined. The first layer is the basic data, and the second layer is the classic. Over-processed model factor data, the third level is dimension data after aggregating model factor data, the fourth level is specific scene data, and the fifth level and its higher level are visualized charts. The multi-layer business model based on the large data platform can significantly improve the security of data storage, greatly optimize the computing performance and response speed, provide faster and better services for the specific companies and business personnel corresponding to the models, and meet the growing data processing needs.

【技术实现步骤摘要】
基于大数据平台的多层业务模型
本专利技术涉及数据处理、存储系统，具体为基于大数据平台的多层业务模型。
技术介绍
传统保险公司使用关系型数据库做数据仓库，通过SQL对数据进行ETL操作，在处理TB或PB级数据存储瓶颈及数据处理性能上的问题，目前保险公司用关系型数据库Oracle，对数据进行ETL处理，和数据存储。随时信息时代的到来，数据成几何级的增长，传统的关系型数据库无法承载这种海量的数据，新的业务需求和更加复杂的模型算法对平台的计算性能和扩展性提出更高的要求。目前还没有一种主要通过大数据平台提供TB或PB级数据存储服务，同时通过内存计算引擎完成多表间数据的关联查询和计算，并结合多层业务模型对数据进行预处理，为用户提供更加快捷、更加方便的报表及审计功能的基于大数据平台的多层业务模型。
技术实现思路
本专利技术的目的就在于为了解决上述问题而提供一种主要通过大数据平台提供TB或PB级数据存储服务，同时通过内存计算引擎完成多表间数据的关联查询和计算，并结合多层业务模型对数据进行预处理，为用户提供更加快捷、更加方便的报表及审计功能的基于大数据平台的多层业务模型。基于大数据平台的多层业务模型，包括本文档来自技高网...

【技术保护点】
1.基于大数据平台的多层业务模型，包括大数据平台、计算引擎，其特征在于大数据平台采用Hadoop分布式系统基础架构，计算引擎采用基于内存的Spark计算引擎，所述大数据平台可采用自定义大于五层的多层模型，其中，第一层为基础数据，第二层为经过处理的模型因子数据，第三层为聚合模型因子数据后的维度数据，第四层为具体场景数据，第五层及其更高层级为可视化的图表。

【技术特征摘要】
1.基于大数据平台的多层业务模型，包括大数据平台、计算引擎，其特征在于大数据平台采用Hadoop分布式系统基础架构，计算引擎采用基于内存的Spark计算引擎，所述大数据平台可采用自定义大于五层的多层模型，其中，第一层为基础数据，第二层为经过处理的模型因子数据，第三层为聚合模型因子数据后的维度数据，第四层为具体场景数据，第五层及其更高层级为可视化的图表。2.根据权利要求1所述的基于大数据平台的多层业务模型，其特征在于所述大数据平台主要应用在保险公司的多层保险业务模型上。3.根据权利要求2所述的基于大数据平台的多层业务模型，其特征在于所述大数据平台应用到保险公司的多层保险业务模型上，第一层的基础数据主要包括具体涉及到被保险标的相关数据。4.根据权利要求2所述的基...

【专利技术属性】
技术研发人员：丁浩鸿，
申请(专利权)人：广微数据科技苏州有限公司，
类型：发明
国别省市：江苏,32