一种基于大数据的统一服务层建立方法技术

本发明专利技术公开了一种基于大数据的统一服务层建立方法，该方法主要包括以下步骤：首先建立数据源，确保数据连接正常；然后构建数据集，对相关数据进行封装；接着创建业务场景，选择展示模板及数据集；最后发布至统一服务层，对用户赋权，生成链接供使用方进行调用。本发明专利技术通过对大数据平台底层数据的封装，将数据统一在服务层进行管理，并且统一提供接口供外部使用数据，有效的避免外部直接操作大数据平台底层文件，既方便数据中心对数据的统一管理又避免了数据安全隐患。

【技术实现步骤摘要】
一种基于大数据的统一服务层建立方法
本专利技术属于大数据
，涉及一种基于大数据的统一服务层建立方法。
技术介绍
大数据平台建立以来，为各领域提供了强有力的支撑工作，随着数据中心数据的日益庞大，业务覆盖面越来越广，数据繁多杂乱、资产维护责任不清、数据利用率不高、大数据平台数据使用安全得不到保障等问题已经慢慢凸显，大数据统一服务层建立方法从数据管理与维护、数据使用申请、数据调度监控、数据权限分配等多个方面，加强对数据中心资产的管理与监控，完善数据资产使用流程，提升企业数据资产的精益化管理成效。
技术实现思路
鉴于大数据平台数据使用安全得不到有效解决的问题，本专利技术的目的是提供一种基于大数据的统一服务层建立方法，该方法在应用集群和底层数据源之间，构建一层代理即统一数据层。首先建立模型数据映射，实现业务模型各属性与底层大数据平台的模型数据映射，然后提供基于业务模型的统一查询和更新的API，简化应用使用平台的开发模式。该方法实现了对底层数据的封装，统一服务层对大数据平台底层文件进行路径重定向，使用者获取大数据平台底层文件的路径，数据的安全性得到了保障，用户通过统一服务层URL使用数据，所有的权限在统一服务层进行管理。本专利技术的目的通过以下技术方案实现：一种基于大数据的统一服务层建立方法,其特征在于：该方法包括建立数据源，确保数据连接正常；然后构建数据集，对相关数据进行封装；创建业务场景，选择展示模板及数据集；最后发布至统一服务层，对用户赋权，生成链接供使用方进行调用。其具体内容如下：1）建立多种类型数据源（HDFS、Hive、HBase），确保数据连接正常。2）通过已建立的数据源，根据数据源类型构建数据集，包括编写SQL、读取文件等方式对相关数据进行筛选。3）创建一个新业务场景，描述业务场景的功能，包含的数据表或者文件等，然后选择包含的数据集以及一种展示模板。4）将场景发布至统一服务层，对数据或者用户分别赋权，最后生成重定向URL链接，提供使用方进行调用或展示。本专利技术主要针对数据中心提供数据外部使用方面，从数据来源、数据清理、数据可视化、数据装载重定向到数据使用授权，形成整个数据使用闭环管理。在上述过程中主要通过基于大数据统一服务层，实现数据中心对数据资产的充分管理，对业务部门使用数据提供统一接口，有效的对数据权限进行管理，在数据价值提升的同时保障数据的安全性。本专利技术的有有益效果在于：通过对大数据平台底层数据的封装，将数据统一在服务层进行管理，并且统一提供接口供外部使用数据，有效的避免外部直接操作大数据平台底层文件，既方便数据中心对数据的统一管理又避免了数据安全隐患。附图说明图1为本方法的流程框架图。具体实施方式下面结合附图和具体实施方式对本专利技术所属方法进一步说明。本专利技术提出一种基于大数据的统一服务层建立方法，该方法在应用集群和底层数据源之间，构建一层代理即统一数据层。首先建立模型数据映射，实现业务模型各属性与底层大数据平台的模型数据映射，然后提供基于业务模型的统一查询和更新的API，简化应用使用平台的开发模式。具体实施步骤如下：步骤1：首先建立数据源，检测数据源连通性1）建立一个数据连接，选择数据源类型；2）当选择关系型数据库时，需选择数据库类型、驱动名称、连接路径、用户名、密码；3）当选择HDFS时，需选择文件路径、Hadoop用户名；4）当选择HIVE时，需选择Hadoop用户名、URL路径；5）选择数据源，进行测试检测数据源连接是否正常。步骤2：构建数据集，对相关数据进行封装1）首先选择一个数据源，选择的数据源所属类型决定了数据集的类型；2）数据集类型为关系型数据和HIVE时，需编写SQL获取相关数据；3）数据集类型为HDFS时，需指定分隔符，是否包含表头，是否显示表头，读取行数等获取相关数据；4）选择数据集进行预览，展示获取的数据。步骤3：创建业务场景，选择展示模板及数据集1）创建一个业务场景，填写业务场景名称，说明；2）选择场景包含的所有相关数据集；3）选择模板对场景进行图形展示；步骤4：发布至统一服务层，对数据及用户赋权，生成链接供使用方进行调用1）建立完成的场景发布至统一服务层；2）对相关用户进行赋权，统一管理数据权限；3）生成URL链接提供外部进行数据调用。本文档来自技高网...

【技术保护点】
一种基于大数据的统一服务层建立方法，其特征在于，该方法主要包括以下步骤：1）首先建立数据源，检测数据源连通性；2）然后构建数据集，获取相关数据；3）创建业务场景，选择展示模板及数据集；4）发布至统一服务层，对数据及用户赋权，生成链接供使用方进行调用。

【技术特征摘要】
1.一种基于大数据的统一服务层建立方法，其特征在于，该方法主要包括以下步骤：1）首先建立数据源，检测数据源连通性；2）然后构建数据集，获取相关数据；3）创建业务场景，选择展示模板及数据集；4）发布至统一服务层，对数据及用户赋权，生成链接供使用方进行调用。2.根据权利要求1中所述的基于大数据的统一服务层建立方法，其特征在于：所述的步骤2）中，通过已建立的数据源，根据数据源类型构建数据集，包括编写SQL、...

【专利技术属性】
技术研发人员：王继业，王全强，杨定坤，周昊程，
申请(专利权)人：江苏电力信息技术有限公司，国网江苏省电力公司，
类型：发明
国别省市：江苏,32