自助取数工具和取数方法技术

本发明专利技术提出了一种自助取数工具和取数方法，自助取数工具从集成的数据仓库中的数据出发，通过已构建的多维数据模型对信息从多种可能的角度进行快速读取；基于开源的大数据处理技术hive+presto搭建数据存储执行引擎，能高效完成清单级数据的查看以及汇总级数据的多维度实时聚合；通过可视化处理技术以及自助取数引擎封装，使用语义层技术将数据执行的技术语言转化为业务人员日常使用的业务语言，用户在Web访问界面上进行拖拉拽就能轻松灵活地自助完成企业数据的提取。

Self fetching tool and number fetching method

The invention provides a number of self-service tools and access method, self-service tool number starting from the integrated data warehouse in the data, the information from a variety of possible angle fast reading through the multidimensional data model has been constructed; large open source data processing technology of hive+ Presto to build a data storage execution engine based on energy efficient to view the list data and summary data in real time through multi dimension polymerization; visualization technology and the number of self-service engine package, using semantic layer technology technology language data into business language implementation of business people's daily use, users can easily drag flexible self completed extraction of corporate data in Web access interface.

【技术实现步骤摘要】
自助取数工具和取数方法
本专利技术涉及企业数据处理领域，尤其涉及一种自助取数工具和取数方法。
技术介绍
企业的运营及业务分析人员由于专业的限制，不能随时的对企业在商业运营过程中产生的大量复杂数据进行整合、提取，往往需要技术人员协助，提出大量的紧急取数需求，从而导致数据获取周期长、数据使用成本较高、效率低，难以及时利用企业数据进行分析决策帮助企业在竞争中赢得优势；数据开发人员日常工作被这些可复用性低的紧急临时取数需求所填充，难以发挥更高的工作价值。自助取数工具提供了一种企业数据自助提取分析的解决方案，很好的解决了业务运营人员使用企业数据的障碍问题；让重复、简单的取数工作通过工具实现，使数据开发人员从繁忙的日常取数工作中释放出来去做更有挑战性的工作；同时提供一套数据安全管理策略，达到了取数方便性和安全性的平衡
技术实现思路
本专利技术的目的在于提供一种自助取数工具和取数方法，能够轻松便捷获取数据，降低数据的使用门槛，提高企业数据使用效率而研发的数据产品。为了实现上述目的，本专利技术提出了一种自助取数工具，包括：数据存储/执行层、语义定义/存储层、自助取数引擎、Web访问控制层及后台管理，其中，所述数据存储/执行层从源数据库中抽取数据；所述语义定义/存储层为建立在数据库之上的业务逻辑层，通过对数据库中的有关数据项定义，把数据库中的数据定义成为相应的业务名称；所述Web访问控制层包括自助取数和模版取数；所述自助取数或模版取数通过所述自助取数引擎查看数据范围，选择结果字段，在提交查询后显示出数据列表；所述后台管理包括数据内容配置管理和数据安全管理，数据内容配置管理能简单灵活地完成数据的扩充；数据安全管理使用用户、角色和权限的权限控制模型，对权限管控细分为模块访问权限管控、字段访问权限管控、数据行级权限管控和敏感数据权限管控。进一步的，在所述的自助取数工具中，所述数据存储/执行层使用分布式大数据数据仓库工具和分布式大数据执行引擎。在本专利技术中，还提出了一种自助取数方法，包括步骤：数据存储/执行层从源数据库中抽取数据；语义定义/存储层通过对数据库中的有关数据项定义，把数据库中的数据定义成为相应的业务名称；Web访问控制层的自助取数或模版取数通过自助取数引擎进行取数；所述取数包括步骤如下：第一步：设置过滤条件，限定查看的数据范围；第二步：选择结果字段；第三步：提交查询；第四步：显示列表。进一步的，在所述的自助取数方法中，所述数据存储/执行层使用分布式大数据数据仓库工具和分布式大数据执行引擎，所述分布式大数据数据仓库工具从源数据库中抽取数据，针对业务主题对数据进行清洗、转化及集成，统一指标模型，确保数据口径一致。进一步的，在所述的自助取数方法中，将取数步骤和取数条件保存为模板。进一步的，在所述的自助取数方法中，通过所述Web访问控制层对所述模板进行增加、删除、修改及复制。进一步的，在所述的自助取数方法中，所述自助取数引擎根据Web访问界面中用户的操作，读取语义层定义，将用户的查询转换成一个或多个星型模型，并根据星型模型关系自动构建聚合SQL，并提交至分布式大数据执行引擎进行执行，获取执行结果数据集，并返回至Web访问应用界面。与现有技术相比，本专利技术的有益效果主要体现在：自助取数工具从集成的数据仓库中的数据出发，通过已构建的多维数据模型对信息从多种可能的角度进行快速读取；基于开源的大数据处理技术hive+presto搭建数据存储执行引擎，能高效完成清单级数据的查看以及汇总级数据的多维度实时聚合；通过可视化处理技术以及自助取数引擎封装，使用语义层技术将数据执行的技术语言转化为业务人员日常使用的业务语言，用户在Web访问界面上进行拖拉拽就能轻松灵活地自助完成企业数据的提取；通过配置化的后台数据内容管理工具，让开发人员通过简单的配置即可简单的完成数据内容的扩展，此工作无附加开发成本，且对用户透明；通过覆盖全方位的数据权限管控策略，加上可视化的数据权限管控配置界面，让系统管理人员可轻松实现模块级、字段级、数据行级以及敏感信息的管控配置，保障数据的使用安全。附图说明图1为本专利技术一实施例中自助取数工具的结构框图；图2为本专利技术一实施例中自助取数方法的流程图；图3为本专利技术一实施例中的数据权限管理策略图。具体实施方式下面将结合示意图对本专利技术的自助取数工具和取数方法进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果。因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。为了清楚，不描述实际实施例的全部特征。在下列描述中，不详细描述公知的功能和结构，因为它们会使本专利技术由于不必要的细节而混乱。应当认为在任何实际实施例的开发中，必须做出大量实施细节以实现开发者的特定目标，例如按照有关系统或有关商业的限制，由一个实施例改变为另一个实施例。另外，应当认为这种开发工作可能是复杂和耗费时间的，但是对于本领域技术人员来说仅仅是常规工作。在下列段落中参照附图以举例方式更具体地描述本专利技术。根据下面说明和权利要求书，本专利技术的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本专利技术实施例的目的。自助取数工具是一种基于数据仓库的企业数据提取分析的解决方案，有助于解决业务分析人员和数据开发技术人员在数据模型上的知识鸿沟，融合双方的价值，将数据仓库的价值最大化。具体的，自助取数工具的基本架构由四层结构组成：数据存储/执行层、语义定义/存储层、自助取数引擎、Web访问控制层及后台管理，如图1所示。所述数据存储/执行层使用分布式大数据数据仓库工具Hive和分布式大数据执行引擎presto。分布式大数据数据仓库工具Hive从源数据库中抽取数据，针对业务主题对数据进行清洗、转化及集成，统一指标模型，保证数据口径一致，使原始数据不再杂乱无章，基于优化查询的组织形式，有效提高数据获取、统计和分析的效率，数据仓库拥有业务数据库所无法拥有的高效的数据组织形式，更加完整的数据体系，清晰的数据分类和分层机制，实现各种不同数据的关联并使多维分析更加方便，为从多角度多层次地数据分析和决策制定提供的可能。所述语义定义/存储层是建立在数据库之上的业务逻辑层，通过对数据库里的有关数据项定义，把数据库中的数据定义成有明确的业务含义的名称。业务人员所面对的不再是表、字段和它们之间复杂的关联、计算关系，而是业务人员所熟悉的业务术语和指标名称。所述后台管理包括数据内容配置管理和数据安全管理，数据内容配置管理能简单灵活地完成数据的扩充；数据安全管理使用用户、角色和权限的权限控制模型，对权限管控细分为模块访问权限管控、字段访问权限管控、数据行级权限管控和敏感数据权限管控。请参考图2，在本实施例中，还包括一种自助取数方法，包括步骤：数据存储/执行层从源数据库中抽取数据；语义定义/存储层通过对数据库中的有关数据项定义，把数据库中的数据定义成为相应的业务名称；Web访问控制层的自助取数或模版取数通过自助取数引擎进行取数；所述取数包括步骤如下：第一步：设置过滤条件，限定查看的数据范围；第二步：选择结果字段；第三步：提交查询；第四步：显示列表。具体的，所述Web访问控制层目本文档来自技高网...

【技术保护点】
一种自助取数工具，其特征在于，包括：数据存储/执行层、语义定义/存储层、自助取数引擎、Web访问控制层及后台管理，其中，所述数据存储/执行层从源数据库中抽取数据；所述语义定义/存储层为建立在数据库之上的业务逻辑层，通过对数据库中的有关数据项定义，把数据库中的数据定义成为相应的业务名称；所述Web访问控制层包括自助取数和模版取数；所述自助取数或模版取数通过所述自助取数引擎查看数据范围，选择结果字段，在提交查询后显示出数据列表；所述后台管理包括数据内容配置管理和数据安全管理，数据内容配置管理能简单灵活地完成数据的扩充；数据安全管理使用用户、角色和权限的权限控制模型，对权限管控细分为模块访问权限管控、字段访问权限管控、数据行级权限管控和敏感数据权限管控。

【技术特征摘要】
1.一种自助取数工具，其特征在于，包括：数据存储/执行层、语义定义/存储层、自助取数引擎、Web访问控制层及后台管理，其中，所述数据存储/执行层从源数据库中抽取数据；所述语义定义/存储层为建立在数据库之上的业务逻辑层，通过对数据库中的有关数据项定义，把数据库中的数据定义成为相应的业务名称；所述Web访问控制层包括自助取数和模版取数；所述自助取数或模版取数通过所述自助取数引擎查看数据范围，选择结果字段，在提交查询后显示出数据列表；所述后台管理包括数据内容配置管理和数据安全管理，数据内容配置管理能简单灵活地完成数据的扩充；数据安全管理使用用户、角色和权限的权限控制模型，对权限管控细分为模块访问权限管控、字段访问权限管控、数据行级权限管控和敏感数据权限管控。2.如权利要求1所述的自助取数工具，其特征在于，所述数据存储/执行层使用分布式大数据数据仓库工具和分布式大数据执行引擎。3.一种自助取数方法，其特征在于，包括步骤：数据存储/执行层从源数据库中抽取数据；语义定义/存储层通过对数据库中的有关数据项定义，把数据库中...

【专利技术属性】
技术研发人员：李望红，闵军，张亮，
申请(专利权)人：上海找钢网信息科技股份有限公司，
类型：发明
国别省市：上海,31