一种基于Python的自主数据提取处理方法、系统及电子设备技术方案

本发明专利技术公开了一种基于Python的自主数据提取处理方法、系统及电子设备，属于信息技术领域。主要方案包括采集元数据基础形成配置化；自定义可视化看板；将数据需求转换为数据库语言；数据自主提取与模型发布。采用上述技术方案，本发明专利技术解决了短、急、快的业务数据提取需求和业务人员在数据自主数据与数据探索建模过程中过度依赖技术部门，沟通与时间成本较高，当需求发生细微变更时，成本高、效率低的问题尤为明显的问题。

【技术实现步骤摘要】

本专利技术涉及信息，具体地，涉及一种基于python的自主数据提取处理方法、系统及电子设备。

技术介绍

1、数字经济席卷各行各业，正在无形的革新重塑商业大环境。企业对数据进行有效的管理与应用能有效提升工作效率、洞察行业前景与风险、业务探索创新和运营决策等方面都有着重大意义。

2、报表一般作为企业经营分析、运营决策的主要数据依据来源，现实中,报表从提出需求到上线投产的成本过高一直是困扰数据运营的痛点。一方面企业中了解业务模式的人员受制于缺乏对包括数据结构、存储形式和应用平台的认识，而开发工程师虽长于专业技术技能，但对业务场景的认识不足，往往需要与需求人员多次沟通及调研验证后完成开发；另一方面，数据分析人员的需求多具有短、急、多、快的特点，甚至在需求尚未定版前通过探索的方式进行分析，显然传统的报表开发流程和效能显然是不足以支撑这类需求的。因此需要设计专利技术一种自主数据提取处理方法来解决上述问题。

技术实现思路

1、基于
技术介绍
的问题，本专利技术提供了一种基于python的自主数据提取处理方法、系统及本文档来自技高网...

【技术保护点】

1.一种基于Python的自主数据提取处理方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的一种基于Python的自主数据提取处理方法，其特征在于，所述注释信息表示为对数据表、数据项的中文描述；所述对开放的数据集市主题中对数据表结构的定义、字段的定义及注释信息进行采集与存储管理包括以下步骤：

3.根据权利要求2所述的一种基于Python的自主数据提取处理方法，其特征在于，所述用户名为Python程序为采集元数据与查询应用数据而建立的账号，并不对实际业务需求人员暴露；所述主题集市数据字典包括但不限于数据表名称、表描述、字段名称和字段描述。

...

【技术特征摘要】

1.一种基于python的自主数据提取处理方法，其特征在于，所述方法包括如下步骤：

2.根据权利要求1所述的一种基于python的自主数据提取处理方法，其特征在于，所述注释信息表示为对数据表、数据项的中文描述；所述对开放的数据集市主题中对数据表结构的定义、字段的定义及注释信息进行采集与存储管理包括以下步骤：

3.根据权利要求2所述的一种基于python的自主数据提取处理方法，其特征在于，所述用户名为python程序为采集元数据与查询应用数据而建立的账号，并不对实际业务需求人员暴露；所述主题集市数据字典包括但不限于数据表名称、表描述、字段名称和字段描述。

4.根据权利要求1所述的一种基于python的自主数据提取处理方法，其特征在于，所述基于采集所积累的元数据，根据实际需求定义所需选择数据来源表，设定数据结果的筛选条件、码值转换转与聚合运算规则包括以下步骤：

5.根据权利要求4所述的一种基于python的自主数据提取处理方法，其特征在于，所述聚合运算的规则包括且限于求和、计数、平局值、最大值、最小值、乘积、数值计算、标准偏差、总体标准偏...

【专利技术属性】
技术研发人员：吴海斌，彭磊，石龙，王清峰，
申请(专利权)人：武汉众邦银行股份有限公司，
类型：发明
国别省市：

全部详细技术资料下载 我是这个专利的主人