基于特征转换函数的数据挖掘方法、设备及可读介质技术

本发明专利技术涉及一种基于特征转换函数的数据挖掘方法、设备及可读介质，属于计算机技术领域，方法包括以下步骤：提取原始数据：提取挖掘特征需要的原始数据，并将复杂的多维原始数据经过两次无损信息的压缩处理，形成特征转换函数需要的数据结构；格式转换：构建格式转换函数，将步骤1生成的Y

【技术实现步骤摘要】
基于特征转换函数的数据挖掘方法、设备及可读介质


[0001]本专利技术涉及计算机
，尤其涉及一种基于特征转换函数的数据挖掘方法、设备及可读介质。

技术介绍

[0002]随着机器学习技术的快速发展，机器学习技术被广泛应用于各行业的数据分析过程中，为人们带来了极大的便利，现有技术中特征挖掘是直接使用SQL语句查询原始数据，并利用SQL自带的运算能力计算特征，最终将查询与运算耦合在一起,此方式随着特征挖掘数量的增加，SQL语句的复杂程度会指数级上升，导致必须嵌套越来越多层的子查询，增加临时中间表才能实现运算，开发成本变高，运行速度变慢。同时由于SQL本身的运算和资源的限制，在特征挖掘的过程中，会产生大量没有用的临时中间表，属于对资源的无效占用。

技术实现思路

[0003]为了解决上述现有技术中存在的技术问题，本专利技术建立了一种基于特征转换函数的数据挖掘方法、设备及可读介质，利用特征转换函数，构建出一种更先进、高效的特征数据挖掘方法。
[0004]本专利技术采用的技术方案如下：
[0005]基于特征转换函数的数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于特征转换函数的数据挖掘方法，其特征在于，包括如下步骤：步骤1：通过SQL语句提取数据库中挖掘特征所需要的原始数据，并将多维原始数据进行压缩处理，形成特征转换函数所需要的数据结构，并生成数据表结构，将生成的数据表结构存储到存储器新建的存储空间中；步骤2：调用存储器中存储的数据表结构，将数据表结构转换成对应Python环境的list和dict数据格式，作为特征生成的输入项；步骤3：构建特征转换函数，通过所述特征转换函数将步骤2中转换为list和dict数据格式的数据转换为最终的特征。2.根据权利要求1所述的基于特征转换函数的数据挖掘方法，其特征在于，步骤1具体包括以下步骤：步骤1.1：从原始底层表中提取特征加工过程中需要的所有字段，利用“concat”函数将每个字段固定呈字符串或者数值的格式，并压缩为1条记录，定义有Y个用户，每个用户有N条记录，形成Y
×
N维的数据表；步骤1.2：通过“group by”方法和“collect_list”函数，将Y
×
N维的数据表中的数据全部聚合为用户维度的数据，N条记录被压缩为1条数据，形成Y
×
1的数据表；步骤1.3：定义有M个Y

【专利技术属性】
技术研发人员：张菲兰，
申请(专利权)人：四川新网银行股份有限公司，
类型：发明
国别省市：