数据处理方法、装置、服务器和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法、装置、服务器和存储介质；本发明专利技术实施例获取目标算子、数据血缘网络和目标数据实体集，目标数据实体集中包括多个目标数据实体，数据血缘网络中包括多个节点，以及节点之间的流向线路；在数据血缘网络中确定目标节点，以及与目标节点相连的相关节点，目标节点对应目标数据实体，相关节点对应其他数据实体；根据目标节点和相关节点之间的流向线路，生成目标数据实体和其他数据实体之间的实体关系信息；基于实体关系信息以及目标算子构建目标数据实体的特征集合；对特征集合中的特征进行评分预测，得到特征集合中特征的预测评分；根据预测评分在特征集合中确定预测特征。本方案可以提升数据处理的效率。

Data processing methods, devices, servers and storage media

【技术实现步骤摘要】
数据处理方法、装置、服务器和存储介质
本专利技术涉及计算机领域，具体涉及一种数据处理方法、装置、服务器和存储介质。
技术介绍
特征工程(Featureengineering)又叫作特征构造，是基于现有数据来构造新特征，从而利用这些新特征来训练机器学习模型的过程。其中，构造新特征的过程中往往需要对现有数据之间的关系进行深入的分析，才能从现有数据中提取有用的特征信息。然而，由于每个新特征可能都需要经过多个步骤去构造，尤其是那些与多个现有数据有关的特征，所以目前新特征的构造是一个非常耗时的过程，且需要人工干预才能够顺利地对现有数据进行新特征的提取处理，因此，目前用于特征构造的数据处理方法效率低下。
技术实现思路
本专利技术实施例提供一种数据处理方法、装置、服务器和存储介质，可以提升数据处理方法的效率。本专利技术实施例提供一种数据处理方法，包括：获取目标算子、数据血缘网络和目标数据实体集，所述目标数据实体集中包括多个目标数据实体，所述数据血缘网络中包括多个节点，以及所述节点之间的流向线路；在所述数据血本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取目标算子、数据血缘网络和目标数据实体集，所述目标数据实体集中包括多个目标数据实体，所述数据血缘网络中包括多个节点，以及所述节点之间的流向线路；/n在所述数据血缘网络中确定目标节点，以及与所述目标节点相连的相关节点，所述目标节点对应目标数据实体，所述相关节点对应其他数据实体；/n根据所述目标节点和相关节点之间的流向线路，生成所述目标数据实体和其他数据实体之间的实体关系信息；/n基于所述实体关系信息以及目标算子构建所述目标数据实体的特征集合；/n对所述特征集合中的特征进行评分预测，得到所述特征集合中特征的预测评分；/n根据所述预测评分在特征集合中确定...

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取目标算子、数据血缘网络和目标数据实体集，所述目标数据实体集中包括多个目标数据实体，所述数据血缘网络中包括多个节点，以及所述节点之间的流向线路；
在所述数据血缘网络中确定目标节点，以及与所述目标节点相连的相关节点，所述目标节点对应目标数据实体，所述相关节点对应其他数据实体；
根据所述目标节点和相关节点之间的流向线路，生成所述目标数据实体和其他数据实体之间的实体关系信息；
基于所述实体关系信息以及目标算子构建所述目标数据实体的特征集合；
对所述特征集合中的特征进行评分预测，得到所述特征集合中特征的预测评分；
根据所述预测评分在特征集合中确定预测特征。


2.如权利要求1所述的数据处理方法，其特征在于，获取目标算子、数据血缘网络和目标数据实体集，包括：
获取用户的数据处理指令，以及数据库集群的历史操作信息；
基于所述数据处理指令确定目标算子和目标数据实体；
基于所述历史操作信息构建数据血缘网络。


3.如权利要求2所述的数据处理方法，其特征在于，获取用户的数据处理指令，以及数据库集群的历史操作信息，包括：
接收用户触发的数据处理指令；
从数据库集群中的每个分布式数据库中拉取针对所述数据实体的历史操作信息；
所述基于所述历史操作信息构建数据血缘网络，包括：
根据所述历史操作信息对数据实体进行流向分析，得到所述数据实体之间的流向线路；
基于所述数据实体以及数据实体之间的流向线路构建数据血缘网络。


4.如权利要求3所述的数据处理方法，其特征在于，所述历史操作信息包括数据实体中字段的字段操作信息，所述数据实体之间的流向线路包括字段与其他数据实体之间的流向线路，根据所述历史操作信息对数据实体进行流向分析，得到所述数据实体之间的流向线路，包括：
根据所述字段操作信息查询数据实体中与所述字段有依赖关系的所有其他数据实体；
基于所述依赖关系确定所述字段与其他数据实体之间的流向线路。


5.如权利要求1所述的数据处理方法，其特征在于，对所述特征集合中的特征进行评分预测，得到所述特征集合中特征的预测评分，包括：
对所述特征集合中的特征进行数据预处理，得到处理后特征；
采用评分模型计算所述处理后特征的预测评分。


6.如权利要求5所述的数据处理方法，其特征在于，所述评分模型包括线性相关模型和非线性相关模型，采用评分模型计算所述处理后特征的预测评分，包括：
采用所述线性分析模型计算所述处理后特征之间的线性相关度；
采用所述非线性相关模型计算所述处理后特征之间的非线性相关度；
基于所述线性相关度和非线性相关度确定所述处理后特征的预测评分。


7.如权利要求6所述的数据处理方法，其特征在于，基于所述线性相关度和非线性相关度确定所述处理后特征的预测评分之后，还包括：
基于所述线性相关度和非线性相关度生成处理后特征之间的相关度热力图；
展示所述处理后特征之间的相关度热力图。


...

【专利技术属性】
技术研发人员：华鹏，谢明辰，康伟乐，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44