数据处理方法及其装置、电子设备以及计算机可读介质制造方法及图纸

本公开提供了一种数据处理方法，包括：获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度与一个特征的特征值相对应，所述特征值为连续值；获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；向所述第一分类树输入所述目标数据，以便确定所述目标数据所划分到的第一叶子节点；以及至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。本公开还提供了一种数据处理装置、一种电子设备和一种计算机可读存储介质。

Data processing method and its device, electronic equipment and computer readable medium

【技术实现步骤摘要】
数据处理方法及其装置、电子设备以及计算机可读介质
本公开涉及计算机
，更具体地，涉及一种数据处理方法、一种数据处理装置、一种电子设备以及一种计算机可读介质。
技术介绍
随着通信和计算机技术的快速发展，在各种应用领域的信息化过程中产生了海量数据，迫切需要将这些数据转换成有价值的信息和知识，这使得数据挖掘技术受到了越来越多的关注。数据挖掘从大量的、不完全的、有噪声的、模糊的、随机的实际应用数据中，提取其中隐含的且人们事先不知道的但又潜在有用的信息和知识的过程。例如，根据用户的年龄、性别、以往交易历史等数据，可以分析出用户的交易风险，或者可以分析出用户的偏好以向其推荐感兴趣的商品。数据挖掘的一个重要步骤是对数据进行预处理，将杂乱的数据转为可以进行建模的数据，从而便于得到数据背后隐含的信息。现实世界的大部分数据具有连续值，如用户年龄、每月消费金额、通话时长等。由于具有连续值的数据之间重复少，通常存在计算量大、计算时间长、浪费计算资源等一系列问题，因此，需要在预处理中将这些连续值离散化。现阶段对具有连续值的数据的处理方法为数据分箱(binning)。在实现本公开构思的过程中，专利技术人发现在现有技术中至少存在如下问题。首先现有分箱方法仅能分析单维特征以寻找该特征的离散划分方法，不能考虑多特征数据的多个特征之间的相互关系。另外，现有分箱方法需要找到恰当的多个固定数量的分割点，但当分箱数过多或者数据分布密度的偏差性明显时，这通常是极为困难的，因此难以准确地离散化连续数据。
技术实现思路
有鉴于此，本公开提供了能够更准确地对具有连续特征值的多维度数据进行离散化的数据处理方法、数据处理装置、电子设备以及计算机可读介质。本公开的一个方面提供了一种数据处理方法，包括：获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度与一个特征的特征值相对应，所述特征值为连续值；获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；向所述第一分类树输入所述目标数据，以便确定所述目标数据所划分到的第一叶子节点；以及至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。根据本公开的实施例，所述方法还包括：获取样本集，所述样本集中包括多个样本数据，每个样本数据都与所述目标数据具有相同的数据结构；执行第一方法体，以确定所述第一分类树的根节点；迭代执行第二方法体，以确定所述第一分类树的除所述根节点之外的其他节点；其中，所述第一方法体包括以下操作：逐维度地遍历所述样本集中所有样本数据的特征值，以确定每个维度的特征值的分裂点；基于确定的各个维度的特征值的分裂点，确定所述第一分类树的根节点；基于所述根节点将所述样本集划分为两个子样本集；其中，所述第二方法体包括以下操作：逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点；基于确定的各个预定维度的特征值的分裂点，确定所述第一分类树的对应深度的子节点；以及基于所述对应深度的子节点将所述子样本集划分为两个子样本集。根据本公开的实施例，在所述第一方法体中，所述基于确定的各个维度的特征值的分裂点，确定所述第一分类树的根节点包括：针对每个维度的特征值的分裂点，计算总样本的基尼系数，得到多个基尼系数；将与所述多个基尼系数中的最小基尼系数对应的维度的特征以及对应的特征值的分裂点作为所述根节点的分类依据。根据本公开的实施例，在所述第二方法体中，所述逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点，包括：在满足预定条件的情况下，执行所述逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点的操作，其中，所述预定条件包括：当前得到的分类树的深度小于第一预设值，和/或所述子样本集中的样本数据的数量大于第二预设值。根据本公开的实施例，所述方法还包括：获取预定的至少一个第二分类树，每个第二分类树的每个叶子节点对应一个离散的特征值；向所述每个第二分类树输入所述目标数据，从而确定所述目标数据所划分到的所有的第二叶子节点；以及将与每个所述第二叶子节点对应的离散的特征值以及与所述第一叶子节点对应的离散的特征值作为所述目标数据的第二离散化结果。根据本公开的实施例，所述方法还包括：执行第三方法体，以构建所述至少一个第二分类树中的第一个第二分类树；迭代执行第四方法体，以构建所述至少一个第二分类树中的其他第二分类树；其中，所述第三方法体包括以下操作：向所述第一分类树输入所述样本集中的所有的样本数据，从而确定每个样本数据所划分到的第二叶子节点；根据划分结果计算所述每个样本数据的第一标签值；基于计算得到的所述每个样本数据的第一标签值，调用并执行用于构建所述第一分类树的方法体，以构建所述第一个第二分类树；其中，所述第四方法体包括以下操作：向第(N-1)个第二分类树输入所述样本集中的所有的样本数据，从而确定每个样本数据所划分到的第三叶子节点；根据划分结果计算所述每个样本数据的第二标签值；基于计算得到的所述每个样本数据的第二标签值，调用并执行用于构建所述第(N-1)个第二分类树的方法体，以构建所述第N个第二分类树，其中，N≥2且N为整数。根据本公开的实施例，所述方法还包括：确定从所述第一分类树的根节点到所述第一叶子节点之间的路径；以及根据所述路径确定与所述第一离散化结果对应的组合特征。本公开的另一个方面提供了一种数据处理装置，包括：第一获取单元，被配置为获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度对应一个特征的特征值，所述特征值为连续值；第二获取单元，被配置为获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；确定单元，被配置为向所述第一分类树输入所述目标数据，从而确定所述目标数据所划分到的第一叶子节点；以及第三获取单元，被配置为至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。本公开的另一方面提供了一种电子设备，包括一个或多个处理器以及存储装置，其中，所述存储装置用于存储可执行指令，所述可执行指令在被所述处理器执行时，实现如上所述的方法。本公开的另一方面提供了一种计算机可读存储介质，存储有计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。本公开的另一方面提供了一种计算机程序，所述计算机程序包括计算机可执行指令，所述指令在被执行时用于实现如上所述的方法。根据本公开的实施例，由于第一分类树的每个叶子节点表示多个维度的特征值的组合关系，因而可以将特征间关联性引入数据离散化的结果中，这样，能够解决现有分箱方法不能考虑数据的多个特征之间的相互关系的问题，从而达到了更准确地对具有连续特征值的多维度数据进行离散化的技术效果。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1示意性示出了根据本公开实施例的数据处理方法和装置的系统架构；图2示意性示出了根据本公开实施例的数本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：/n获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度与一个特征的特征值相对应，所述特征值为连续值；/n获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；/n向所述第一分类树输入所述目标数据，以便确定所述目标数据所划分到的第一叶子节点；以及/n至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。/n

【技术特征摘要】
1.一种数据处理方法，包括：
获取目标数据，所述目标数据包括多维度数据，且所述目标数据的每个维度与一个特征的特征值相对应，所述特征值为连续值；
获取预定的第一分类树，所述第一分类树的每个叶子节点对应一个离散的特征值；
向所述第一分类树输入所述目标数据，以便确定所述目标数据所划分到的第一叶子节点；以及
至少将与所述第一叶子节点对应的离散的特征值作为所述目标数据的第一离散化结果。


2.根据权利要求1所述的方法，其中，所述方法还包括：
获取样本集，所述样本集中包括多个样本数据，每个样本数据都与所述目标数据具有相同的数据结构；
执行第一方法体，以确定所述第一分类树的根节点；
迭代执行第二方法体，以确定所述第一分类树的除所述根节点之外的其他节点；
其中，所述第一方法体包括以下操作：
逐维度地遍历所述样本集中所有样本数据的特征值，以确定每个维度的特征值的分裂点；
基于确定的各个维度的特征值的分裂点，确定所述第一分类树的根节点；
基于所述根节点将所述样本集划分为两个子样本集；
其中，所述第二方法体包括以下操作：
逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点；
基于确定的各个预定维度的特征值的分裂点，确定所述第一分类树的对应深度的子节点；以及
基于所述对应深度的子节点将所述子样本集划分为两个子样本集。


3.根据权利要求2所述的方法，其中，在所述第一方法体中，
所述基于确定的各个维度的特征值的分裂点，确定所述第一分类树的根节点包括：
针对每个维度的特征值的分裂点，计算总样本的基尼系数，得到多个基尼系数；
将与所述多个基尼系数中的最小基尼系数对应的维度的特征以及对应的特征值的分裂点作为所述根节点的分类依据。


4.根据权利要求2所述的方法，其中，在所述第二方法体中，
所述逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点，包括：
在满足预定条件的情况下，执行所述逐维度地遍历所述子样本集中所有样本数据的特征值，以确定每个预定维度的特征值的分裂点的操作，
其中，所述预定条件包括：当前得到的分类树的深度小于第一预设值，和/或所述子样本集中的样本数据的数量大于第二预设值。


5.根据权利要求2所述的方法，其中，所述方法还包括：
获取预定的至少一个第二分类树，每个第二分类树的每个叶子节点对应一个离散...

【专利技术属性】
技术研发人员：何源，张钧波，郑宇，
申请(专利权)人：京东数字城市成都科技有限公司，
类型：发明
国别省市：四川;51