数据分类方法、终端、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据分类方法，包括以下步骤：在接收到数据分类指令时，获取目标特征标识，基于目标特征标识将数据集中的数据进行分块，基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集，分别发送子训练集至训练集、子验证集至验证集以及发送子测试集至测试集。本发明专利技术还公开了一种装置、终端及存储介质。在一个终端上通过将目标特征标识对应的特征数据相同的数据划分到一个数据块，然后按照预设比例将各个数据块分类为子训练集、子验证集以及子测试集并发送，实现了直接在终端将相应数据发送到训练集、验证集和测试集，与现有技术相比，在数据集分类时避免了在终端之间的数据移动，从而减少系统资源消耗。

Data classification method, terminal, device and storage medium

【技术实现步骤摘要】
数据分类方法、终端、装置及存储介质
本专利技术涉及终端
，尤其涉及一种数据分类方法、终端、装置及存储介质。
技术介绍
当今是一个大数据时代，大数据分析一般是在分布式系统上完成的，例如：分布式机器学习系统就是用来构建大数据下的机器学习模型。在训练机器学习模型过程中，一般会对原始数据按一定比例进行拆分，分为训练集、验证集和测试集，因此需要能够对存储在各计算节点上的原始数据按要求进行拆分，常见的拆分方法有随机拆分和分层拆分，其中分层拆分是根据用户选择的目标特征，对目标特征的各个值进行按比例拆分。例如用户选择待拆分的特征为x，该特征包含a，b，c三个值，那么需要对这三个值的数据分别进行拆分，然后合并各个值的拆分结果得到最终训练集、验证集和测试集。当前痛点：大数据一般分布式地存储在多个计算节点上，传统的map-reduce计算模式或者基于map-reduce计算模式的groupby算子等分层拆分方法都需要根据特征来对数据进行重新划分，即需要根据特征x的值，将存储在各个计算节点上的数据重新划分，使得各个计算节点上存储单一特征或选定的几个特征数据，然后对各个计算节点上的各特征数据进行按比例随机拆分，并将拆分结果汇聚得到最终的分层拆分结果。这种拆分方法需要在不同计算节点之间传输大量的数据，导致计算性能比较差。
技术实现思路
本专利技术的主要目的在于提供一种数据分类方法、终端、装置及存储介质，旨在解决现有训练机器学习模型的样本数据集在进行数据分类时，由于需要在分布式终端之间进行数据移动，从而导致系统处理负担重，数据分类时间较长的技术问题。为实现上述目的，本专利技术提供一种数据分类方法，应用于终端，所述数据分类方法包括以下步骤：在接收到数据分类指令时，获取目标特征标识；基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块；基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集；分别发送所述子训练集至训练集、所述子验证集至验证集以及发送所述子测试集至测试集。进一步地，在一实施方式中，所述数据包括目标特征标识，所述目标特征标识对应的特征数据有m种取值，m为正整数，所述基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块的步骤包括：将所述数据集中目标特征标识对应的特征数据取值相同的数据，划分到一个数据块中，以得到m种取值各自对应的数据块。进一步地，在一实施方式中，所述基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集的步骤包括：获取子训练集、子验证集以及子测试集的比例数据；遍历各个数据块，基于所述比例数据将各个数据块对应分配到所述子训练集、所述子验证集或所述子测试集中。进一步地，在一实施方式中，所述数据集包括第一数据，所述在接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：在所述第一数据中目标特征标识对应的特征数据满足训练集准入条件时，确定所述第一数据为训练集数据，并发送所述训练集数据至所述训练集。进一步地，在一实施方式中，所述在所述第一数据的目标特征标识对应的特征数据满足训练集准入条件时，确定所述第一数据为训练集数据的步骤包括：在所述训练集所需数据的数量大于或等于阈值，且所需数据的特征数据中存在所述第一数据的特征数据时，确定所述第一数据为所述训练集数据，其中，所需数据包括目标特征标识对应的特征数据。进一步地，在一实施方式中，所述数据集包括第二数据，所述在接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：在所述第二数据中目标特征标识对应的特征数据满足验证集准入条件时，确定所述第二数据为验证集数据，并发送所述验证集数据至所述验证集。进一步地，在一实施方式中，所述数据集包括第三数据，所述在接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：在所述第三数据中目标特征标识对应的特征数据满足测试集准入条件时，确定所述第三数据为测试集数据，并发送所述测试集数据至所述测试集。进一步地，在一实施方式中，所述数据分类装置包括：获取模块，用于在接收到数据分类指令时，获取目标特征标识；分块模块，用于基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块；分类模块，用于基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集；发送模块，用于分别发送所述子训练集至训练集、所述子验证集至验证集以及发送所述子测试集至测试集。为实现上述目的，本专利技术还提供一种终端，所述终端包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据分类程序，所述数据分类程序被所述处理器执行时实现如上所述的数据分类方法的步骤。此外，为实现上述目的，本专利技术还提供一种存储介质，所述存储介质上存储有数据分类程序，所述数据分类程序被处理器执行时实现上述任一项所述数据分类方法的步骤。本专利技术在接收到数据分类指令时，获取目标特征标识，而后基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块，接下来基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集，最后分别发送所述子训练集至训练集、所述子验证集至验证集以及发送所述子测试集至测试集。通过将目标特征标识对应的特征数据相同的数据划分到一个数据块，然后按照预设比例直接将各个数据块分类为训练集、验证集以及测试集，最后分别发送所述子训练集至训练集、所述子验证集至验证集以及发送所述子测试集至测试集，实现了直接在终端将相应数据发送到训练集、验证集和测试集，与现有技术相比(所有参与数据分类的终端根据目标特征进行数据移动，用于实现目标特征取值相同的数据划分到同一个终端)，在数据分类时避免了终端之间的数据移动，从而减少系统资源消耗，同时还节省了数据分类时间，提升数据分类效率。附图说明图1是本专利技术实施例方案涉及的硬件运行环境中终端的结构示意图；图2为本专利技术数据分类方法第一实施例的流程示意图；图3为本专利技术数据分类方法一实施例中现有技术的流程示意图；图4为本专利技术数据分类方法一实施例中分类处理全流程的示意图；图5为本专利技术数据分类方法第二实施例的流程示意图；图6为本专利技术数据分类装置实施例的功能模块示意图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，图1是本专利技术实施例方案涉及的硬件运行环境中终端的结构示意图。如图1所示，该终端可以包括：处理器1001，例如CPU，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线本文档来自技高网...

【技术保护点】
1.一种数据分类方法，其特征在于，应用于终端，所述数据分类方法包括以下步骤：/n在接收到数据分类指令时，获取目标特征标识；/n基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块；/n基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集；/n分别发送所述子训练集至训练集、所述子验证集至验证集以及发送所述子测试集至测试集。/n

【技术特征摘要】
1.一种数据分类方法，其特征在于，应用于终端，所述数据分类方法包括以下步骤：
在接收到数据分类指令时，获取目标特征标识；
基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块；
基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集；
分别发送所述子训练集至训练集、所述子验证集至验证集以及发送所述子测试集至测试集。


2.如权利要求1所述数据分类方法，其特征在于，所述数据包括目标特征标识，所述目标特征标识对应的特征数据有m种取值，m为正整数，所述基于所述目标特征标识将数据集中的数据进行分块，得到多个数据块的步骤包括：
将所述数据集中目标特征标识对应的特征数据取值相同的数据，划分到一个数据块中，以得到m种取值各自对应的数据块。


3.如权利要求1所述数据分类方法，其特征在于，所述基于预设分类规则对各个数据块进行分类操作，以得到子训练集、子验证集以及子测试集的步骤包括：
获取子训练集、子验证集以及子测试集的比例数据；
遍历各个数据块，基于所述比例数据将各个数据块对应分配到所述子训练集、所述子验证集或所述子测试集中。


4.如权利要求1所述数据分类方法，其特征在于，所述数据集包括第一数据，所述在接收到数据分类指令时，获取目标特征标识的步骤之后，还包括：
在所述第一数据中目标特征标识对应的特征数据满足训练集准入条件时，确定所述第一数据为训练集数据，并发送所述训练集数据至所述训练集。


5.如权利要求4所述数据分类方法，其特征在于，所述在所述第一数据的目标特征标识对应的特征数据满足训练集准入条件时，确定所述第一数据为训练集数据的步骤包括：
在所述训练集所需数据的数量大于或等于阈...

【专利技术属性】
技术研发人员：陈瑞钦，黄启军，李诗琦，唐兴兴，林冰垠，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44