一种数据处理方法、装置及电子设备制造方法及图纸

本申请公开了一种数据处理方法、装置及电子设备，该方法包括：获得待处理的目标数据在至少一个数据维度上的数据特征；获得目标数据对应的对象处理条件；基于数据特征和对象处理条件，确定针对目标数据的目标对象；以目标对象对目标数据进行处理，以使得目标数据的处理效率满足对象处理条件。本申请可以对目标数据进行多维度的分析，以此获得处理效率满足对象处理条件的目标对象对目标数据进行处理，这就可以为目标数据选取最合适的迁移方案。

A Data Processing Method, Device and Electronic Equipment

【技术实现步骤摘要】
一种数据处理方法、装置及电子设备
本申请涉及数据表迁移
，尤其涉及一种数据处理方法、装置及电子设备。
技术介绍
随着大数据时代的到来，用户产生的数据量越来越大，如何对其进行抽取和迁移就成了一个亟需解决的问题。目前，用作数据抽取和迁移的技术手段有很多，比如Sqoop、Talend、以及Kettle等。在针对待迁移的数据表选择迁移方案的时候，通常都需要人为的去选择合适的方案，比如依靠数据量的大小，但是数据表之间不仅仅在于数据量的区别，因此，导致选取的方案可能并不是最合适的迁移方案。因此，亟需对迁移方案的选取准确率进行提高。
技术实现思路
有鉴于此，本申请提供如下技术方案：一种数据处理方法，包括：获得待处理的目标数据在至少一个数据维度上的数据特征；获得所述目标数据对应的对象处理条件；基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象；以所述目标对象对所述目标数据进行处理，以使得所述目标数据的处理效率满足所述对象处理条件。优选的，基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象，包括：获得所述对象处理条件对应的分类模型，其中，利用多个具有预设的对象标签的样本训练所述分类模型；将所述数据特征输入所述分类模型中，以输出分类结果；在所述分类结果对应的至少一个处理对象中，确定所述对象处理条件相匹配的目标对象。优选的，所述利用多个具有预设的对象标签的样本训练所述分类模型，包括：获得至少一个数据样本，所述数据样本均在至少一个数据维度上具有数据特征，且所述数据样本具有预设的对象标签，所述对象标签表征以所述对象标签对应的处理对象对所述数据样本进行处理的效率满足对应的对象处理条件；基于所述数据样本的数据特征及其对象标签，对基于决策树算法的分类模型进行训练。优选的，所述数据维度，包括：所述目标数据的数据表维度，其中，所述数据表维度包括：行数、列数、数据类型和数据表来源中的一种或多种维度。优选的，所述目标数据的处理效率满足所述对象处理条件，包括：所述目标数据的处理效率高于所述对象处理条件中的目标处理效率值。一种数据处理装置，包括：获得单元，用于获得待处理的目标数据在至少一个数据维度上的数据特征；并获得所述目标数据对应的对象处理条件；确定单元，用于基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象；处理单元，用于以所述目标对象对所述目标数据进行处理，以使得所述目标数据的处理效率满足所述对象处理条件。一种电子设备，包括：存储器，用于存储应用程序及所述应用程序运行所产生的数据；处理器，用于执行所述应用程序，以实现功能：获得待处理的目标数据在至少一个数据维度上的数据特征；获得所述目标数据对应的对象处理条件；基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象；以所述目标对象对所述目标数据进行处理，以使得所述目标数据的处理效率满足所述对象处理条件。经由上述的技术方案可知，本申请实施例提供了一种数据处理方法，通过获得待处理的目标数据在至少一个数据维度上的数据特征和对应的对象处理条件，来确定针对目标数据的目标对象，以该目标对象对目标数据进行处理来实现目标数据的处理效率满足对象处理条件。由此可见，本申请可以对目标数据进行多维度的分析，以此获得处理效率满足对象处理条件的目标对象对目标数据进行处理，这就可以为目标数据选取最合适的迁移方案。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请实施例公开的服务器集群的系统架构图；图2为本申请实施例公开的电子设备的硬件结构框图；图3为本申请实施例一公开的数据处理方法的方法流程图；图4为本申请实施例公开的数据表的示意图；图5为本申请实施例二公开的数据处理方法的方法流程图；图6为本申请实施例三公开的数据处理方法的方法流程图；图7为本申请实施例公开的决策树分类模型的示意图；图8为本申请实施例公开的数据处理装置的结构示意图；图9为本申请场景实施例公开的数据处理方法的方法流程图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。本申请实施例提供的一种数据处理方法可以应用于云计算的服务器集群。图1为本申请实施例提供的一种服务器集群的系统架构图，参照图1，数据迁移可以发生在服务器之间，比如数据由服务器1迁移到服务器2上，还可以发生在服务器内部，比如数据由磁盘1(图1中未示出)迁移到磁盘2(图1中未示出)上。需要说明的是，以上描述仅为数据迁移的一种应用场景，可以理解的是，对于未列举到的其他涉及数据迁移的电子设备，均为本申请实施例的保护范围内。图2为本申请实施例提供的一种电子设备的硬件结构框图，参照图2，电子设备的硬件结构可以包括：存储器11、处理器12、通信接口13和通信总线14；在本申请实施例中，存储器11、处理器12、通信接口13和通信总线14的数量为至少一个，且存储器11、处理器12、通信接口13通过通信总线14完成相互间的通信。存储器11可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)等，例如至少一个磁盘存储器；其中，存储器存储应用程序及应用程序运行所产生的数据。处理器12可能是一个中央处理器CPU、GPU(GraphicsProcessingUnit，图形处理器)，或者是特定集成电路ASIC(ApplicationSpecificIntegratedCircuit)，或者是被配置成实施本专利技术实施例的一个或多个集成电路等；其中，处理器12用于执行应用程序，以实现功能：获得待处理的目标数据在至少一个数据维度上的数据特征；获得目标数据对应的对象处理条件；基于数据特征和对象处理条件，确定针对目标数据的目标对象；以目标对象对目标数据进行处理，以使得目标数据的处理效率满足对象处理条件。以上应用程序的细化功能和扩展功能可参照下文描述。本申请公开的一种数据处理方法的实施例一中，如图3所示，该方法包括如下步骤：步骤S101：获得待处理的目标数据在至少一个数据维度上的数据特征。本申请实施例中，待处理的目标数据可以以数据表、文档等形式存储。针对不同存储形式，目标数据的数据维度也不相同。比如，对于数据表来说，其数据维度可以包括行数、列数、数据类型和数据表来源；再比如，对于文档来说，其数据维度可以包括字符数、段落数、数据类型和文档来源。为方便理解，本申请实施例以数据表为例对数据特征进行说明：可以获得目标数据的数据表维度，该数据表维度包括行数、列数、数据类型和数据表来源中的一种或多种维度。图4为本申请实施例提供的一种数据表的示意图，参照图4，该数据表的行数为“20”、列数为“13”、数据类型为“数值”、文档来源为“本地磁盘C”。步骤S102：获得目标数据对应的对象处理条件。本实施例中，针对不同数据，可本文档来自技高网...

【技术保护点】
1.一种数据处理方法，包括：获得待处理的目标数据在至少一个数据维度上的数据特征；获得所述目标数据对应的对象处理条件；基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象；以所述目标对象对所述目标数据进行处理，以使得所述目标数据的处理效率满足所述对象处理条件。

【技术特征摘要】
1.一种数据处理方法，包括：获得待处理的目标数据在至少一个数据维度上的数据特征；获得所述目标数据对应的对象处理条件；基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象；以所述目标对象对所述目标数据进行处理，以使得所述目标数据的处理效率满足所述对象处理条件。2.根据权利要求1所述的方法，基于所述数据特征和所述对象处理条件，确定针对所述目标数据的目标对象，包括：获得所述对象处理条件对应的分类模型，其中，利用多个具有预设的对象标签的样本训练所述分类模型；将所述数据特征输入所述分类模型中，以输出分类结果；在所述分类结果对应的至少一个处理对象中，确定所述对象处理条件相匹配的目标对象。3.根据权利要求2所述的方法，所述利用多个具有预设的对象标签的样本训练所述分类模型，包括：获得至少一个数据样本，所述数据样本均在至少一个数据维度上具有数据特征，且所述数据样本具有预设的对象标签，所述对象标签表征以所述对象标签对应的处理对象对所述数据样本进行处理的效率满足对应的对象处理条件；基于所述数据样本的数据特征及其对象标签，对基于决策树算法的分类模型进行训练。4.根据权利...

【专利技术属性】
技术研发人员：高鹏，
申请(专利权)人：联想北京有限公司，
类型：发明
国别省市：北京,11