一种数据表的处理方法、装置及存储介质制造方法及图纸

本发明专利技术公开了一种数据表的处理方法，包括：基于查询语句对目标数据表的单次执行成本、以及所述目标数据表中各列的执行次数，确定所述查询语句对应所述目标数据表中各列的执行成本；基于所述各列的执行成本，确定各列的执行成本比例；将满足预设执行成本比例条件的列，作为所述目标数据表的分区键；基于所述目标数据表的分区键，对所述目标数据表进行处理；所述单次执行成本表示对所述目标数据表执行所述查询语句所消耗的硬件资源。本发明专利技术还同时公开了一种数据表的处理装置、以及存储介质。

【技术实现步骤摘要】
一种数据表的处理方法、装置及存储介质
本专利技术涉及电数字数据处理
，尤其涉及一种数据表的处理方法、装置及存储介质。
技术介绍
互联网时代促使数据库数据爆发性增长，在大数据时代，对于传统的关系型数据库来说，在进行数据查询或清理的过程中，无论是采用全表扫描的方式还是采用索引扫描的方式，都因为数据量过于巨大，导致数据查询或清理效率低，且准确性不高。现有技术中，为了提高数据库的查询速度以及便于对历史数据进行数据清理，会采用对数据表进行分区的方法，但是，需要依赖对业务熟悉的开发人员来操作，因此，这就需要大量的人力资源，极大地增加了处理成本，降低了数据库分区效率和准确性。
技术实现思路
有鉴于此，本专利技术实施例期望提供一种数据表的处理方法、装置及存储介质，能够智能地确定分区键。为达到上述目的，本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种数据表的处理方法，所述方法包括：基于查询语句对目标数据表的单次执行成本、以及所述目标数据表中各列的执行次数，确定所述查询语句对应所述目标数据表中各列的执行成本；基于所述各列的执行成本，确定各列的执行成本比例；将满足预设执行成本比例条件的列，作为所述目标数据表的分区键；基于所述目标数据表的分区键，对所述目标数据表进行处理；所述单次执行成本表示对所述目标数据表执行所述查询语句所消耗的硬件资源。本专利技术实施例还提供一种数据表的处理装置，所述装置包括：第一确定模块、第二确定模块、第三确定模块和处理模块；其中，所述第一确定模块，用于基于查询语句对目标数据表的单次执行成本、以及所述目标数据表中各列的执行次数，确定所述查询语句对应所述目标数据表中各列的执行成本；所述第二确定模块，用于基于所述各列的执行成本，确定各列的执行成本比例；所述第三确定模块，用于将满足预设执行成本比例条件的列，作为所述目标数据表的分区键；所述处理模块，用于基于所述目标数据表的分区键，对所述目标数据表进行处理；所述单次执行成本表示对所述目标数据表执行所述查询语句所消耗的硬件资源。本专利技术实施例还提供一种存储介质，其上存储有可执行程序，所述可执行程序被处理器执行时实现前述任意一种数据表的处理方法。本专利技术实施例还提供一种数据表的处理装置，包括存储器、处理器及存储在存储器上并能够由所述处理器运行的可执行程序，所述处理器运行所述可执行程序时执行前述任意一种数据表的处理方法。本专利技术实施例所提供的数据表的处理方法、装置及存储介质，通过确定查询语句对应目标数据表中各列的执行成本，并将满足执行成本比例条件的列，作为目标数据表的分区键，如此就能够根据分区键，实现对目标数据表的智能分区，从而降低人力资源和执行成本，提高对数据表的处理效率和准确性。附图说明图1为本专利技术实施例提供的数据表的处理方法的实现流程示意图；图2为本专利技术实施例提供的数据表的处理方法的具体实现流程示意图；图3为本专利技术实施例提供的数据表的处理装置的组成结构示意图；图4为本专利技术实施例提供的数据表的处理装置的硬件结构示意图。具体实施方式为了能够更加详尽地了解本专利技术实施例的特点与
技术实现思路
，下面结合附图对本专利技术实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本专利技术。图1为本专利技术实施例提供的一种数据表的处理方法；如图1所示，本专利技术实施例中的数据表的处理方法的实现流程，可以包括以下步骤：步骤101：基于查询语句对目标数据表的单次执行成本、以及目标数据表中各列的执行次数，确定查询语句对应目标数据表中各列的执行成本。在一些实施例中，可以通过查询数据库视图，获取查询语句对目标数据表的单次执行成本，其中，单次执行成本表示对目标数据表执行查询语句所消耗的硬件资源；可以查询数据库视图的设定列，获取查询语句对目标数据表中各列的执行次数。在一些实施例中，查询语句对应目标数据表中某一列的执行成本，可以是以该列作为过滤条件的查询语句查询目标数据表时的执行成本之和。举例来说，假定有n个查询语句对目标数据表进行了查询，以相同列为过滤条件的查询有a个，其中，a<＝n，p表示查询语句对目标数据表中该列的执行次数，C表示查询语句对目标数据表的单次执行成本，则查询语句对应目标数据表中该列的执行成本为：步骤102：基于各列的执行成本，确定各列的执行成本比例。在一些实施例中，可以确定查询语句对目标数据表的总执行成本，分别计算查询语句对应各列的执行成本与总执行成本的比值；其中，查询语句对目标数据表的总执行成本，可以是所有查询语句查询目标数据表时的执行成本之和。举例来说，查询语句对目标数据表的总执行成本可以表示为：P表示查询语句对应各列的执行成本与总执行成本的比值，可以表示为：步骤103：将满足预设执行成本比例条件的列，作为目标数据表的分区键。在一些实施例中，可以确定各列的执行成本的比值与设定阈值的大小关系，将大于设定阈值的比值所对应的列，作为目标数据表的分区键。举例来说，预设执行成本比例条件可以是，查询语句对应各列的执行成本与总执行成本的比值大于设定阈值，这里设定阈值可以为95％。通过公式可以计算出将不同列作为过滤条件的查询语句执行成本在针对目标数据表的查询语句的总执行成本的比值，进而可以将P>95％所对应的列(该列的列名ID可以通过步骤101获取)，作为目标数据表的分区键。步骤104：基于目标数据表的分区键，对目标数据表进行处理。在一些实施例中，可以基于分区键的类型，确定目标数据表的分区类型，其中，目标数据表的分区类型包括：范围分区、散列分区或列表分区。具体地，当分区键的类型是date型，并且是多次查询一个时间段的数据(例如当查询语句中多次出现“between……and”或者“<”、“>”、“><”等关键字)，则可以确定目标数据表的分区类型为范围分区，分区范围根据过滤条件可以选择按天、按月或者按年分区，分区键的类型为number型，且过滤条件也是按照范围进行过滤，总的范围大，则也可以确定目标数据表的分区类型为范围分区；若分区键重复值很高，只有少数的字符或者number型数据(根据dba_tab_columns表列统计信息视图中的num_distinct列获取)，则可以确定目标数据表的分区类型为列表分区；若分区键是数值或者字符型，且查询都是等值查询，则可以确定目标数据表的分区类型为散列分区。在一些实施例中，可以基于分区键和分区类型，对目标数据表进行分区。举例来说，当查询语句对目标数据表的总执行次数大于等于设定次数阈值时，暂停针对目标数据表的执行权限；基于分区键和分区类型创建分区表，并将目标数据表中的数据插入分区表中；将分区表的名称替换为目标数据表的名称，并删除目标数据表，启动针对分区表的执行权限。举例来说，当查询语句对目标数据表的总执行次数小于设定次数阈值时，基于分区键和分区类型，对目标数据表中的数据进行在线重定义。本专利技术实施例所提供的数据表的处理方法，通过确定查询语句对应目标数据表中各列的执行成本，并将满足执行成本比例条件的列，作为目标数据表的分区键，如此就能够根据分区键，实现对目标数据表的智能分区，从而降低人力资源和执行成本，提高对数据表的处理效率和准确性。下面对本专利技术实施例数据表的处理方法的具体实现过程做本文档来自技高网...

【技术保护点】
1.一种数据表的处理方法，其特征在于，所述方法包括：基于查询语句对目标数据表的单次执行成本、以及所述目标数据表中各列的执行次数，确定所述查询语句对应所述目标数据表中各列的执行成本；基于所述各列的执行成本，确定各列的执行成本比例；将满足预设执行成本比例条件的列，作为所述目标数据表的分区键；基于所述目标数据表的分区键，对所述目标数据表进行处理；所述单次执行成本表示对所述目标数据表执行所述查询语句所消耗的硬件资源。

【技术特征摘要】
1.一种数据表的处理方法，其特征在于，所述方法包括：基于查询语句对目标数据表的单次执行成本、以及所述目标数据表中各列的执行次数，确定所述查询语句对应所述目标数据表中各列的执行成本；基于所述各列的执行成本，确定各列的执行成本比例；将满足预设执行成本比例条件的列，作为所述目标数据表的分区键；基于所述目标数据表的分区键，对所述目标数据表进行处理；所述单次执行成本表示对所述目标数据表执行所述查询语句所消耗的硬件资源。2.根据权利要求1所述的方法，其特征在于，所述基于所述各列的执行成本，确定各列的执行成本比例，包括：确定所述查询语句对所述目标数据表的总执行成本；分别计算所述查询语句对应各列的执行成本与所述总执行成本的比值。3.根据权利要求2所述的方法，其特征在于，所述将满足预设执行成本比例条件的列，作为所述目标数据表的分区键，包括：确定各列的执行成本的比值与设定阈值的大小关系；将大于所述设定阈值的比值所对应的列，作为所述目标数据表的分区键。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：查询数据库视图，获取所述查询语句对所述目标数据表的单次执行成本；查询所述数据库视图的设定列，获取所述查询语句对所述目标数据表中各列的执行次数。5.根据权利要求1所述的方法，其特征在于，所述基于所述目标数据表的分区键，对所述目标数据表进行处理，包括：基于所述分区键的类型，确定所述目标数据表的分区类型；基于所述分区键和所述分区类型，对所述目标数据表进行分区。6.根据权利要求5所述的方法，其特征在于，所述目标数据表的分区类型包括：范围分区、散列分区或列表分区。7.根据权利要求5所述的方法，其特征在于，所述基于所述分区键和所述分区类...

【专利技术属性】
技术研发人员：张开威，张弛，
申请(专利权)人：咪咕音乐有限公司，中国移动通信集团有限公司，
类型：发明
国别省市：四川,51