数据表处理方法、装置、介质及电子设备制造方法及图纸

本发明专利技术实施例提供了一种数据表处理方法、数据表处理装置、计算机可读介质及电子设备，该方法包括：获取与源数据表相关的多个历史查询语句，并确定各个历史查询语句中的查询字段以及每个查询字段的查询次数信息；根据查询字段以及各个查询字段的查询次数信息确定多个字段关系矩阵；根据字段关系矩阵中相邻查询字段的查询次数信息确定字段关系矩阵的字段关联系数，并根据字段关联系数从多个字段关系矩阵中选取目标字段关系矩阵；根据目标字段关系矩阵中相邻查询字段的查询次数信息确定多个字段拆分序列，并根据字段拆分序列确定与源数据表相对应的多个子数据表。该方法可以精简字段，提高数据查询效率。

Data sheet processing methods, devices, media and electronic equipment

【技术实现步骤摘要】
数据表处理方法、装置、介质及电子设备
本专利技术涉及计算机
，具体而言，涉及一种数据表处理方法、数据表处理装置、计算机可读介质及电子设备。
技术介绍
对于传统的关系型数据库而言，在数据表设计之初，往往会根据经验，或者根据当前情况下对业务的理解，尽可能地将较多的字段放到同一张表中，以此来增加数据库查询的存储和读取的效率。随着业务的发展，可能数据表中还需要不断追加更多的用于表示新增业务场景的字段。然而，随着同一张数据表中的字段过多，就会变成一张宽表，当随着数据量增大时，宽表的查询效率就会降低。因此，如何能够提高数据表的查询效率是目前亟待解决的问题。需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本专利技术实施例的目的在于提供一种数据表处理方法、数据表处理装置、计算机可读介质及电子设备，进而至少在一定程度上克服数据表字段冗余、查询效率低等技术问题。本专利技术的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本专利技术的实践而习得。根据本专利技术实施例的第一方面，提供了一种数据表处理方法，该方法包括：获取与源数据表相关的多个历史查询语句，并确定各个所述历史查询语句中的查询字段以及每个所述查询字段的查询次数信息；根据所述查询字段以及各个所述查询字段的查询次数信息确定多个字段关系矩阵；根据所述字段关系矩阵中相邻查询字段的查询次数信息确定所述字段关系矩阵的字段关联系数，并根据所述字段关联系数从多个字段关系矩阵中选取目标字段关系矩阵；根据所述目标字段关系矩阵中相邻查询字段的查询次数信息确定多个字段拆分序列，并根据所述字段拆分序列确定与所述源数据表相对应的多个子数据表。在本专利技术的一些实施例中，基于以上技术方案，所述获取与源数据表相关的多个历史查询语句，包括：确定源数据表所在的数据库，并获取所述数据库的数据交互日志；从所述数据交互日志中提取与所述源数据表相关的多个历史查询语句。在本专利技术的一些实施例中，基于以上技术方案，所述查询字段的查询次数信息包括一个查询字段的累积查询总次数以及两个不同查询字段的共同查询总次数。在本专利技术的一些实施例中，基于以上技术方案，所述根据所述查询字段以及各个所述查询字段的查询次数信息确定多个字段关系矩阵，包括：对所述查询字段进行排序以得到多个对应于不同字段排列顺序的字段序列；获取每个查询字段的累积查询总次数以及每个查询字段与另一查询字段的共同查询总次数；根据每个查询字段的累积查询总次数以及每个查询字段的共同查询总次数确定分别与各个所述字段序列相对应的多个字段关系矩阵。在本专利技术的一些实施例中，基于以上技术方案，所述根据所述字段关系矩阵中相邻查询字段的查询次数信息确定所述字段关系矩阵的字段关联系数，包括：在所述字段关系矩阵的一个矩阵行中根据每个查询字段以及相邻查询字段的查询次数信息确定每个查询字段的行内字段系数；将所述矩阵行中每个查询字段的行内字段系数累加得到所述矩阵行的行间字段系数；将所述字段关系矩阵中每个矩阵行的行间字段系数累加得到所述字段关系矩阵的字段关联系数。在本专利技术的一些实施例中，基于以上技术方案，所述根据所述目标字段关系矩阵中相邻查询字段的查询次数信息确定多个字段拆分序列，包括：确定与所述目标字段关系矩阵相关的目标字段序列；获取每个查询字段的查询次数信息中的累积查询总次数；根据所述累积查询总次数确定相邻两个查询字段的查询次数差值；根据所述查询次数差值在所述目标字段序列中确定一个或者多个字段分割位置；根据所述字段分割位置将所述目标字段序列拆分得到多个字段拆分序列。在本专利技术的一些实施例中，基于以上技术方案，所述根据所述字段拆分序列确定与所述源数据表相对应的多个子数据表，包括：根据所述字段拆分序列中的查询字段从所述源数据表中提取字段数据；按照所述字段拆分序列中各个查询字段的排列顺序将所述字段数据组合得到与所述源数据表相对应的多个子数据表。根据本专利技术的第二方面，提供一种数据表处理装置，该装置包括：字段确定模块，被配置为获取与源数据表相关的多个历史查询语句，并确定各个所述历史查询语句中的查询字段以及每个所述查询字段的查询次数信息；矩阵确定模块，被配置为根据所述查询字段以及各个所述查询字段的查询次数信息确定多个字段关系矩阵；矩阵筛选模块，被配置为根据所述字段关系矩阵中相邻查询字段的查询次数信息确定所述字段关系矩阵的字段关联系数，并根据所述字段关联系数从多个字段关系矩阵中选取目标字段关系矩阵；数据表拆分模块，被配置为根据所述目标字段关系矩阵中相邻查询字段的查询次数信息确定多个字段拆分序列，并根据所述字段拆分序列确定与所述源数据表相对应的多个子数据表。根据本专利技术实施例的第三方面，提供了一种计算机可读介质，其上存储有计算机程序，所述程序被处理器执行时实现如上述实施例中第一方面所述的数据表处理方法。根据本专利技术实施例的第四方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中第一方面所述的数据表处理方法。本专利技术实施例提供的技术方案可以包括以下有益效果：在本专利技术的一些实施例所提供的技术方案中，通过统计历史查询语句中各个查询字段的查询次数信息的方式，可以建立对应于不同字段排列方式的字段关系矩阵，再根据字段关系矩阵中查询字段的关联程度对源数据表进行拆分，可以在保留查询字段相互之间查询逻辑关系的同时，获得多个字段精简且具有高可用性的子数据表，从而可以大幅提高数据查询效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本专利技术。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本专利技术的实施例，并与说明书一起用于解释本专利技术的原理。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示意性地示出了本专利技术一些实施例中数据表处理方法的步骤流程图。图2示意性地示出了本专利技术一些实施例中获取历史查询语句的步骤流程图。图3示意性地示出了本专利技术一些实施例中确定字段关系矩阵的步骤流程图。图4示意性地示出了本专利技术一些实施例中确定字段关联系数的步骤流程图。图5示意性地示出了本专利技术一些实施例中确定字段拆分序列的步骤流程图。图6示意性地示出了本专利技术一些实施例中确定子数据表的步骤流程图。图7示意性地示出了在一应用场景下的数据表拆分方法。图8示意性地示出了本专利技术一些实施例中的数据表处理装置的组成框图。图9示出了适于用来实现本发本文档来自技高网...

【技术保护点】
1.一种数据表处理方法，其特征在于，包括：/n获取与源数据表相关的多个历史查询语句，并确定各个所述历史查询语句中的查询字段以及每个所述查询字段的查询次数信息；/n根据所述查询字段以及各个所述查询字段的查询次数信息确定多个字段关系矩阵；/n根据所述字段关系矩阵中相邻查询字段的查询次数信息确定所述字段关系矩阵的字段关联系数，并根据所述字段关联系数从多个字段关系矩阵中选取目标字段关系矩阵；/n根据所述目标字段关系矩阵中相邻查询字段的查询次数信息确定多个字段拆分序列，并根据所述字段拆分序列确定与所述源数据表相对应的多个子数据表。/n

【技术特征摘要】
1.一种数据表处理方法，其特征在于，包括：
获取与源数据表相关的多个历史查询语句，并确定各个所述历史查询语句中的查询字段以及每个所述查询字段的查询次数信息；
根据所述查询字段以及各个所述查询字段的查询次数信息确定多个字段关系矩阵；
根据所述字段关系矩阵中相邻查询字段的查询次数信息确定所述字段关系矩阵的字段关联系数，并根据所述字段关联系数从多个字段关系矩阵中选取目标字段关系矩阵；
根据所述目标字段关系矩阵中相邻查询字段的查询次数信息确定多个字段拆分序列，并根据所述字段拆分序列确定与所述源数据表相对应的多个子数据表。


2.根据权利要求1所述的数据表处理方法，其特征在于，所述获取与源数据表相关的多个历史查询语句，包括：
确定源数据表所在的数据库，并获取所述数据库的数据交互日志；
从所述数据交互日志中提取与所述源数据表相关的多个历史查询语句。


3.根据权利要求1所述的数据表处理方法，其特征在于，所述查询字段的查询次数信息包括一个查询字段的累积查询总次数以及两个不同查询字段的共同查询总次数。


4.根据权利要求3所述的数据表处理方法，其特征在于，所述根据所述查询字段以及各个所述查询字段的查询次数信息确定多个字段关系矩阵，包括：
对所述查询字段进行排序以得到多个对应于不同字段排列顺序的字段序列；
获取每个查询字段的累积查询总次数以及每个查询字段与另一查询字段的共同查询总次数；
根据每个查询字段的累积查询总次数以及每个查询字段的共同查询总次数确定分别与各个所述字段序列相对应的多个字段关系矩阵。


5.根据权利要求1所述的数据表处理方法，其特征在于，所述根据所述字段关系矩阵中相邻查询字段的查询次数信息确定所述字段关系矩阵的字段关联系数，包括：
在所述字段关系矩阵的一个矩阵行中根据每个查询字段以及相邻查询字段的查询次数信息确定每个查询字段的行内字段系数；
将所述矩阵行中每个查询字段的行内字段系数累加得到所述矩阵行的行间字段系数；
将所述字段关系矩阵中每个矩阵行的行间字段系数累加得到所述字段关系矩阵的字段关联系数...

【专利技术属性】
技术研发人员：韩佩利，施小江，王方博，何旺，
申请(专利权)人：泰康保险集团股份有限公司，
类型：发明
国别省市：北京;11