优化表结构的方法和装置制造方法及图纸

本发明专利技术公开了一种优化表结构的方法，包括：对记录的查询请求进行语义分析，得到所述查询请求的目标数据；对得到的目标数据进行聚类分析，分析出所述目标数据的内在查询需求；对与所述内在查询需求相关的表的数据进行重新组合，生成组合后的表；通过所述组合后的表来完成新接收到的并且符合所述内在查询需求的查询。有助于筛选出对业务真正有价值的数据，将这些有价值的数据重新组合在一起，来完成今后的查询请求，可以有效提高查询效率。

【技术实现步骤摘要】

本专利技术属于计算机领域，具体地说，涉及一种优化表结构的方法和装置。
技术介绍
随着互联网的快速发展，很多互联网公司都已积累了TB量级的数据。数据仓库每天都在接收来自不同生态的数据，例如来自手机、智能电视、视频网站的用户数据记录等，做为大数据资源的一部分。各个互联网公司都会对积累下来的海量数据做进一步的挖掘和利用，为用户提供报表、底层查询界面、可视化的查询界面等。数据通常以表的形式存储，在对数据进行使用的过程中，每一次使用都需要一次查询操作。在海量数据的环境下，数据存储系统可能会存在几十亿条数据记录，而且保存的数据中并不是每一条数据记录都是有价值的数据。由于要从海量数据中查询到所需要的数据，导致进行每次查询操作的用时都会很长，会影响数据的使用效率。
技术实现思路
有鉴于此，本专利技术实施例提供了一种优化表结构的方法和装置，用以解决现有技术中由于缺少对有价值数据的有效识别而导致数据查询效率低下的技术问题。为了解决上述技术问题，本专利技术公开了一种优化表结构的方法，包括：对记录的查询请求进行语义分析，得到所述查询请求的目标数据；对得到的目标数据进行聚类分析，分析出所述目标数据的内在查询需求；对与所述内在查询需求相关的表的数据进行重新组合，生成组合后的表；通过所述组合后的表来完成新接收到的并且符合所述内在查询需求的查询。为了解决上述技术问题，本专利技术还公开了一种优化表结构的装置，包括：语义分析模块，用于对记录的查询请求进行语义分析，得到所述查询请求的目标数据；聚类分析模块，用于对得到的目标数据进行聚类分析，分析出所述目标数据的内在查询需求；数据组合模块，用于对与所述内在查询需求相关的表的数据进行重新组合，生成组合后的表；数据查询模块，用于通过所述组合后的表来完成新接收到的并且符合所述内在查询需求的查询。与现有技术相比，本专利技术实施例提供的优化表结构的方法和装置，得到针对数据的内在查询需求，根据该内在查询需求，对相关的表进行重新组合，对新接收到的并且符合相应的内在查询需求的查询请求，通过该组合后的表来进行数据查询。通过对数据的内在查询需求的分析，有助于筛选出对业务真正有价值的数据，将这些有价值的数据重新组合在一起，来完成今后的查询请求，可以有效提高查询效率。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的一种优化表结构的方法的流程图；图2是本专利技术实施例提供的一种优化表结构的装置的框图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例中，服务器将接收到的查询请求记录在日志中，对记录的
查询请求进行语义分析，得到每个查询请求的目标数据，然后再对所有目标数据进行聚类分析，得到针对数据的内在查询需求，根据该内在查询需求，对相关的表进行重新组合，对新接收到的并且符合相应的内在查询需求的查询请求，通过该组合后的表来进行数据查询。通过对数据的内在查询需求的分析，有助于筛选出对业务真正有价值的数据，将这些有价值的数据重新组合在一起，来完成今后的查询请求，可以有效提高查询效率，对于服务器而言也有助于降低存储成本，并对数据按照业务价值进行有效的区分。图1是本专利技术实施例提供的一种优化表结构的方法，适用于服务器，该服务器可以是数据存储服务设备、分布式存储系统的元数据服务器等，该方法包括以下步骤。S10，对记录的查询请求进行语义分析，得到所述查询请求的目标数据。语义分析的对象是服务器的日志数据中记录的查询请求，每个查询请求在代码层都对应着一条查询语句。得到的目标数据中包括查询的表和该表内的字段信息。因此，该语义分析的目的是为了分析出每个查询请求的目标数据。S11，对得到的目标数据进行聚类分析，分析出目标数据的内在查询需求。对目标数据进行统计，可以对该目标数据的被查询次数进行统计，也可以在统计被查询次数的基础上，再进一步统计查询该目标数据的用户数量。例如，查询语句1的目标数据是表A的01至03字段，则为表A的01至03字段打标签，以累计其被查询的次数。进行本次查询的是用户a，并且是该用户a首次查询表A的01至03字段，则将用户a累计到查询该目标数据的人数当中。当一种目标数据的统计数量能够达到一定预设门限时，即可将这种目标数据视为一种内在查询需求。例如，查询表A的01至03字段的次数达到十万次以上，或者查询人数达一万人以上，或者两个条件同时满足，此时，即可将针对表A的01至03字段的查询视为一种内在查询需求，说明这些数据在相应的业务中的价值更高。通过对目标数据的统计分析，从海量数据中找到符合条件的内在查询需求，从而将有价值的数据划分出来。S12，对与内在查询需求相关的表的数据进行重新组合，生成组合后的表。例如，针对表A的01至03字段的查询被统计为一种内在查询需求，那么表A就是与该内在查询需求相关的表。表A包括00至49共五十个字段，对表A的数据进行重新组合时，将被视为内在查询需求的01至03字段的数据提取出来，生成一张组合后的表，这张组合后的表只包含表A的01至03字段的数据。这是对与内在查询需求相关的表的数据进行重新组合的一种情形，即内在查询需求包括针对一个表的一个或多个特定字段的查询需求，那么此时就从这个表中提取对应的一个或多个特定字段的数据并生成组合后的表。在一个实施例中，内在查询需求可涉及到多个表，比如同时包括针对第一表的一个或多个特定字段以及第二表的一个或多个特定字段的查询需求。这种情况的出现是由于这两个表的数据经常被同时查询，即经常出现在同一个查询语句中。例如，表A的07至09字段和表B的02至04字段经常同时出现在同一个查询语句中，使得针对表A的07至09字段和表B的02至04字段的查询请求被分析为一种内在查询需求，表A和表B就成为了与这种内在查询需求相关的表，对数据进行组合时，将表A的07至09字段和表B的02至04字段分别从表A和表B中提取出来，并重新组合成一张新的表。S13，通过组合后的表来完成新接收到的并且符合所述内在查询需求的查询。这样做可以提高查询效率，例如上例中，原本需要从表A的00至49共五十个字段中查询出01至03三个字段，而现在将针对表A的01至03字段的查询请求通过组合后的表来完成，而该组合后的表只有表A的01至03字段数据，查询效率显然要比查询调整前的表A得到了提升。对于内在查询请求包括多个表的情况也是如此，而且查询效率的提升会更多。上述组合后的表相对于调整前的表而言，维度都有所降低，因此在接受同样的查询请求时就能够更快的完成查询。而调整前的表仍会继续保存下来，以应对针对该调整前的表中其他数据的查询，针对调整前的表中已成为内在查询需求的数据的查询请求都会通过组合后生成的新表来完成。而在本文档来自技高网...

【技术保护点】
一种优化表结构的方法，其特征在于，包括：对记录的查询请求进行语义分析，得到所述查询请求的目标数据；对得到的目标数据进行聚类分析，分析出所述目标数据的内在查询需求；对与所述内在查询需求相关的表的数据进行重新组合，生成组合后的表；通过所述组合后的表来完成新接收到的并且符合所述内在查询需求的查询。

【技术特征摘要】
1.一种优化表结构的方法，其特征在于，包括：对记录的查询请求进行语义分析，得到所述查询请求的目标数据；对得到的目标数据进行聚类分析，分析出所述目标数据的内在查询需求；对与所述内在查询需求相关的表的数据进行重新组合，生成组合后的表；通过所述组合后的表来完成新接收到的并且符合所述内在查询需求的查询。2.根据权利要求1所述的方法，其特征在于，所述内在查询需求包括针对第一表的一个或多个特定字段的查询需求；所述对与内在查询需求相关的表的数据进行重新组合，生成组合后的表包括：提取所述第一表的一个或多个特定字段的数据并生成所述组合后的表。3.根据权利要求1所述的方法，其特征在于，所述内在查询需求包括同时针对第一表的一个或多个特定字段以及第二表的一个或多个特定字段的查询需求；所述对与内在查询需求相关的表的数据进行重新组合，生成组合后的表包括：提取所述第一表的一个或多个特定字段以及第二表的一个或多个特定字段的数据，并生成所述组合后的表。4.根据权利要求1所述的方法，其特征在于，所述通过组合后的表来完成新接收到的并且符合所述内在查询需求的查询包括：将针对调整前的表进行的并且符合所述内在查询需求的查询请求重定向至所述组合后的表。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：将调整前的表迁移到数据查询速度相对更低的其他集群中进行保存。6....

【专利技术属性】
技术研发人员：刘宏斌，国铁龙，赵国兵，
申请(专利权)人：乐视控股北京有限公司，乐视网信息技术北京股份有限公司，
类型：发明
国别省市：北京;11