一种数据宽表的确定方法及装置制造方法及图纸

本申请公开了数据宽表的确定方法及装置，涉及数据处理技术领域，用于提高电商服务器的查询效率。应用于电商服务器，所述电商服务器包括多张单表；所述多张单表中每张单表包括至少一种商品的数据信息；所述方法包括：根据用户的检索数据信息确定所述数据宽表的字段；其中，所述检索数据信息包括商品名称，所述字段与所述商品名称之间具有对应关系；根据所述字段查询所述每张单表中与所述字段对应的数据信息；根据所述字段及所述字段对应的数据信息，确定所述数据宽表。

A method and device for determining data width table

【技术实现步骤摘要】
一种数据宽表的确定方法及装置
本申请实施例涉及数据处理
，尤其涉及一种数据宽表的确定方法及装置。
技术介绍
随着互联网技术的不断发展，数据量越来越多。以电商系统为例，传统的电商系统一般将数据通过多表形式存储于一个关系型数据库，例如mysql数据库。电商系统的关系型数据库包括多张单表(例如，商品图片表，商品店铺名称表)，每张单表包括多个数据。由于电商系统的数据涉及的内容非常广泛，当用户查询一种商品时，则电商服务器需要查询关系型数据库中与该商品有关的每张表中的数据，也即需要跨表查询。随着电商系统中商品数量的不断变化，电商系统的关系型数据库中表的数量越来越多且每张表的数据量也越来越大，会导致跨表查询的速度逐渐变慢，因此传统的关系型数据库已经不能满足电商系统海量数据的查询需求。
技术实现思路
本申请实施例提供了一种数据宽表的确定方法及装置，用以提高电商服务器的查询效率。为达到上述目的，本申请的实施例采用如下技术方案：第一方面，提供了一种数据宽表的确定方法，应用于电商服务器，电商服务器包括多张单表；多张单表中每张单表包括至少一种商品的数据信息。该方法包括：根据用户的检索数据信息确定数据宽表的字段；其中，检索数据信息包括商品名称，字段与商品名称之间具有对应关系；根据字段查询每张单表中与字段对应的数据信息；根据字段及字段对应的数据信息，确定数据宽表。基于上述技术方案，通过用户的检索数据信息确定数据宽表的字段，根据字段查询多张单表中与字段对应的至少一个数据信息，以得到该数据宽表的数据值。根据字段与字段对应的数据值，得到完整的数据宽表。现有技术中查询时需要查询多张关联的单表，才能确定数据信息，也就是说，每张单表都要进行数据信息的查询，导致查询效率较慢。本申请中将多张单表的数据信息导入一张数据宽表中，这样查询数据信息时，只需要在一张表中查询数据信息，因此可以提高数据信息的查询效率。第二方面，提供了一种数据宽表的确定装置，该确定装置可以实现第一方面的方法，该装置包括：存储单元，处理单元，查询单元。存储单元，用于存储多张单表；多张单表中每张单表包括至少一种商品的数据信息。处理单元，用于根据用户的检索数据信息确定数据宽表的字段；其中，检索数据信息包括商品名称，字段与商品名称之间具有对应关系。查询单元，用于根据字段查询每张单表中与字段对应的数据信息。处理单元，还用于根据字段及字段对应的数据信息，确定数据宽表。第三方面，提供了一种可读存储介质，所述可读存储介质中存储有指令，所述指令当被执行时，实现第一方面所述的数据宽表的确定方法。第四方面，提供了一种计算机程序产品，计算机程序产品包含至少一个指令，当所述指令在计算机上运行时，使得计算机执行如第一方面所述的数据宽表的确定方法。第五方面，提供一种芯片，芯片包括至少一个处理器及通信接口，通信接口和至少一个处理器耦合，至少一个处理器用于运行计算机程序或指令，以实现第一方面的方法。上述提供的任一种装置或计算机存储介质或计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文提供的对应的方法中对应方案的有益效果，此处不再赘述。附图说明图1为本申请的实施例提供的一种数据处理的示意图；图2为本申请的实施例提供的一种数据宽表的确定方法的流程示意图；图3为本申请的实施例提供的另一种数据宽表的确定方法的流程示意图；图4为本申请的实施例提供的一种数据宽表的确定装置的结构示意图；图5为本申请的实施例提供的又一种数据宽表的确定装置的结构示意图；图6为本申请实施例提供的一种芯片的结构示意图。具体实施方式为了便于清楚描述本申请实施例的技术方案，在本申请的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。例如，第一阈值和第二阈值仅仅是为了区分不同的阈值，并不对其先后顺序进行限定。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。需要说明的是，本申请中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。本申请中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B的情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a，b，或c中的至少一项(个)，可以表示：a，b，c，a-b，a-c，b-c，或a-b-c，其中a，b，c可以是单个，也可以是多个。为了便于理解本申请的技术方案，下面对一些技术术语进行介绍。1、数据宽表数据宽表指包括多个字段的数据库表，每个字段对应至少一个数据值。例如，字段为空调，则对应的数据值可以包括空调型号，生产厂家、生产日期、空调颜色等中的一个或多个。数据宽表可以将业务主体相关的指标、维度、属性关联在一起。其中，指标指业务的参数，例如CPU的利用率；维度指业务的评估角度，如时间维度、大小维度；属性指业务的属性，例如空调的颜色、空调的尺寸等。数据宽表具有开发方便、迅速的特点，同时通过数据宽表还可以提高数据查询速度。宽表的设计广泛应用于数据挖掘模型训练前的数据准备，通过把相关字段放在同一张表中，可以大大提高数据挖掘模型训练过程中迭代计算的效率。2、hbase数据库hbase(HadoopDatabase)数据库，是一种高可靠性、高性能、面向列、可伸缩的分布式存储系统。在低配置的电脑服务器(PCServer)上利用hbase数据库，可构建大规模结构化存储集群。hbase数据库具有成本较低、高性能、高负载、分布式处理的特点。对于电商服务器中的图片，视频，本文，音频等海量数据，hbase数据库采用分布式存储检索技术，能够多结点分布式处理这些数据。3、mysql数据库mysql数据库是一种关系数据库管理系统。关系数据库将数据保存在不同的表中，而不是将所有数据放在一个大仓库内mysql数据库具有体积小、速度快、成本低、开发源码的特点。4、es数据库es数据库是一种分布式文档数据库。es数据库包括多个文档，每个文档包括多个字段。其中，每个字段均可被索引，而且每个字段的数据均可被搜索。es数据库能够横向扩展至数以百计的服务器存储以及处理拍字节(petabytes，PB)级的数据。可以在极短的时间内存储、搜索和分析大量的数据。ES具有高可用性和可扩展性，一方面可以通过升级硬件来完成系统扩展，另一方面，可通过增加更多的本文档来自技高网...

【技术保护点】
1.一种数据宽表的确定方法，其特征在于，应用于电商服务器，所述电商服务器包括多张单表；所述多张单表中每张单表包括至少一种商品的数据信息；所述方法包括：/n根据用户的检索数据信息确定所述数据宽表的字段；其中，所述检索数据信息包括商品名称，所述字段与所述商品名称之间具有对应关系；/n根据所述字段查询所述每张单表中与所述字段对应的数据信息；/n根据所述字段及所述字段对应的数据信息，确定所述数据宽表。/n

【技术特征摘要】
1.一种数据宽表的确定方法，其特征在于，应用于电商服务器，所述电商服务器包括多张单表；所述多张单表中每张单表包括至少一种商品的数据信息；所述方法包括：
根据用户的检索数据信息确定所述数据宽表的字段；其中，所述检索数据信息包括商品名称，所述字段与所述商品名称之间具有对应关系；
根据所述字段查询所述每张单表中与所述字段对应的数据信息；
根据所述字段及所述字段对应的数据信息，确定所述数据宽表。


2.根据权利要求1所述的确定方法，其特征在于，所述根据所述字段及所述字段对应的数据信息，确定所述数据宽表，包括：
根据所述字段对应的数据信息确定所述数据宽表的数据值；
通过多线程技术将所述字段对应的数据值，导入所述数据宽表。


3.根据权利要求1所述的确定方法，其特征在于，所述方法还包括：
若所述数据宽表的数据信息的数量大于或等于第一阈值，则将所述数据宽表存储在第一类型数据库；所述第一类型数据库包括es数据库、hbase数据库中的任一个；
若所述数据宽表的数据信息的检索频率小于第二阈值，则将所述数据宽表存储在fastdfs数据库。


4.根据权利要求3所述的确定方法，其特征在于，所述方法还包括：
若所述第一类型数据库中第一数据信息的检索频率大于或等于所述第二阈值，则将所述第一数据信息存储在redis数据库。


5.根据权利要求1-4任一项所述的确定方法，其特征在于，所述方法还包括：
检测所述电商服务器中的多张单表中每张单表的数据信息是否发生变化；
若所述多张单表中任一单表中的数据信息发生变化，则更新所述数据宽表中与发生变化的数据信息对应的数据值。


6.一种数据宽表的确定装置，其特征在于，应用于电商服务器，所述确定装置包括：存储单元，处理单元，查询单元；
所述存...

【专利技术属性】
技术研发人员：张宾，武斌，于晓昆，高亚斌，姚悦，李海茹，
申请(专利权)人：国网电子商务有限公司，英大商务服务有限公司，
类型：发明
国别省市：北京;11