一种订单数据索引方法、系统、计算机设备以及存储介质技术方案

本发明专利技术提供的一种订单数据索引方法、系统、计算机设备以及存储介质，方案方法包括：根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据；生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表；对所述数据服务层宽表划分得到若干分区；获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据；方案通过列式存储以及分布式计算服务来提高订单数量过大情况下的订单数据查询慢的效率，相对于传统数据库，可以做到秒级实时查询，查询速度更快且响应速度更快，可广泛应用于计算机技术领域。术领域。术领域。

【技术实现步骤摘要】
一种订单数据索引方法、系统、计算机设备以及存储介质


[0001]本专利技术属于计算机
，尤其是一种订单数据索引方法、系统、计算机设备以及存储介质。

技术介绍

[0002]随着移动互联网的发展，人们拥有日益增多的网络购物需求。电商平台随着交易量以及业务逻辑不断复杂，订单和客户逻辑关系会产生大量的数据，在传统数据技术模式下，一般使用关系型数据库管理系统MySQL作为存储引擎。MySQL在数据量级较小的情况下，可以满足业务的正常扭转。但是在现有的数据查询的方案中，数据量一旦过大，则会出现查询速度变慢，数据产品响应速度迟缓，造成用户订单卡死，数据分析卡死等情况。

技术实现思路

[0003]有鉴于此，为至少部分解决上述技术问题之一，本专利技术实施例目的在于提供一种更为便捷、更为高效迅速的能够应对数据并发的订单数据索引方法、系统、设备以及存储介质。
[0004]第一方面，本申请的技术方案提供了一种订单数据索引方法，其步骤包括：
[0005]根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据；
[0006]生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表；
[0007]对所述数据服务层宽表划分得到若干分区；
[0008]获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据。
[0009]在本申请方案的一种可行的实施例中，订单数据索引方法还包括：
[0010]获取存储时长大于所述时间阈值的第二订单数据，将所述第二订单数据进行离线清洗；
[0011]根据所述第二订单数据的第二字段属性与所述第一订单数据中第一字段属性的映射关系生成数据服务层宽表；
[0012]根据所述细节数据宽表中的订单数据进行聚类得到若干数据服务层宽表。
[0013]在本申请方案的一种可行的实施例中，所述生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类，包括以下步骤：
[0014]根据所述日志文件生成所述第一订单数据的原关键字，将所述原关键字与第一字符进行组合得到所述主关键字；
[0015]所述第一字符是通过所述第一订单数据的哈希值以及所述分区数量所计算得到的。
[0016]在本申请方案的一种可行的实施例中，在生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表这一步骤之前，
所述方法还包括：
[0017]获取所述第一订单数据，对所述第一订单数据进行脱敏处理；
[0018]所述脱敏处理包括以下步骤：
[0019]将所述第一订单数据中的用户信息替换成符号字符串；
[0020]根据所述映射关系对所述第一订单数据中的字段进行筛选。
[0021]在本申请方案的一种可行的实施例中，在所述将离线清洗后的所述第二订单数据与所述第一订单数据构建得到细节数据宽表这一步骤之后，所述方法还包括以下步骤至少之一：
[0022]将所述细节数据宽表中的订单数据进行规范化处理，统一所述订单数据的数据格式；
[0023]对所述细节数据宽表中的订单数据进行数据清洗，减少所述订单数据的空值以及脏数据。
[0024]在本申请方案的一种可行的实施例中，在所述根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据这一步骤之前，所述方法还包括：
[0025]通过正则表达式匹配数据表，所述数据表包括若干所述第一订单数据；
[0026]设置获取所述数据表的数据仓库参数。
[0027]在本申请方案的一种可行的实施例中，所述获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据，包括以下步骤：
[0028]获取若干历史查询结果，获取所述历史查询结果中的高频字段；
[0029]根据所述高频字段构建索引表，根据所述索引表进行目标订单数据查询。
[0030]第二方面，本专利技术的技术方案还提供一种订单数据索引系统，该系统包括：
[0031]数据获取模块，用于根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据；
[0032]数据分类模块，用于生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表；对所述数据服务层宽表划分得到若干分区；
[0033]数据查询模块，用于获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据。
[0034]第三方面，本专利技术的技术方案还提供一种订单数据索引的计算机设备，其包括：
[0035]至少一个处理器；
[0036]至少一个存储器，用于存储至少一个程序；
[0037]当至少一个程序被至少一个处理器执行，使得至少一个处理器运行第一方面中所述方法。
[0038]第四方面，本专利技术的技术方案还提供一种存储介质，其中存储有处理器可执行的程序，所述处理器可执行的程序在由处理器执行时用于运行第一方面所述一种订单数据索引方法。
[0039]本专利技术的优点和有益效果将在下面的描述中部分给出，其他部分可以通过本专利技术的具体实施方式了解得到：
[0040]本申请技术方案通过设置时间阈值，根据该时间阈值获取相应的订单数据，通过
订单数据的日志文件对海量的订单数据进行聚类划分得到数据服务层宽表，并构建相应的分区，分区中则包含了若干数据服务层宽表，然后根据查询指令，通过对分区中的主关键字进行检索比较，以获取目标订单数据；方案通过列式存储以及分布式计算服务来提高订单数量过大情况下的订单数据查询慢的效率，相对于传统数据库，可以做到秒级实时查询，查询速度更快且响应速度更快。
附图说明
[0041]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1为本专利技术实施例提供的一种订单数据索引方法的步骤流程图；
[0043]图2为本专利技术实施例提供的另一种订单数据索引方法的步骤流程图。
具体实施方式
[0044]下面详细描述本专利技术的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能理解为对本专利技术的限制。对于以下实施例中的步骤编号，其仅为了便于阐述说明而设置，对步骤之间的顺序不做任何限定，实施例中的各步骤的执行顺序均可根据本领域技术人员的理解来进行适应性调整。
[0045]现有技术通常使用关系型数据库管理系统MySQL作为存储引擎，虽然在传统的数据处理的场景中，MySQL能够满足业务数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种订单数据索引方法，其特征在于，包括以下步骤：根据预设时间阈值，获取存储时长不大于所述时间阈值的第一订单数据；生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表；对所述数据服务层宽表划分得到若干分区；获取查询指令，根据所述查询指令在若干所述分区中通过所述主关键字进行索引，得到目标订单数据。2.根据权利要求1所述的一种订单数据索引方法，其特征在于，所述方法还包括：获取存储时长大于所述时间阈值的第二订单数据，将所述第二订单数据进行离线清洗；根据所述第二订单数据的第二字段属性与所述第一订单数据中第一字段属性的映射关系生成数据服务层宽表。3.根据权利要求1所述的一种订单数据索引方法，其特征在于，所述生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类，包括以下步骤：根据所述日志文件生成所述第一订单数据的原关键字，将所述原关键字与第一字符进行组合得到所述主关键字；所述第一字符是通过所述第一订单数据的哈希值以及所述分区的数量所计算得到的。4.根据权利要求2所述的一种订单数据索引方法，其特征在于，在生成所述第一订单数据的日志文件，根据所述日志文件的主关键字对所述日志文件进行聚类得到数据服务层宽表这一步骤之前，所述方法还包括：获取所述第一订单数据，对所述第一订单数据进行脱敏处理；所述脱敏处理包括以下步骤：将所述第一订单数据中的用户信息替换成符号字符串；根据所述映射关系对所述第一订单数据中的字段进行筛选。5.根据权利要求2所述的一种订单数据索引方法，其特征在于，在所述根据所述第二订单数据的第二字段属性与所述第一订单数据中第一字段属性的映射关系生成数据服务层宽表这一步骤之后，所述方法还包括以下步骤至少之一：对所述第一订单数据与所述第二订单数据进行规范化处理，统一所述订...

【专利技术属性】
技术研发人员：刘松森，王靖天，赵志刚，
申请(专利权)人：广州伊的家网络科技有限公司，
类型：发明
国别省市：