【技术实现步骤摘要】
本申请涉及数据查询，尤其涉及一种大数据量实时快速查询方法、系统及可读存储介质。
技术介绍
1、随着物流行业信息化水平的提升，物流数据量日益增长，涌现出大量与单号相关的业务数据，如单票计费、单号轨迹、订单、账单等，这些庞大的数据量提供了丰富的信息，可为物流行业的决策提供重要依据，然而，如何在海量数据中实时快速地查询到需要的信息，成为了物流行业的一大挑战。
2、相关技术中的数据实时查询方法主要是将业务数据存储在阿里云分布式数据库drds中，同时将drds的分表字段存储在elasticsearch中。相关人员查询时，首先根据elasticsearch的索引字段查出drds的分表字段数据，再通过分表字段查询drds，获取完整的业务数据。
3、然而，相关技术中的数据实时查询方法存在一些显著的缺陷，例如，每次查询时都需要对大量的原始数据进行处理，这不仅消耗大量的计算资源，还会导致查询耗时长。
技术实现思路
1、本申请提供了一种大数据量实时快速查询方法、系统及可读存储介质，来提高大数据查询的速度和效率。
2、第一方面，本申请提供了一种大数据量实时快速查询方法，方法包括：将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据；将预聚合数据通过定时任务同步至云数据仓库中；在接收到信息交互设备发送的包含查询词的查询指令的情况下，判断缓存数据库中是否具有与查询词对应的查询数据；若不具有与查询词对应的查询数据，则按照查询词对预聚合数据进行聚合处理得到查询数据，并将查询
3、在上述实施例中，相关人员查询之前就已经对物流数据按预设的预聚合规则进行了一次聚合处理，这意味着在实际的查询阶段，是在预聚合数据上进行查询，而不是在大量的物流数据上，因此极大地减轻了每次查询时需要的计算资源，显著地提高了大数据查询的速度和效率。同时，用缓存数据库保存查询数据，使得对同一查询词的重复查询更加快速高效。
4、结合第一方面的一些实施例，在一些实施例中，将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之前，方法还包括：为物流数据中的每一个原始子数据赋予一个对应的版本数据；将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之前之后，方法还包括：为预聚合数据中的每一个聚合子数据获取其对应的物流数据中的原始子数据的版本数据；当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，更新当前原始子数据的版本数据，当前原始子数据为原始子数据中任意一个数据；若不具有与查询词对应的查询数据，则按照查询词对预聚合数据进行聚合处理得到查询数据，并将查询数据发送给信息交互设备，作为对查询指令的应答，具体包括：若不具有与查询词对应的查询数据，则按照查询词确定对应的聚合子数据；判断对应的聚合子数据的版本数据是否与对应的原始数据是否全部相同；若不全部相同，则转到将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据步骤；若全部相同，则按照查询词对预聚合数据进行聚合处理得到查询数据，并将查询数据发送给信息交互设备，作为对查询指令的应答。
5、在上述实施例中，在相关人员查询时，会检查预聚合数据中的聚合子数据的版本数据是否与其对应的原始子数据的版本数据全部相同，如果不全部相同，系统会重新进行预聚合处理以确保数据的一致性，即使原始物流数据发生变化，也能确保查询结果的准确性。
6、结合第一方面的一些实施例，在一些实施例中，将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之后，方法还包括：当检测到物流数据更新成更新物流数据的情况下，将更新物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据。
7、在上述实施例中，当检测到物流数据更新时，会立即按照预设的预聚合规则对更新后的物流数据进行聚合处理，得到新的预聚合数据。因此无论物流数据何时发生变化，预聚合数据都能及时更新，保持与最新的物流数据一致，保证了查询结果的准确性。
8、结合第一方面的一些实施例，在一些实施例中，将查询数据缓存至缓存数据库中，具体包括：将查询数据缓存至一级缓存数据库；在确定查询数据缓存在一级缓存数据库的时间大于阈值的情况下，将查询数据从一级缓存数据库转移到二级缓存数据库，一级缓存数据库的储存量小于二级缓存数据库，一级缓存数据库的读取速度大于二级缓存数据库。在上述实施例中，最新和最常用的查询数据会被保留在一级缓存中，从而提高查询效率，因为一级缓存的读取速度通常比二级缓存快，同时，由于二级缓存的存储量大于一级缓存，因此可以缓存更多的查询数据，从而进一步提高查询效率。
9、结合第一方面的一些实施例，在一些实施例中，当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，更新当前原始子数据的版本数据，当前原始子数据为原始子数据中任意一个数据，具体包括：当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，采用数字递增的方式更新当前原始子数据的版本数据，当前原始子数据为原始子数据中任意一个数据。
10、在上述实施例中，当原始子数据更新时，对应的版本数据会采用数字递增的方式进行更新，由于数字递增易于实现，且在处理大量数据更新时能保持较高的效率，同时，数字递增的版本数据可以直观地反映出数据的更新次数，从而方便对数据变化的跟踪。
11、结合第一方面的一些实施例，在一些实施例中，当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，更新当前原始子数据的版本数据，当前原始子数据为原始子数据中任意一个数据，具体包括：当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，采用当前时间替换的方式更新当前原始子数据的版本数据，当前原始子数据为原始子数据中任意一个数据。
12、在上述实施例中，对应的版本数据会使用当前的时间戳进行更新，由于时间戳可以提供更多的信息，比如原始数据的更新时间，这对于需求分析数据等应用是非常有价值的。
13、结合第一方面的一些实施例，在一些实施例中，在接收到信息交互设备发送的包含查询词的查询指令的情况下，判断缓存数据库中是否具有与查询词对应的查询数据之后，方法还包括：若具有与查询词对应的查询数据，则将查询数据发送给信息交互设备，作为对查询指令的应答。
14、在上述实施例中，在接收到查询指令后，首先会检查缓存数据库中是否已经有与查询词对应的查询数据。如果有，系统直接将缓存的查询数据发送给信息交互设备，作为对查询指令的应答，这种方法可以避免对预聚合数据的重复查询和聚合处理，从而提高查询效率。
15、第二方面，本申请提供了一种大数据量实时快速查询系统，大数据量实时快速查询系统包括服务器，其特征在于，服务器包括：
16、预聚合模块，用于将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据；
17、定时模块，用于将预聚合数据通过定时任务同步至云数据仓库中；
18、判断模块本文档来自技高网...
【技术保护点】
1.一种大数据量实时快速查询方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大数据量实时快速查询方法，其特征在于，所述将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之前，所述方法还包括：
3.根据权利要求1所述的大数据量实时快速查询方法，其特征在于，所述将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之后，所述方法还包括：
4.根据权利要求1所述的大数据量实时快速查询方法，其特征在于，所述将所述查询数据缓存至所述缓存数据库中，具体包括：
5.根据权利要求2所述的大数据量实时快速查询方法，其特征在于，所述当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，更新当前原始子数据的版本数据，所述当前原始子数据为所述原始子数据中任意一个数据，具体包括：
6.根据权利要求2所述的大数据量实时快速查询方法，其特征在于，所述当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，更新当前原始子数据的版本数据，所述当前原始子数据为所述原始子数据中任意一个数据，具体包括：
7.根据
8.一种大数据量实时快速查询系统，所述大数据量实时快速查询系统包括服务器，其特征在于，所述服务器包括：
9.一种大数据量实时快速查询系统，其特征在于，包括：一个或多个处理器和存储器；
10.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在大数据量实时快速查询系统上运行时，使得所述大数据量实时快速查询系统执行如权利要求1-7中任一项所述的方法。
...【技术特征摘要】
1.一种大数据量实时快速查询方法，其特征在于，所述方法包括：
2.根据权利要求1所述的大数据量实时快速查询方法，其特征在于，所述将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之前，所述方法还包括：
3.根据权利要求1所述的大数据量实时快速查询方法，其特征在于，所述将物流数据按照预设的预聚合规则进行聚合处理得到预聚合数据之后，所述方法还包括：
4.根据权利要求1所述的大数据量实时快速查询方法，其特征在于，所述将所述查询数据缓存至所述缓存数据库中，具体包括：
5.根据权利要求2所述的大数据量实时快速查询方法，其特征在于，所述当检测到物流数据中的当前原始子数据更新成更新原始子数据的情况下，更新当前原始子数据的版本数据，所述当前原始子数据为所述原始子数据中任意一个数据，具体包括：
6.根据权利要求2所述的大数据量实...
【专利技术属性】
技术研发人员：张科朋，
申请(专利权)人：上海申雪供应链管理有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。