一种数据集合与搜索方法及装置制造方法及图纸

本发明专利技术提出了一种数据集合与搜索方法及装置，其中，所述数据集合与搜索方法包括：S1：响应于发送客户通过认证，接收所述发送客户发送的数据；S2：对所述数据进行业务处理，以得到处理的数据；S3：将所述处理后的数据发送到数据发布订阅模块；S4：数据发布订阅模块发布的数据存储至存储器；以及S5：响应于订阅客户通过认证，向订阅客户提供所需的数据。向订阅客户提供所需的数据。向订阅客户提供所需的数据。

【技术实现步骤摘要】
一种数据集合与搜索方法及装置


[0001]本专利技术涉及一种计算机
，特别涉及一种数据集合与搜索方法及装置。

技术介绍

[0002]数据库Mysql对于单库查询和数量量小的情况下，查询性能较好，但是对于多库多语句查询以及数据量较大的情况下，查询时间较长，对于应用场景主要集中在电商，教育等领域的门户显示列表，很难满足实际业务需求，针对这些问题，目前并没有相对成熟的统一的解决方案。
[0003]为解决现用技术问题的上述缺陷，有必要提出一种数据集合与搜索方法。

技术实现思路

[0004]有鉴于此，本专利技术提出了一种数据集合与搜索方法及装置，本专利技术的数据集合与搜索方法以至少部分解决现有技术的问题或提出一种备选的数据集合与搜索方法。
[0005]为实现上述目的，本专利技术的第一方面提出了一种数据集合与搜索方法，其中，所述数据集合与搜索方法包括：
[0006]S1：响应于发送客户通过认证，接收所述发送客户发送的数据；
[0007]S2：对所述数据进行业务处理，以得到处理的数据；
[0008]S3：将所述处理后的数据发送到数据发布订阅模块；
[0009]S4：数据发布订阅模块发布的数据存储至存储器；以及
[0010]S5：响应于订阅客户通过认证，向订阅客户提供所需的数据。
[0011]如上所述的数据集合与搜索方法，其中，在步骤S1中，所述接收所述发送客户发送的数据的步骤包括：
[0012]响应于数据发送成功，接收所述发送客户发送的数据；和
[0013]响应于数据发送失败，重复发送所述数据，直至数据发送成功。
[0014]如上所述的数据集合与搜索方法，其中，在步骤S2中，所述对所述数据进行业务处理包括：
[0015]按照设计的维度聚合数据；
[0016]其中，所述处理后的数据为聚合的数据。
[0017]如上所述的数据集合与搜索方法，其中，步骤S3还包括：
[0018]将所述聚合的数据还发送到关系型数据库。
[0019]如上所述的数据集合与搜索方法，其中，步骤S4包括：
[0020]数据发布订阅模块发布的数据存储至搜索服务器。
[0021]如上所述的数据集合与搜索方法，其中，步骤S5还包括：响应于订阅客户认证失败，发出警报信息。
[0022]本专利技术的第二方面提出了一种数据集合与搜索装置，其特征在于，包括：
[0023]数据认证模块，用于响应于发送客户通过认证，接收所述发送客户发送的数据；
[0024]数据聚合模块，用于对所述数据进行业务处理，以得到处理的数据；
[0025]数据存储模块：用于将所述处理后的数据发送到数据发布订阅模块，并且所述数据发布订阅模块发布的数据存储至存储器；以及
[0026]数据服务模块，用于响应于订阅客户通过认证，向订阅客户提供所需的数据。
[0027]如上所述的数据集合与搜索装置，其中，所述数据服务模块还用于响应于订阅客户认证失败，发出警报信息。
[0028]本专利技术的第三方面提出了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的数据集合与搜索方法的步骤。
[0029]本专利技术的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如上所述的数据集合与搜索方法的步骤。
[0030]本专利技术提供的数据集合与搜索方法，对于需要从多个不同的传统数据库中查询相关数据时间较长等类似问题进行改进，提供了一种新的解决方案，有效解决实际场景中遇到查询较慢的问题，能够完美解决同一处查询语句较多，查询语句较复杂，以及来自不同的数据库或多个数据来源问题等，可适用于数据源较多或查询时间较长的场景，具有更快更有效的展示效果。
[0031]上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要能够达到本专利技术的目的。
附图说明
[0032]图1为本专利技术实施例的数据集合与搜索的流程图；
[0033]图2为本专利技术实施例的数据集合与搜索的流程图；
[0034]图3为本专利技术实施例的数据认证的流程图；
[0035]图4为本专利技术实施例的数据集合与搜索装置的结构示意图；以及
[0036]图5为本专利技术实施例提供的终端设备的结构示意图。
具体实施方式
[0037]为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。
[0038]下面详细描述本专利技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0039]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0040]需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两
个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。
[0041]下面结合附图详细说明本专利技术实施例的技术方案。
[0042]如图1所示，本专利技术提出了一种数据集合与搜索方法，其中，本专利技术的数据集合与搜索方法包括：
[0043]S1：响应于发送客户通过认证，接收所述发送客户发送的数据。
[0044]具体地，如图2和图3所示，数据认证模块，此模块包含Kafka和客户端两大部分，对于来自不同业务方的数据，客户端首先会做一个认证，认证通过后，则允许其向Kafka发送数据，对于发送失败的数据，采取重试机制，对于发送的速度做一个限流处理，使其发送的速度不能大于消费的速度，否则，会导致数据堆积。
[0045]S2：对所述数据进行业务处理，以得到处理的数据。
[0046]具体地，如图2和图3所示，数据聚合模块，将Kafka的数据按照topic的命名，对等地在Elasticsearch中创建同名的索引，同时保持kafka中topic的数据字段格式不变，将数据取出后，发送到Elasticsearch进行存储或更新，发送到数据存储模块的Kafka，并发送到Mysql做历史数据分析，对于需要记录状态的数据存在Redis中，方便进一步业务逻辑处理。
[0047]S3：将所述处理后的数据发送到数据发布订阅模块。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据集合与搜索方法，其特征在于，所述数据集合与搜索方法包括：S1：响应于发送客户通过认证，接收所述发送客户发送的数据；S2：对所述数据进行业务处理，以得到处理的数据；S3：将所述处理后的数据发送到数据发布订阅模块；S4：数据发布订阅模块发布的数据存储至存储器；以及S5：响应于订阅客户通过认证，向订阅客户提供所需的数据。2.根据权利要求1所述的数据集合与搜索方法，其特征在于，在步骤S1中，所述接收所述发送客户发送的数据的步骤包括：响应于数据发送成功，接收所述发送客户发送的数据；和响应于数据发送失败，重复发送所述数据，直至数据发送成功。3.根据权利要求1所述的数据集合与搜索方法，其特征在于，在步骤S2中，所述对所述数据进行业务处理包括：按照设计的维度聚合数据；其中，所述处理后的数据为聚合的数据。4.根据权利要求3所述的数据集合与搜索方法，其特征在于，步骤S3还包括：将所述聚合的数据还发送到关系型数据库。5.根据权利要求4所述的数据集合与搜索方法，其特征在于，步骤S4包括：数据发布订阅模块发布的数据存储至搜索服务器。6.根据权利要求1...

【专利技术属性】
技术研发人员：陈剑，张赛，
申请(专利权)人：上海童渠信息技术有限公司，
类型：发明
国别省市：