一种查找流数据的方法和查询服务器技术

本发明专利技术公开了一种查找流数据的方法和查询服务器，包括：查询服务器接收到来自用户的查询请求，根据预设时间的流数据构建索引结构；在索引结构中查找查询请求中的查询条件对应的流数据，将查找到的流数据返回给用户。通过本发明专利技术的方案，根据预设时间的流数据构建索引结构来实现数据的查找，而不是对流数据进行抽样，从而提高了查询精度。

【技术实现步骤摘要】

本专利技术涉及大数据处理技术，尤指一种查找流数据的方法和查询服务器。
技术介绍
随着大数据处理技术的发展，数据源的结构呈现出多样化的趋势，不仅有非实时的、静态结构化的数据，还有大量的实时、动态产生的非结构化数据流。实时流数据处理技术要求对这一类流式数据进行实时分析处理并快速返回处理结果。该技术克服了传统批数据处理高延迟的弊端，极大的发挥了数据的时效价值。实时流数据处理的工作过程包括：流数据实时采集，即从数据源实时采集动态变化的流数据，将采集的流数据通过网络传输到数据处理服务器；流数据分析处理，即数据处理服务器根据处理逻辑对流数据进行分析；实时查询，即查询服务器接收到来自用户的查询请求，向用户返回查询结果；数据持久化，即将处理后的有价值的数据通过网络传输到数据存储服务器进行存储。现有的查找流数据的方法大致包括：查询服务器接收到来自用户的查询请求，从数据处理服务器的内存中抽样获取流数据；查询服务器将查询请求中的查询关键字与获得的流数据进行匹配，将匹配成功的流数据返回给用户。现有的查找流数据的方法中，由于是对抽样的流数据进行查询，查询精度较低。
技术实现思路
为了解决上述问题，本专利技术提出了一种查找流数据的方法和查询服务器，能够提高查询精度。为了达到上述目的，本专利技术提出了一种查找流数据的方法，包括：查询服务器接收到来自用户的查询请求，根据预设时间的流数据构建索引结构；在索引结构中查找查询请求中的查询条件对应的流数据，将查找到的流数据返回给用户。优选地，所述查询服务器根据预设时间的流数据构建索引结构包括：所述查询服务器将所述预设时间与所述查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间，设置与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系；所述在索引结构中查找查询请求中的查询条件对应的流数据包括：在所述索引结构的子空间中查找与所述查询条件相匹配的子空间，在所述流数据和子空间之间的对应关系中查找查找到的子空间对应的流数据，在查找到的流数据中查找与所述查询条件相匹配的流数据。优选地，所述查询服务器将预设时间与所述查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间之前，还包括：所述查询服务器在判断出本次查询请求中的查询对象与上一次查询请求中的查询对象不相同，或判断出本次预设时间内与所述查询请求中的查询对象相匹配的流数据与上一预设时间内与所述查询请求中的查询对象相匹配的流数据之间的相似性大于或等于第一预设阈值时，删除根据上一预设时间的流数据构建的索引结构。优选地，当所述查询服务器判断出所述本次查询请求中的查询对象与所述上一次查询请求中的查询对象相同，且所述本次预设时间内与所述查询请求中的查询对象相匹配的流数据与所述上一预设时间内与所述查询请求中的查询对象相匹配的流数据之间的相似性小于第一阈值时，所述查询服务器根据预设时间的流数据构建索引结构还包括：所述查询服务器删除根据所述上一预设时间的流数据构建的索引结构中流数据和子空间之间的对应关系，重新设置所述本次预设时间与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系。优选地，所述查询服务器判断本次预设时间内的流数据与上一预设时间内的流数据之间的相似性是否大于或等于第一阈值包括：所述查询服务器按照公式计算所述本次预设时间内的流数据与所述上一预设时间内的流数据之间的相似性；判断计算得到的相似性是否大于或等于第一阈值；其中，i为子空间标识，k为子空间的数量，Counter(i)为上一预设时间内第i个子空间的流数据的数量，Amount(i)为本次预设时间内第i个子空间的流数据的数量。优选地，所述查询服务器将预设时间与查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间包括：所述查询服务器将所述预设时间与所述查询请求中的查询对象相匹配流数据对应的空间划分为一个或一个以上相同的第N级子空间，当判断出所述第N级子空间的流数据的数量大于或等于第二预设阈值时，将所述第N级子空间划分为一个或一个以上相同的第(N+1)级子空间；其中，N为大于或等于1的整数；所述在索引结构的子空间中查找与查询条件相匹配的子空间包括：在所述索引结构的第N级子空间中查找与所述查询条件相匹配的第N级子空间，判断出查找到的第N级子空间存在第(N+1)级子空间，在查找到的第N级子空间的第(N+1)级子空间中查找与所述查询条件相匹配的第(N+1)级子空间；判断出所述第N级子空间不存在第(N+1)级子空间，查找到的第N级子空间即为与查询条件相匹配的子空间。本专利技术还提出了一种查询服务器，至少包括：接收模块，用于接收到来自用户的查询请求；构建模块，用于根据预设时间的流数据构建索引结构；查找模块，用于在索引结构中查找查询请求中的查询条件对应的流数据；发送模块，用于将查找到的流数据返回给用户。优选地，所述构建模块具体用于：将所述预设时间与所述查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间，设置与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系；所述查找模块具体用于：在所述索引结构的子空间中查找与所述查询条件相匹配的子空间，在所述流数据和子空间之间的对应关系中查找查找到的子空间对应的流数据，在查找到的流数据中查找与所述查询条件相匹配的流数据。优选地，所述构建模块具体用于：在判断出本次查询请求中的查询对象与上一次查询请求中的查询对象不相同，或判断出本次预设时间内的流数据与上一预设时间内的流数据之间的相似性大于或等于第一预设阈值时，删除根据上一预设时间的流数据构建的索引结构；将所述预设时间与所述查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间，设置与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系。优选地，所述构建模块还用于：判断出所述本次查询请求中的查询对象与所述上一次查询请求中的查询对象相同，且所述本次预设时间内与所述查询请求中的查询对象相匹配的流数据与所述上一预设时间内与所述查询请求中的查询对象相匹配的流数据之间的相似性小于第一阈值，删除根据所述上一预设时间的流数据构建的索引结构中流数据和子空间之间的对应关系，重新设置所述本次预设时间与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系。优选地，所述构建模块具体用于：将所述预设时间与所述查询请求中的查询对象相匹配流数据对应的空间划分为一个或一个以上相同的第N级子空间，当判断出所述第N级子空间的流数据的数量大于或等于第二预设阈值时，将所述第N级子空间划分为一个
或一个以上相同的第(N+1)级子空间；其中，N为大于或等于1的整数；所述查找模块具体用于：在所述索引结构的第N级子空间中查找与所述查询条件相匹配的第N级子空间，判断出查找到的第N级子空间存在第(N+1)级子空间，在查找到的第N级子空间的第(N+1)级子空间中查找与所述查询条件相匹配的第(N+1)级子空间；判断出所述第N级子空间不存在第(N+1)级子空间，查找到的第N级子空间即为与查询条件相匹配的子空间；在所述流数据和子空间之间的对应关系中查找查找到的子空间对应的流数据，在查找到的流数据中查找与所述查询条件相匹配的流数据。与现有技术相比，本专利技术包括：查本文档来自技高网...

【技术保护点】
一种查找流数据的方法，其特征在于，包括：查询服务器接收到来自用户的查询请求，根据预设时间的流数据构建索引结构；在索引结构中查找查询请求中的查询条件对应的流数据，将查找到的流数据返回给用户。

【技术特征摘要】
1.一种查找流数据的方法，其特征在于，包括：查询服务器接收到来自用户的查询请求，根据预设时间的流数据构建索引结构；在索引结构中查找查询请求中的查询条件对应的流数据，将查找到的流数据返回给用户。2.根据权利要求1所述的方法，其特征在于，所述查询服务器根据预设时间的流数据构建索引结构包括：所述查询服务器将所述预设时间与所述查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间，设置与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系；所述在索引结构中查找查询请求中的查询条件对应的流数据包括：在所述索引结构的子空间中查找与所述查询条件相匹配的子空间，在所述流数据和子空间之间的对应关系中查找查找到的子空间对应的流数据，在查找到的流数据中查找与所述查询条件相匹配的流数据。3.根据权利要求2所述的方法，其特征在于，所述查询服务器将预设时间与所述查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间之前，还包括：所述查询服务器在判断出本次查询请求中的查询对象与上一次查询请求中的查询对象不相同，或判断出本次预设时间内与所述查询请求中的查询对象相匹配的流数据与上一预设时间内与所述查询请求中的查询对象相匹配的流数据之间的相似性大于或等于第一预设阈值时，删除根据上一预设时间的流数据构建的索引结构。4.根据权利要求3所述的方法，其特征在于，当所述查询服务器判断出所述本次查询请求中的查询对象与所述上一次查询请求中的查询对象相同，且所述本次预设时间内与所述查询请求中的查询对象相匹配的流数据与所述上一预设时间内与所述查询请求中的查询对象相匹配的流数据之间的相似性小于第一阈值时，所述查询服务器根据预设时间的流数据构建索引结构还包
\t括：所述查询服务器删除根据所述上一预设时间的流数据构建的索引结构中流数据和子空间之间的对应关系，重新设置所述本次预设时间与所述查询请求中的查询对象相匹配的流数据和子空间之间的对应关系。5.根据权利要求3或4所述的方法，其特征在于，所述查询服务器判断本次预设时间内的流数据与上一预设时间内的流数据之间的相似性是否大于或等于第一阈值包括：所述查询服务器按照公式计算所述本次预设时间内的流数据与所述上一预设时间内的流数据之间的相似性；判断计算得到的相似性是否大于或等于第一阈值；其中，i为子空间标识，k为子空间的数量，Counter(i)为上一预设时间内第i个子空间的流数据的数量，Amount(i)为本次预设时间内第i个子空间的流数据的数量。6.根据权利要求2所述的方法，其特征在于，所述查询服务器将预设时间与查询请求中的查询对象相匹配的流数据对应的空间划分为一个或一个以上子空间包括：所述查询服务器将所述预设时间与所述查询请求中的查询对象相匹配流数据对应的空间划分为一个或一个以上相同的第N级子空间，当判断出所述第N级子空间的流数据的数量大于或等于第二预设阈值时，将所述第N级子空间划分为一个或一个以上相同的第(N+1)级子空间；其中，N为大于或等于1的整数；所述在索引结构的子空间中查找与查询条件相匹配的子空间包括：在所述索引结构的第N级子空间中查找与所述查...

【专利技术属性】
技术研发人员：裴应明，刘驰，黄岳，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44