一种分布式终端数据查询系统及方法技术方案

本发明专利技术公开一种分布式终端数据查询系统及方法，涉及数据检索服务领域。本发明专利技术包括，存储原始数据文件；提取原始数据文件；根据原始数据文件获取文件关键词；建立文件关键词与具有文件关键词的原始数据文件的存储地址映射；获取用户输入待查询语句；将待查询语句转化为检索关键词；根据检索关键词匹配文件关键词得到重合关键词和/或非重合检索关键词；根据重合关键词以及文件关键词与具有文件关键词的原始数据文件的存储地址的映射获取待查询语句对应的原始数据文件；若存在非重合检索关键词，则直接根据非重合检索关键词检索原始数据文件，得到待查询语句对应的原始数据文件。本发明专利技术提高了分布式存储查询服务的检索效率。发明专利技术提高了分布式存储查询服务的检索效率。发明专利技术提高了分布式存储查询服务的检索效率。

【技术实现步骤摘要】
一种分布式终端数据查询系统及方法


[0001]本专利技术属于数据检索服务
，特别是涉及一种分布式终端数据查询系统及方法。

技术介绍

[0002]由于存储硬件限制以及用户的广泛分布，使得数据的查询终端和存储服务器都不会是位于同一位置，需要数据的存储和查询均需要分布式部署。但是受限于分布式部署的节点之间的通讯带宽有限，难以保障高并发的查询请求。不仅如此，频繁对分散部署的存储服务器进行全盘检索也容易导致存储设备过载，降低数据检索的效率。
[0003]在公开号为CN115422293A的专利中公开了一种分布式数据库及其数据检索方法，涉及数据检索
，所述分布式数据库包括处理模块、聚合模块和存储模块。本专利技术能够对时序数据段的时间段、时间精度和时间热度进行评估，从而将时间段、时间精度和时间热度均相同的聚合文件均匀地分散在不同的数据存储节点上。上述方案需要对文件进行迁移平衡操作，部署效率较低，而且检索过程中需要对源数据文件进行检索操作，消耗大量数据读取性能。

技术实现思路

[0004]本专利技术的目的在于提供一种分布式终端数据查询系统及方法，通过对原始文件进行词频分析后创建文件关键词与原始文件存储地址的映射进行分类，提高了分布式存储查询服务的检索效率。
[0005]为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术提供一种分布式终端数据查询方法，包括，提取所述原始数据文件；根据所述原始数据文件获取文件关键词；建立所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射；获取用户输入的待查询语句；将所述待查询语句转化为若干个检索关键词；根据所述检索关键词匹配所述文件关键词得到重合关键词和/或非重合检索关键词；根据所述重合关键词以及所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射获取所述待查询语句对应的所述原始数据文件；若存在所述非重合检索关键词，则直接根据所述非重合检索关键词检索所述原始数据文件，得到所述待查询语句对应的所述原始数据文件；建立所述非重合检索关键词与对应所述原始数据文件的存储地址的映射；将所述非重合检索关键词纳入所述文件关键词。
[0006]在本专利技术的一个实施例中，所述根据所述原始数据文件获取文件关键词的步骤，包括，建立文件关键词数据库和字典缓存数据库，其中所述文件关键词数据库中记录每个所述文件关键词以及对应的出现数量；按照每个所述原始数据文件的存储地址的字符串大小顺序依次在所述原始数据文件中提取出若干个字典关键词；对于每一个所述原始数据文件，将提取出来的所述字典关键词存入字典缓存数据库；对所述字典缓存数据库中的所述字典关键词进行词频统计得到每个所述字典关键词的出现数量；获取所述文件关键词数据库中已存入的所述文件关键词以及对应的出现数量；将所述字典缓存数据库中的所述字典关键词作为所述文件关键词存入所述文件关键词数据库，并累加对应的出现数量；根据累加后对应的出现数量对所述文件关键词数据库中的所述文件关键词进行排序。
[0007]在本专利技术的一个实施例中，所述对于每一个所述原始数据文件，将提取出来的所述字典关键词存入字典缓存数据库的步骤，包括，对于每一个所述原始数据文件，获取对应所述原始数据文件的字节长度；将所述字典缓存数据库的划分为与对应所述原始数据文件的字节长度数量的虚拟字典存储单元；对每个所述虚拟字典存储单元进行顺序编号；按照每一个所述原始数据文件的文本逻辑顺序提取出首个所述字典关键词存入顺序编号最大的所述虚拟字典存储单元；将后续提取出来的所述字典关键词存入顺序编号最大的所述虚拟字典存储单元；若后续提取出来的所述字典关键词与顺序编号最大的所述虚拟字典存储单元内存入的所述字典关键词相同则对对应的所述字典关键词的出现数量进行增加，并将出现数量增加的所述字典关键词转存入顺序编号在先的所述虚拟字典存储单元；若将出现数量增加的所述字典关键词转存入顺序编号在先的所述虚拟字典存储单元后与转存入的所述虚拟字典存储单元内的所述字典关键词相同则对对应的所述字典关键词的出现数量进行增加，并将出现数量增加的所述字典关键词转存入顺序编号在先的所述虚拟字典存储单元；直至按照所述字典关键词的出现数量将所述字典关键词分类至顺序编号不同的所述虚拟字典存储单元，且，将该所述原始数据文件全部所述字典关键词提取存入所述虚拟字典存储单元。
[0008]在本专利技术的一个实施例中，所述将所述字典缓存数据库中的所述字典关键词作为所述文件关键词存入所述文件关键词数据库，并累加对应的出现数量的步骤，包括，按照所述虚拟字典存储单元的顺序编号由小至大逐个获取将所述字典关键词作为所述文件关键词；将所述字典关键词转化的所述文件关键词按照所述文件关键词数据库中所述文
件关键词的出现数量的顺序进行逐个对比；将对比一致的所述文件关键词在所述字典缓存数据库中记录的出现数量累加至在所述文件关键词数据库中记录的出现数量。
[0009]在本专利技术的一个实施例中，所述建立所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射的步骤，包括，根据所述文件关键词数据库中所述文件关键词的排序顺序将所述文件关键词划分为超高频文件关键词、高频文件关键词以及低频文件关键词，其中，所述高频文件关键词包括所述超高频文件关键词；获取所述超高频文件关键词、所述高频文件关键词的存储地址以及所述低频文件关键词；分别获取所述超高频文件关键词和所述超高频文件关键词的存储地址的映射、所述高频文件关键词和所述高频文件关键词的存储地址的映射以及所述低频文件关键词和所述低频文件关键词的存储地址的映射；将所述超高频文件关键词和所述超高频文件关键词的存储地址的映射、所述高频文件关键词和所述高频文件关键词的存储地址的映射以及所述低频文件关键词和所述低频文件关键词的存储地址的映射分离存储。
[0010]在本专利技术的一个实施例中，所述将所述超高频文件关键词和所述超高频文件关键词的存储地址的映射、所述高频文件关键词和所述高频文件关键词的存储地址的映射以及所述低频文件关键词和所述低频文件关键词的存储地址的映射分离存储的步骤，包括，分别设置客户端检索数据库、交互检索数据库以及文件存储检索数据库；将所述超高频文件关键词和所述超高频文件关键词的存储地址的映射存储至所述客户端检索数据库；将所述高频文件关键词和所述高频文件关键词的存储地址的映射存储至所述交互检索数据库；将所述低频文件关键词和所述低频文件关键词的存储地址的映射存储至所述文件存储检索数据库。
[0011]在本专利技术的一个实施例中，所述根据所述检索关键词匹配所述文件关键词得到重合关键词和/或非重合检索关键词的步骤，包括，将所述检索关键词与所述客户端检索数据库进行匹配检索；若没有检索出重合检索关键词，则将所述检索关键词与所述交互检索数据库进行匹配检索；若没有检索出重合检索关键词，则将所述检索关键词与所述文件存储检索数据库进行检索；若没有检索出重合检索关键词，则获取所述非重合检索关键词；若检索比对出重合检索关键词，则获取所述重合检索关键词。
[0012]在本专利技术的一个实施例中，所述将所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式终端数据查询方法，其特征在于，包括，提取原始数据文件；根据所述原始数据文件获取文件关键词；建立所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射；获取用户输入的待查询语句；将所述待查询语句转化为若干个检索关键词；根据所述检索关键词匹配所述文件关键词得到重合关键词和/或非重合检索关键词；根据所述重合关键词以及所述文件关键词与具有所述文件关键词的所述原始数据文件的存储地址的映射获取所述待查询语句对应的所述原始数据文件；若存在所述非重合检索关键词，则直接根据所述非重合检索关键词检索所述原始数据文件，得到所述待查询语句对应的所述原始数据文件；建立所述非重合检索关键词与对应所述原始数据文件的存储地址的映射；将所述非重合检索关键词纳入所述文件关键词。2.根据权利要求1所述的方法，其特征在于，所述根据所述原始数据文件获取文件关键词的步骤，包括，建立文件关键词数据库和字典缓存数据库，其中所述文件关键词数据库中记录每个所述文件关键词以及对应的出现数量；按照每个所述原始数据文件的存储地址的字符串大小顺序依次在所述原始数据文件中提取出若干个字典关键词；对于每一个所述原始数据文件，将提取出来的所述字典关键词存入字典缓存数据库；对所述字典缓存数据库中的所述字典关键词进行词频统计得到每个所述字典关键词的出现数量；获取所述文件关键词数据库中已存入的所述文件关键词以及对应的出现数量；将所述字典缓存数据库中的所述字典关键词作为所述文件关键词存入所述文件关键词数据库，并累加对应的出现数量；根据累加后对应的出现数量对所述文件关键词数据库中的所述文件关键词进行排序。3.根据权利要求2所述的方法，其特征在于，所述对于每一个所述原始数据文件，将提取出来的所述字典关键词存入字典缓存数据库的步骤，包括，对于每一个所述原始数据文件，获取对应所述原始数据文件的字节长度；将所述字典缓存数据库的划分为与对应所述原始数据文件的字节长度数量的虚拟字典存储单元；对每个所述虚拟字典存储单元进行顺序编号；按照每一个所述原始数据文件的文本逻辑顺序提取出首个所述字典关键词存入顺序编号最大的所述虚拟字典存储单元；将后续提取出来的所述字典关键词存入顺序编号最大的所述虚拟字典存储单元；若后续提取出来的所述字典关键词与顺序编号最大的所述虚拟字典存储单元内存入的所述字典关键词相同则对对应的所述字典关键词的出现数量进行增加，并将出现数量增加的所述字典关键词转存入顺序编号在先的所述虚拟字典存储单元；若将出现数量增加的所述字典关键词转存入顺序编号在先的所述虚拟字典存储单元
后与转存入的所述虚拟字典存储单元内的所述字典关键词相同则对对应的所述字典关键词的出现数量进行增加，并将出现数量增加的所述字典关键词转存入顺序编号在先的所述虚拟字典存储单元；直至按照所述字典关键词的出现数量将所述字典关键词分类至顺序编号不同的所述虚拟字典存储单元，且，将该所述原始数据文件全部所述字典关键词提取存入所述虚拟字典存储单元。4.根据权利要求3所述的方法，其特征在于，所述将所述字典缓存数据库中的所述字典关键词作为所述文件关键词存入所述文件关键词数据库，并累加对应的出现数量的步骤，包括，按照所述虚拟字典存储单元的顺序编号由小至大逐个获取将所述字典关键词作为所述文件关键词；将所述字典关键词转化的所述文件关键词按照所述文件关键词数据库中所述文件关键词的出现数量的顺序进行逐个对比；将对比一致的所述文件关键词在所述字典缓存数据库中记录的出现数量累加至在所述文件关键词数据库中记录的出现数量。5.根据权利要求2所述的方法，其特征在于，所述建立所述文件关键词与具有所述文件关...

【专利技术属性】
技术研发人员：底涛，邓光远，赵壮业，张红波，
申请(专利权)人：河北热数科技有限公司，
类型：发明
国别省市：