System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 数据检索系统、方法以及存储介质技术方案_技高网

数据检索系统、方法以及存储介质技术方案

技术编号:40099556 阅读:10 留言:0更新日期:2024-01-23 17:28
本公开提供了一种数据检索系统、方法以及存储介质,其中的系统包括:界面管理系统、业务处理系统和ElasticSearch集群管理系统;界面管理系统动态构建用户界面,生成预设格式的查询表达式信息;业务处理系统对查询表达式信息进行解析处理,生成ElasticSearch检索信息;ElasticSearch集群管理系统主要包括ElasticSearch索引信息管理和存储介质资源统一管理。本公开能够快速响应查询请求,适用于多种查询、统计等场景,减少了开发工作量;减少了查询耗时,提高了查询效率;能够准确解析用户的检索需求,提高了检索结果的查全率和查准率。

【技术实现步骤摘要】

本公开涉及计算机,尤其涉及一种数据检索系统、方法以及存储介质


技术介绍

1、目前,数据检索方法通常是将不同的数据检索需求输入数据系统,用以查找相应的数据,存在复杂度较高、数据检索的结果不准确等问题。例如,在外贸大数据应用系统中存储着海量的贸易数据,随着企业的不断发展与壮大,贸易数据量也在的不断增加,用户数量也在剧增。用户在外贸大数据应用系统中进行数据检索时,往往不能准确描述信息需求,存在检索和统计表达方式复杂、检索耗时多、检索和统计结果不准确等问题。


技术实现思路

1、有鉴于此,本专利技术要解决的一个技术问题是提供一种数据检索系统、方法以及存储介质。

2、根据本公开的第一方面,提供一种数据检索系统,包括:界面管理系统,用于动态构建用户界面,并对通过所述用户界面输入的交互信息进行解析,生成预设格式的查询表达式信息;业务处理系统,用于对所述查询表达式信息进行解析处理,生成elasticsearc检索请求实例,并对所述elasticsearc检索请求实例进行解析处理,生成elasticsearch检索信息;elasticsearch集群管理系统,用于使用所述elasticsearch检索信息在elasticsearch集群中查询对应的查询结果数据,将所述查询结果数据通过所述业务处理系统返回给所述界面管理系统,以使所述查询结果数据在所述用户界面中显示。

3、可选地,数据源集群管理系统,用于对源数据进行处理,将处理后的源数据发送给所述elasticsearch集群管理系统,以使所述elasticsearch集群管理系统将处理后的源数据存储在elastic search集群中。

4、可选地,所述查询表达式信息包括:json检索表达式;所述界面管理系统,包括:ui配置信息数据库,用于存储和管理系统配置信息,所述系统配置信息包括:界面元素以及界面元素的相关属性;界面生成模块,用于根据用户业务需求从所述ui配置信息数据库中获取需要显示的界面元素以及相关属性,用以动态生成界面组件并基于vue框架生成所述用户界面;前端解析器模块,用于基于与所述用户界面相对应的绑定关系和逻辑关系对所述交互信息进行处理,生成预设格式的json检索表达式;其中,在所述json检索表达式中设置多个查询需求描述模块,包括:查询条件模块、查询范围模块、查询统计内容模块、排序模块、用户信息模块和界面操作模块。

5、可选地,所述业务处理系统,包括:索引配置信息数据库,用于存储和管理elasticsearch索引信息,其中,所述elasticsearch索引信息包括:索引名称、配置属性、字段内容、别名、分词方式和检索方式;逻辑处理器模块,用于对所述json检索表达式中的各个查询需求描述模块进行对应的解析处理,根据解析结果从所述索引配置信息数据库获取对应的elasticsearch索引信息并选取对应的处理算法,用以生成包含与各个查询需求描述模块相对应的查询需求内容的检索请求实例;所述处理算法包括:语言转换算法、层级设置算法、词项重组算法和查询匹配算法;es解析器模块,用于对所述检索请求实例中的各个查询需求内容进行解析处理,生成所述elasticsearch检索信息并发送给所述elasticsearch集群管理系统。

6、可选地,所述逻辑处理器模块,用于对所述json检索表达式进行合法性检测,对于通过合法性检测的json检索表达式中的各个查询需求描述模块进行对应的解析处理,获取检索条件信息和检索内容信息;根据所述检索条件信息和检索内容信息获取对应的elasticsearch索引信息,并选取对应的处理算法,用以生成所述检索请求实例。

7、可选地,所述es解析器模块,具体用于对与所述检索请求实例相对应的ip地址进行审核处理;如果所述ip地址通过审核,则对所述检索请求实例中的检索条件信息进行解析,根据解析结果确定检索条件信息中的各子条件之间的关系信息以及各子条件自身的优先级;对所述检索请求实例中的检索内容信息进行解析,根据解析结果获取检索内容、检索字段以及排序规则,用以生成elasticsearch检索表达式;根据所述各子条件之间的关系信息、所述各子条件自身的优先级以及elasticsearch检索表达式生成es请求对象,并发送给所述elasticsearch集群管理系统。

8、可选地,所述elasticsearch集群管理系统,用于对所述elasticsearch服务器集群中存储的数据建立elasticsearch索引信息,为各个elasticsearch索引信息设置对应的解析器;对所述索引配置信息数据库中的elasticsearch索引信息进行管理;基于所述es请求对象在elastic search集群中进行数据查询操作;其中,所述elastic search集群包括:多个存储源数据的elasticsearch服务器。

9、可选地,所述数据源集群管理系统,包括:数据源服务器集群,用于存储所述源数据;数据清洗处理系统,部署在基于hadoop分布式框架的数据集群中,用于将所述数据源服务器集群中的新增源数据导入到所述数据集群,以使所述数据集群将所述新增源数据分布到各个存储节点上,形成hdfs文件并生成数据仓库;对hdfs文件中的数据进行处理,并将进行此处理后的数据发送给所述elasticsearch集群中进行存储;其中,对hdfs文件中的数据进行的处理包括:数据一致性检查、无效值和缺失值检测、错误数据剔除、代码统一处理和命名规范处理。

10、可选地,所述查询结果数据包括:至少一个国家的进出口贸易数据。

11、根据本公开的第二方面,提供一种数据检索方法,包括:界面管理系统动态构建用户界面,并对通过所述用户界面输入的交互信息进行解析,生成预设格式的查询表达式信息;业务处理系统对所述查询表达式信息进行解析处理,生成elasticsearc检索请求实例,并对所述elasticsearc检索请求实例进行解析处理,生成elasticsearch检索信息;elasticsearch集群管理系统使用所述elasticsearch检索信息在elastic search集群中查询对应的查询结果数据,将所述查询结果数据通过所述业务处理系统返回给所述界面管理系统,以使所述查询结果数据在所述用户界面中显示。

12、可选地,数据源集群管理系统对源数据进行处理,将处理后的源数据发送给所述elasticsearch集群管理系统,以使所述elasticsearch集群管理系统将处理后的源数据存储在elastic search集群中。

13、可选地,所述查询表达式信息包括:json检索表达式;所述界面管理系统动态构建用户界面包括:根据用户业务需求从ui配置信息数据库中获取需要显示的界面元素以及相关属性,用以动态生成界面组件并基于vue框架生成所述用户界面;其中,所述ui配置信息数据库用于存储和管理系统配置信息,所述系统配置信息包括:界面元素以及界面元素的相关属性;所述对通本文档来自技高网...

【技术保护点】

1.一种数据检索系统,包括:

2.如权利要求1所述的系统,还包括:

3.如权利要求2所述的系统,其中,所述查询表达式信息包括:Json检索表达式;所述界面管理系统,包括:

4.如权利要求3所述的系统,其中,

5.如权利要求4所述的系统,其中,

6.如权利要求5所述的系统,其中,所述ElasticSearch检索信息包括:ES请求对象;

7.如权利要求6所述的系统,其中,

8.如权利要求2所述的系统,其中,

9.如权利要求1至8中任一项所述的系统,其中,

10.一种数据检索方法,包括:

11.如权利要求10所述的方法,还包括:

12.如权利要求11所述的方法,其中,所述查询表达式信息包括:Json检索表达式;所述界面管理系统动态构建用户界面包括:

13.如权利要求12所述的方法,其中,生成ElasticSearch检索信息包括:

14.如权利要求13所述的方法,其中,生成所述检索请求实例包括:

15.如权利要求14所述的方法,其中,所述ElasticSearch检索信息包括:ES请求对象;生成所述ElasticSearch检索信息包括:

16.如权利要求15所述的方法,其中,所述使用所述ElasticSearch检索信息在ElasticSearch集群中查询对应的查询结果数据包括:

17.如权利要求11所述的方法,其中,所述数据源集群管理系统对源数据进行处理,将处理后的源数据发送给所述ElasticSearch集群管理系统包括:

18.一种计算机可读存储介质,所述计算机可读存储介质非暂时性地存储有计算机指令,所述指令被处理器执行如权利要求10至17中任一项所述的方法。

...

【技术特征摘要】

1.一种数据检索系统,包括:

2.如权利要求1所述的系统,还包括:

3.如权利要求2所述的系统,其中,所述查询表达式信息包括:json检索表达式;所述界面管理系统,包括:

4.如权利要求3所述的系统,其中,

5.如权利要求4所述的系统,其中,

6.如权利要求5所述的系统,其中,所述elasticsearch检索信息包括:es请求对象;

7.如权利要求6所述的系统,其中,

8.如权利要求2所述的系统,其中,

9.如权利要求1至8中任一项所述的系统,其中,

10.一种数据检索方法,包括:

11.如权利要求10所述的方法,还包括:

12.如权利要求11所述的方法,其中,所述查询表达式信息包括:json检索表达式;所述界面管理系统动态构建用户界面包括:

【专利技术属性】
技术研发人员:邵宏华吴煜东
申请(专利权)人:环球慧思北京信息技术有限公司
类型:发明
国别省市:

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1