本发明专利技术提供了一种基于文章内容和标题的搜索方法和装置，该方法包括：利用搜索系统采用分布式存储的方式存储文章数据，搜索系统为采用ElasticSearch实现的系统；在接收到用户终端的文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索；将检索时匹配到的数据以文章为对象进行聚合，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示，以解决现有技术中不能对检索到的数据进行聚合处理的问题。理的问题。理的问题。
【技术实现步骤摘要】
基于文章内容和标题的搜索方法和装置
[0001]本专利技术涉及大数据搜索领域，具体而言，涉及一种基于文章内容和标题的搜索方法和装置。
技术介绍
[0002]随着计算机技术的进步，大数据搜索得到了快速发展。目前的大数据搜索是基于Mysql、Solr、ElasticSearch、Hermes等技术实现的。其中Solr、ElasticSearch侧重搜索与全文检索，数据规模可达百万至千万，Solr利用Zookeeper进行分布式管理，支持多种格式的数据，在传统搜索应用中使用广泛，对于处理实时搜索应用效率偏低，ElasticSearch(简称ES)支持json格式的数据，自身带有分布式协调管理功能，处理实时搜索应用时效率高于Solr。Hermes是一个基于大索引技术的海量数据实时检索分析平台，侧重数据分析，数据规模从几亿到万亿不等。
[0003]在以上方案中，Mysql全文检索效率偏低，结果匹配相关度低，且无法完成分词检索，产品使用体验感偏差；Solr处理实时应用效率偏低；Hermes侧重于数据分析，在搜索与全文检索方面效率偏低；ElasticSearch的搜索基于数据，聚合时无法以面向对象的形式将匹配到多个数据聚合为同一个数据。
技术实现思路
[0004]本专利技术的主要目的在于提供一种基于文章内容和标题的搜索方法和装置，以解决现有技术中不能对检索到的数据进行聚合处理的问题。
[0005]为了实现上述目的，根据本专利技术的一个方面，提供了一种基于文章内容和标题的搜索方法，包括：利用搜索系统采用分布式存储的方式存储文章数据，其中，搜索系统为采用ElasticSearch实现的系统；在接收到用户终端的文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索；将检索时匹配到的数据以文章为对象进行聚合，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示。
[0006]可选地，利用搜索系统采用分布式存储的方式存储文章数据包括：将整篇文章按照标题和段落进行拆分后以标准数据结构的方式在分布式存储系统中进行存储，其中，标准数据结构包括如下字段：所属文章的标识、所属文章的文章类型、所属文章的来源、所属文章的文章名称、内容、所属文章的URL、是否为文章标题、所属文章的发布时间、数据产生时间以及存储时间。
[0007]可选地，在接收到文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索包括：按照文章搜索请求中的关键字，在搜索系统中进行文章内容和标题的实时检索，得到搜索结果，搜索结果包括单个文章或者多个文章，其中，单个文章包括以下几种情形：只匹配到标题的单个文章、只匹配到段落的单个文章、同时匹配到标题和段落的单个文章，多个文章包括以下几种情形：匹配到的都是标题的多个文章、部分文章同时匹配到标题和段落、一部分文章只匹配到标题且另一部分文章(与之前描述的一部分文章不同，且可以是除
开这部分文章后剩余文章的部分或者全部)只匹配到段落。
[0008]可选地，将检索时匹配到的数据以文章为对象进行聚合包括：对于匹配到标题的数据，对所属文章的标识相同的数据进行聚合；对于只匹配到段落的数据，对所属文章的标识相同的数据进行聚合。
[0009]可选地，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示包括：采用相关性算法计算匹配到的文章与文章搜索请求中关键字之间的相关度；采用分页展示的方式，在用户终端上对匹配到的文章按照相关度从大到小进行高亮展示。
[0010]可选地，在用户终端上对匹配到的文章按照相关度从大到小进行高亮展示包括：在用户终端上按照预设的展示配置，对匹配到的文章按照相关度从大到小进行高亮展示，其中，预设的展示配置为只展示标题或同时展示标题和段落。
[0011]可选地，在采用分页展示的方式对匹配到的文章进行高亮展示之后，在收到用户终端的搜索请求的情况下，若收到搜索请求中的关键字与文章搜索请求中的关键字相同，则向用户终端返回与前一次相同的搜索结果。
[0012]为了实现上述目的，根据本专利技术的一个方面，还提供了一种基于文章内容和标题的搜索装置，包括：存储单元，用于利用搜索系统采用分布式存储的方式存储文章数据，其中，搜索系统为采用ElasticSearch实现的系统；搜索单元，用于在接收到用户终端的文章搜索请求时，在搜索系统中进行文章内容和标题的实时检索；展示单元，用于将检索时匹配到的数据以文章为对象进行聚合，采用分页展示的方式在用户终端上对匹配到的文章进行高亮展示。
[0013]可选地，存储单元还用于：将整篇文章按照标题和段落进行拆分后以标准数据结构的方式在分布式存储系统中进行存储，其中，标准数据结构包括如下字段：所属文章的标识、所属文章的文章类型、所属文章的来源、所属文章的文章名称、内容、所属文章的URL、是否为文章标题、所属文章的发布时间、数据产生时间以及存储时间。
[0014]可选地，搜索单元还用于：按照文章搜索请求中的关键字，在搜索系统中进行文章内容和标题的实时检索，得到搜索结果，搜索结果包括单个文章或者多个文章，其中，单个文章包括以下几种情形：只匹配到标题的单个文章、只匹配到段落的单个文章、同时匹配到标题和段落的单个文章，多个文章包括以下几种情形：匹配到的都是标题的多个文章、部分文章同时匹配到标题和段落、部分文章只匹配到标题而部分文章只匹配到段落。
[0015]可选地，展示单元还用于：对于匹配到标题的数据，对所属文章的标识相同的数据进行聚合；对于只匹配到段落的数据，对所属文章的标识相同的数据进行聚合。
[0016]可选地，展示单元还用于：采用相关性算法计算匹配到的文章与文章搜索请求中关键字之间的相关度；采用分页展示的方式，在用户终端上对匹配到的文章按照相关度从大到小进行高亮展示。
[0017]可选地，展示单元还用于：在用户终端上按照预设的展示配置，对匹配到的文章按照相关度从大到小进行高亮展示，其中，预设的展示配置为只展示标题或同时展示标题和段落。
[0018]可选地，本申请的装置还可包括：响应单元，用于在采用分页展示的方式对匹配到的文章进行高亮展示之后，在收到用户终端的搜索请求的情况下，若收到搜索请求中的关键字与文章搜索请求中的关键字相同，则向用户终端返回与前一次相同的搜索结果。
[0019]根据本申请实施例的另一方面，还提供了一种存储介质，该存储介质包括存储的程序，程序运行时执行上述的方法。
[0020]根据本申请实施例的另一方面，还提供了一种电子装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器通过计算机程序执行上述的方法。
[0021]应用本专利技术的技术方案，采用ElasticSearch完成了百万数量的分布式存储；采用ElasticSearch完成文章内容和标题的实时检索，将匹配到的数据以文章为对象聚合，并采取分页展示特定数目的文章数据，对匹配到的数据进行高亮展示，可解决现有技术中不能对检索到的数据进行聚合处理的问题，提高用户使用体验感。
[0022]除了上面所描述的目本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于文章内容和标题的搜索方法，其特征在于，包括：利用搜索系统采用分布式存储的方式存储文章数据，其中，所述搜索系统为采用ElasticSearch实现的系统；在接收到用户终端的文章搜索请求时，在所述搜索系统中进行文章内容和标题的实时检索；将检索时匹配到的数据以文章为对象进行聚合，采用分页展示的方式在所述用户终端上对匹配到的文章进行高亮展示。2.根据权利要求1所述的方法，其特征在于，利用搜索系统采用分布式存储的方式存储文章数据包括：将整篇文章按照标题和段落进行拆分后以标准数据结构的方式在分布式存储系统中进行存储，其中，所述标准数据结构包括如下字段：所属文章的标识、所属文章的文章类型、所属文章的来源、所属文章的文章名称、内容、所属文章的URL、是否为文章标题、所属文章的发布时间、数据产生时间以及存储时间。3.根据权利要求1所述的方法，其特征在于，在接收到文章搜索请求时，在所述搜索系统中进行文章内容和标题的实时检索包括：按照所述文章搜索请求中的关键字，在所述搜索系统中进行文章内容和标题的实时检索，得到搜索结果，所述搜索结果包括单个文章或者多个文章，其中，所述单个文章包括以下几种情形：只匹配到标题的单个文章、只匹配到段落的单个文章、同时匹配到标题和段落的单个文章，所述多个文章包括以下几种情形：匹配到的都是标题的多个文章、部分文章同时匹配到标题和段落、部分文章只匹配到标题且部分文章只匹配到段落。4.根据权利要求1所述的方法，其特征在于，将检索时匹配到的数据以文章为对象进行聚合包括：对于匹配到标题的数据，对所属文章的标识相同的数据进行聚合；对于只匹配到段落的数据，对所属文章的标识相同的数据进行聚合。5.根据权利要求1所述的方...
【专利技术属性】
技术研发人员：姚鑫，白杰，白会杰，宋东瑞，
申请(专利权)人：苏州臻璇数据信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。