文本对象索引方法、对象存储系统及相关设备技术方案

本申请涉及一种文本对象索引方法、对象存储系统及相关设备。其中，该方法包括：前端服务模块在将文本对象写入键值存储数据库系统后，将文本对象的写入成功消息加入到文本写入消息队列；文本分析调度模块消费文本写入消息队列中的写入成功消息，生成文本对象的文本分析任务并调度文本分析模块执行文本分析任务，得到文本对象的代表关键词集合作为文本对象的元数据更新至键值存储数据库系统，以及将文本对象元数据更新消息加入到元数据更新消息队列；以使得索引服务模块根据文本对象元数据更新消息，从键值存储数据库系统读取文本对象的元数据，并构建文本对象的倒排索引，提供索引服务。通过本发明专利技术，实现了在对象存储系统中对文本对象的复杂条件检索。文本对象的复杂条件检索。文本对象的复杂条件检索。

【技术实现步骤摘要】
文本对象索引方法、对象存储系统及相关设备


[0001]本申请涉及计算机
，特别是涉及文本对象索引方法、对象存储系统及相关设备。

技术介绍

[0002]本部分旨在为权利要求书中陈述的本专利技术实施例提供背景或上下文。不应以此处的描述包括在本部分中就承认是现有技术。
[0003]随着人工智能技术发展，云产品功能服务智能化，迫使云对象存储系统需要在提供基础对象存储服务之上，提供更完善的用户场景解决方案的产品服务，来提升云对象存储系统的竞争力。目前的云对象存储产品大都不提供自动化构建文本搜索产品方案，而现有对象存储系统只支持在用户自行输入标签后，对标签以及元数据的基本文件信息例如文件大小、提交时间、更改时间进行进对象的过滤。目前的对象存储系统提供的索引服务整体功能较为简单，难以在具体场景下实现复杂的条件检索。

技术实现思路

[0004]本专利技术实施例提供文本对象索引方法、对象存储系统及相关设备，至少解决相关技术的对象存储系统无法实现复杂的条件检索的问题。
[0005]一种文本对象索引方法，包括：前端服务模块接收用户写入的文本对象，将所述文本对象写入键值存储数据库系统，以及将所述文本对象的写入成功消息加入到文本写入消息队列；文本分析调度模块消费所述文本写入消息队列中的写入成功消息，根据所述写入成功消息从所述键值存储数据库系统读取所述文本对象，生成所述文本对象的文本分析任务，以及调度所述文本分析模块执行所述文本分析任务；文本分析模块执行所述文本分析任务，将文本分析得到的代表关键词集合返回给所述文本分析调度模块；所述文本分析调度模块将所述代表关键词集合作为所述文本对象的元数据更新至所述键值存储数据库系统，以及将文本对象元数据更新消息加入到元数据更新消息队列；索引服务模块消费所述元数据更新消息队列，根据所述文本对象元数据更新消息从所述键值存储数据库系统读取所述文本对象的元数据，并构建所述文本对象的倒排索引，持久化所述倒排索引，以及基于所述倒排索引提供索引服务。
[0006]在其中的一些实施例中，所述文本对象索引方法还包括：所述前端服务模块接收存储桶的元数据，其中，每个所述存储桶用于管理用户数据，所述用户数据包括文本对象；所述文本分析调度模块从管控服务模块读取用户的存储桶的元数据，并根据存储桶的元数据从所述键值存储数据库系统读取相应的存储桶内的全量文本对象，生成所述全
量文本对象的文本分析任务，其中，管控服务模块存储不同用户的存储桶的元数据。
[0007]在其中的一些实施例中，所述文本对象索引方法还包括：所述文本分析调度模块根据所述管控服务模块提供的所有用户的存储桶的元数据，遍历所有的存储桶，以生成所有的存储桶内的全量文本对象的文本分析任务。
[0008]在其中的一些实施例中，所述文本对象索引方法还包括：所述前端服务模块接收存储桶的元数据，其中，每个所述存储桶用于管理用户数据，所述用户数据包括文本对象；所述索引服务模块从管控服务模块读取用户的存储桶的元数据，并根据存储桶的元数据从所述键值存储数据库系统读取相应的存储桶内的全量文本对象的元数据，并构建所述全量文本对象的倒排索引，其中，所述管控服务模块存储不同用户的存储桶的元数据。
[0009]在其中的一些实施例中，所述文本对象索引方法还包括：所述索引服务模块根据所述管控服务模块提供的所有用户的存储桶的元数据，遍历所有的存储桶，以构建所有的存储桶内的全量文本对象的元数据的倒排索引。
[0010]在其中的一些实施例中，所述文本分析模块基于自然语言处理技术进行文本分析。
[0011]在其中的一些实施例中，所述文本对象索引方法还包括：所述前端服务模块接收所述用户的查询消息，将所述查询消息发送给所述索引服务模块；所述索引服务模块对所述查询消息进行切词并根据切词结果获得查询词集合，利用所述索引服务在所述用户的存储桶内，查询与所述查询词集合对应的文本对象的查询结果，并将所述查询结果返回给所述用户。
[0012]一种对象存储系统，包括：前端服务模块、文本分析调度模块、文本分析模块、文本写入消息队列、元数据更新消息队列、索引服务模块和键值存储数据库系统；所述对象存储系统用于实现上述的文本对象索引方法。
[0013]在其中的一些实施例中，所述对象存储系统还包括管控服务模块，所述对象存储系统还用于实现上述的文本对象索引方法。
[0014]一种电子设备，包括：处理器，以及存储程序的存储器，其中，所述程序包括指令，所述指令在由所述处理器执行时使所述处理器执行上述的方法。
[0015]一种存储有计算机指令的非瞬时机器可读介质，其中，所述计算机指令用于使所述计算机执行上述的方法。
[0016]本专利技术实施例提供的文本对象索引方法、对象存储系统及相关设备，通过前端服务模块在将文本对象写入键值存储数据库系统后，将文本对象的写入成功消息加入到文本写入消息队列；文本分析调度模块消费文本写入消息队列中的写入成功消息，生成文本对象的文本分析任务并调度文本分析模块执行文本分析任务，得到文本对象的代表关键词集合作为文本对象的元数据更新至键值存储数据库系统，以及将文本对象元数据更新消息加入到元数据更新消息队列；以使得索引服务模块根据文本对象元数据更新消息，从键值存储数据库系统读取文本对象的元数据，并构建文本对象的倒排索引，持久化倒排索引，以及基于倒排索引提供索引服务，实现了在对象存储系统中对文本对象的复杂条件检索。
[0017]本专利技术的一个或多个实施例的细节在以下附图和描述中提出，以使本专利技术的其他
特征、目的和优点更加简明易懂。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。
[0019]图1是本专利技术实施例的一种对象存储系统的系统结构图。
[0020]图2是本专利技术实施例的另一种对象存储系统的系统结构图。
[0021]图3是本专利技术实施例的对象存储系统的工作流程示意图。
[0022]图4是本专利技术实施例的文本对象索引方法的流程图。
[0023]图5是本专利技术实施例的文本对象写入过程的流程图。
[0024]图6是本专利技术实施例的文本对象的增量文本分析过程的流程图。
[0025]图7是本专利技术实施例的文本对象的元数据的增量索引构建过程的流程图。
[0026]图8是本专利技术实施例的文本对象的全量文本分析过程的流程图。
[0027]图9是本专利技术实施例的文本对象的元数据的全量索引构建过程的流程图。
[0028]图10是本专利技术实施例的用户查询过程的流程图。
[0029]图11是本专利技术实施例的电子设备的结构示意图。
具体实施方式
[0030]下面将参照附图更详细地描述本实施例的实施例。虽然附图中显示了本实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本对象索引方法，包括：前端服务模块接收用户写入的文本对象，将所述文本对象写入键值存储数据库系统，以及将所述文本对象的写入成功消息加入到文本写入消息队列；文本分析调度模块消费所述文本写入消息队列中的写入成功消息，根据所述写入成功消息从所述键值存储数据库系统读取所述文本对象，生成所述文本对象的文本分析任务，以及调度所述文本分析模块执行所述文本分析任务；文本分析模块执行所述文本分析任务，将文本分析得到的代表关键词集合返回给所述文本分析调度模块；所述文本分析调度模块将所述代表关键词集合作为所述文本对象的元数据更新至所述键值存储数据库系统，以及将文本对象元数据更新消息加入到元数据更新消息队列；索引服务模块消费所述元数据更新消息队列，根据所述文本对象元数据更新消息从所述键值存储数据库系统读取所述文本对象的元数据，并构建所述文本对象的倒排索引，持久化所述倒排索引，以及基于所述倒排索引提供索引服务。2.根据权利要求1所述的文本对象索引方法，其中，所述文本对象索引方法还包括：所述前端服务模块接收存储桶的元数据，其中，每个所述存储桶用于管理用户数据，所述用户数据包括文本对象；所述文本分析调度模块从管控服务模块读取用户的存储桶的元数据，并根据存储桶的元数据从所述键值存储数据库系统读取相应的存储桶内的全量文本对象，生成所述全量文本对象的文本分析任务，其中，管控服务模块存储不同用户的存储桶的元数据。3.根据权利要求2所述的文本对象索引方法，其中，所述文本对象索引方法还包括：所述文本分析调度模块根据所述管控服务模块提供的所有用户的存储桶的元数据，遍历所有的存储桶，以生成所有的存储桶内的全量文本对象的文本分析任务。4.根据权利要求1所述的文本对象索引方法，其中，所述文本对象索引方法还包括：所述前端服务模块接收存储桶的元数据，其中，每个所述存储桶用于管理用户数据，所述用户数据包括文本对象；所述索引服...

【专利技术属性】
技术研发人员：刘侃，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：