本发明专利技术提供一种数据处理方法及装置、系统、计算机设备及可读介质。其方法包括：根据接收到的检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证检索结果是否发生更新；若发生，根据内存服务模块中存储的实时数据对检索结果进行更新。本实施例的技术方案，可以采用倒排索索引的方式在互联网的内容库中进行检索，且可以支持中文检索，能够有效地缩短互联网的内容库中的检索时长，提高检索效率，从而能够大大地提高检索性能。
【技术实现步骤摘要】
数据处理方法及装置、系统、计算机设备及可读介质
本专利技术涉及计算机应用
，尤其涉及一种数据处理方法及装置、系统、计算机设备及可读介质。
技术介绍
随着互联网业务的发展，互联网中的内容库的数据量越来越大，用于日常运营检索的数据量已经飙升至千万条。现有技术中，内容库多采用MySQL数据库来存储数据。该MySQL数据库瑞典MySQLAB公司开发的一种关系型数据库管理系统。实际使用中，内容库中的数据存储在MySQL数据库中。检索数据时，直接使用检索词在MySQL数据库中进行查询，以获取查询结果。但是，现有的MySQL数据库在大规模数据量下的检索，例如尤其是中文检索耗时较长，导致检索效率较低。
技术实现思路
本专利技术提供一种数据处理方法及装置、系统、计算机设备及可读介质，用于缩短中文检索耗时较长，提高互联网的内容库中的检索效率。本专利技术提供的一种数据处理方法，所述方法包括：根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。进一步可选地，在如上所述的方法中，根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新，具体包括：获取所述检索结果中的数据标识；判断所述内存服务模块中存储的实时数据中是否包括所述数据标识对应的实时数据；若包括，确定所述检索结果发生更新；对应地，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新，具体包括：根据所述内存服务模块中存储的所述数据标识对应的实时数据，对所述检索结果进行更新。进一步可选地，在如上所述的方法中，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果，具体包括：根据所述检索请求和所述中间件服务模块中的倒排索引表，从所述中间件服务模块中获取对应的检索结果。进一步可选地，在如上所述的方法中，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果之前，所述方法还包括：若发生数据变化时，将变化的数据更新至持久化存储模块中；将所述变化的数据更新至所述中间件服务模块中；将所述变化的数据存储至所述内存服务模块中，同时为所述变化的数据设置预设时间长度的生命周期。进一步可选地，在如上所述的方法中，将所述变化的数据更新至所述中间件服务模块中，具体包括：将所述变化的数据加入消息队列中；根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表。进一步可选地，在如上所述的方法中，根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表，具体包括：对所述消息队列中的所述变化的数据进行倒排索引分析，并根据分析结果扩展所述倒排索引表；将所述变化的数据存储在所述中间件服务模块中。进一步可选地，在如上所述的方法中，将变化的数据更新至持久化存储模块中之后，所述方法还包括：周期性地对所述持久化存储模块中存储的所有数据重构倒排索引表；将所述持久化存储模块中存储的所有数据和重构的所述倒排索引表更新至所述中间件服务模块中。进一步可选地，在如上所述的方法中，所述持久化存储模块包括关系型数据库存储模块和非关系型数据库数据模块。本专利技术提供的一种数据处理装置，所述装置包括：检索模块，用于根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；验证模块，用于根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；更新模块，用于若发生更新时，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。进一步可选地，在如上所述的装置中，所述验证模块，用于：获取所述检索结果中的数据标识；判断所述内存服务模块中存储的实时数据中是否包括所述数据标识对应的实时数据；若包括，确定所述检索结果发生更新；对应地，所述更新模块，用于：根据所述内存服务模块中存储的所述数据标识对应的实时数据，对所述检索结果进行更新。进一步可选地，在如上所述的装置中，所述检索模块，用于：根据所述检索请求和所述中间件服务模块中的倒排索引表，从所述中间件服务模块中获取对应的检索结果。进一步可选地，在如上所述的装置中，所述更新模块，还用于：若发生数据变化时，将变化的数据更新至持久化存储模块中；将所述变化的数据更新至所述中间件服务模块中；将所述变化的数据存储至所述内存服务模块中，同时为所述变化的数据设置预设时间长度的生命周期。进一步可选地，在如上所述的装置中，所述更新模块，用于：将所述变化的数据加入消息队列中；根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表。进一步可选地，在如上所述的装置中，所述更新模块，用于：对所述消息队列中的所述变化的数据进行倒排索引分析，并根据分析结果扩展所述倒排索引表；将所述变化的数据存储在所述中间件服务模块中。进一步可选地，在如上所述的装置中，所述装置还包括重构模块；所述重构模块，用于周期性地对所述持久化存储模块中存储的所有数据重构倒排索引表；所述更新模块，还用于将所述持久化存储模块中存储的所有数据和重构的所述倒排索引表更新至所述中间件服务模块中。进一步可选地，在如上所述的装置中，所述持久化存储模块包括关系型数据库存储模块和非关系型数据库数据模块。本专利技术提供的一种数据处理系统，包括如上任一所述的数据处理装置、中间件服务模块、内存服务模块以及持久化存储模块；所述数据处理装置分别与所述中间件服务模块、所述内存服务模块以及所述持久化存储模块通信连接。本专利技术提供的一种计算设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上任何一项所述的方法。本专利技术提供的一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被计算机设备的处理器执行时，使所述处理器执行如上任一项所述的方法。本专利技术的数据处理方法及装置、系统、计算机设备及可读介质，通过根据接收到的检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证检索结果是否发生更新；若发生，根据内存服务模块中存储的实时数据对检索结果进行更新，可以采用倒排索索引的方式在互联网的内容库中进行检索，且可以支持中文检索，能够有效地缩短互联网的内容库中的检索时长，提高检索效率，从而能够大大地提高检索性能。附图说明通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号通常代表相同部件。图1为现有技术的数据处理方法的使用环境的架构图。图2为本专利技术的数据处理方法实施例提供的一种使用环境的架构图。图3为本专利技术的数据处理方法实施例一的流程图。图4为本专利技术的数据处理方法实施例二的流程图。图5为本专利技术的数据处理方法实施例三的流程图。图6为本专利技术的数据处理装置实施例一的结构图。图7为本专利技术的数据处理装置实施例二的结构图。图8示出了根据本专利技术一实施例可用于实现上述数据处理方法的计算设备的结构示意图。具体实施方式下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实本文档来自技高网...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。2.根据权利要求1所述的方法，其特征在于，根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新，具体包括：获取所述检索结果中的数据标识；判断所述内存服务模块中存储的实时数据中是否包括所述数据标识对应的实时数据；若包括，确定所述检索结果发生更新；对应地，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新，具体包括：根据所述内存服务模块中存储的所述数据标识对应的实时数据，对所述检索结果进行更新。3.根据权利要求1所述的方法，其特征在于，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果，具体包括：根据所述检索请求和所述中间件服务模块中的倒排索引表，从所述中间件服务模块中获取对应的检索结果。4.根据权利要求1所述的方法，其特征在于，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果之前，所述方法还包括：若发生数据变化时，将变化的数据更新至持久化存储模块中；将所述变化的数据更新至所述中间件服务模块中；将所述变化的数据存储至所述内存服务模块中，同时为所述变化的数据设置预设时间长度的生命周期。5.根据权利要求4所述的方法，其特征在于，将所述变化的数据更新至所述中间件服务模块中，具体包括：将所述变化的数据加入消息队列中；根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表。6.根据权利要求5所述的方法，其特征在于，根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表，具体包括：对所述消息队列中的所述变化的数据进行倒排索引分析，并根据分析结果扩展所述倒排索引表；将所述变化的数据存储在所述中间件服务模块中。7.根据权利要求4所述的方法，其特征在于，将变化的数据更新至持久化存储模块中之后，所述方法还包括：周期性地对所述持久化存储模块中存储的所有数据重构倒排索引表；将所述持久化存储模块中存储的所有数据和重构的所述倒排索引表更新至所述中间件服务模块中。8.根据权利要求4或7所述的方法，其特征在于，所述持久化存储模块包括关系型数据库存储模块和非关系型数据库数据模块。9.一种数据处理装置，其特征在于，所述装置包括：检索模块，用于根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；验证模块...
【专利技术属性】
技术研发人员：秦川，王晓军，张强，
申请(专利权)人：优视科技中国有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。