【技术实现步骤摘要】
数据处理方法及装置、系统、计算机设备及可读介质
本专利技术涉及计算机应用
，尤其涉及一种数据处理方法及装置、系统、计算机设备及可读介质。
技术介绍
随着互联网业务的发展，互联网中的内容库的数据量越来越大，用于日常运营检索的数据量已经飙升至千万条。现有技术中，内容库多采用MySQL数据库来存储数据。该MySQL数据库瑞典MySQLAB公司开发的一种关系型数据库管理系统。实际使用中，内容库中的数据存储在MySQL数据库中。检索数据时，直接使用检索词在MySQL数据库中进行查询，以获取查询结果。但是，现有的MySQL数据库在大规模数据量下的检索，例如尤其是中文检索耗时较长，导致检索效率较低。
技术实现思路
本专利技术提供一种数据处理方法及装置、系统、计算机设备及可读介质，用于缩短中文检索耗时较长，提高互联网的内容库中的检索效率。本专利技术提供的一种数据处理方法，所述方法包括：根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。...
【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。
【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。2.根据权利要求1所述的方法，其特征在于，根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新，具体包括：获取所述检索结果中的数据标识；判断所述内存服务模块中存储的实时数据中是否包括所述数据标识对应的实时数据；若包括，确定所述检索结果发生更新；对应地，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新，具体包括：根据所述内存服务模块中存储的所述数据标识对应的实时数据，对所述检索结果进行更新。3.根据权利要求1所述的方法，其特征在于，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果，具体包括：根据所述检索请求和所述中间件服务模块中的倒排索引表，从所述中间件服务模块中获取对应的检索结果。4.根据权利要求1所述的方法，其特征在于，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果之前，所述方法还包括：若发生数据变化时，将变化的数据更新至持久化存储模块中；将所述变化的数据更新至所述中间件服务模块中；将所述变化的数据存储至所述内存服务模块中，同时为所述变化的数据设置预设时间长度的生命周期。5.根据权利要求4所述的方法，其特征在于，将所述变化的数据更新至所述中间件服务模块中，具体包括：将所述变化的数据加入消息队列中；根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表。6.根据权利要求5所述的方法，其特征在于，根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表，具体包括：对所述消息队列中的所述变化的数据进行倒排索引分析，并根据分析结果扩展所述倒排索引表；将所述变化的数据存储在所述中间件服务模块中。7.根据权利要求4所述的方法，其特征在于，将变化的数据更新至持久化存储模块中之后，所述方法还包括：周期性地对所述持久化存储模块中存储的所有数据重构倒排索引表；将所述持久化存储模块中存储的所有数据和重构的所述倒排索引表更新至所述中间件服务模块中。8.根据权利要求4或7所述的方法，其特征在于，所述持久化存储模块包括关系型数据库存储模块和非关系型数据库数据模块。9.一种数据处理装置，其特征在于，所述装置包括：检索模块，用于根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；验证模块...
【专利技术属性】
技术研发人员：秦川，王晓军，张强，
申请(专利权)人：优视科技中国有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。