数据处理方法、装置及设备制造方法及图纸

本公开实施例提供一种数据处理方法、装置及设备，该方法包括：获取请求消息，请求消息用于请求获取第一对象的相关对象，相关对象与第一对象的相似度大于或等于预设阈值；确定当前时刻对应的最新版本信息，并基于最新版本信息在分布式系统的多个群组确定至少一个目标群组，目标群组中的服务设备中的索引信息的版本信息为最新版本信息，索引信息包括服务设备中的对象的特征信息；向至少一个目标群组中的服务设备请求获取至少一个参考对象，并基于参考对象与第一对象的相似度，在至少一个参考对象中确定相关对象，参考对象与第一对象的相似度大于或等于预设阈值。提高了数据处理效率。

Data processing methods, devices and equipment

【技术实现步骤摘要】
数据处理方法、装置及设备
本公开实施例涉及计算机
，尤其涉及一种数据处理方法、装置及设备。
技术介绍
在用户在网络中进行对象(例如，音频、视频、商品信息等)搜索时，在搜索到一个目标对象之后，服务器还可以向用户推荐该目标对象的相关对象，例如，相关对象可以为与目标对象相似度较高的对象。在相关技术中，服务器通常获取目标对象对应的关键信息，并根据目标对象的关键信息与服务器中其它对象的关键信息进行匹配，以确定该目标对象的相关对象，并向用户推荐该相关对象。然而，在实际应用过程中，服务器中存储的对象的数量通常较多，将目标对象与服务器中的其它对象的关键信息进行一一匹配的过程，需要消耗较多的时长，使得确定目标对象的相关对象的效率较低，即，服务器进行数据处理的效率较低。
技术实现思路
本公开实施例提供一种数据处理方法、装置及设备，提高了数据处理效率。第一方面，本公开实施例提供一种数据处理方法，包括：获取请求消息，所述请求消息用于请求获取所述第一对象的相关对象，所述相关对象与所述第一对象的相似度大于或等于预设阈值；确定当前时刻对应的最新版本信息，并基于所述最新版本信息在分布式系统的多个群组确定至少一个目标群组，所述目标群组中的服务设备中的索引信息的版本信息为所述最新版本信息，所述索引信息包括所述服务设备中的对象的特征信息；向所述至少一个目标群组中的服务设备请求获取至少一个参考对象，并基于所述参考对象与所述第一对象的相似度，在所述至少一个参考对象中确定所述相关对象，所述参考对象与所述第一对象的相似度大于或等于所述预设阈值。在一种可能的实施方式中，基于所述最新版本信息在多个群组确定至少一个目标群组，包括：获取所述多个群组中每个群组的版本信息；将版本信息与所述最新版本信息相同的群组确定为所述至少一个目标群组。在一种可能的实施方式中，向所述至少一个目标群组中的服务设备请求获取至少一个参考对象，包括：在所述至少一个目标群组中确定至少一个目标服务设备；向所述至少一个目标服务设备请求获取至少一个参考对象。在一种可能的实施方式中，基于所述参考对象与所述第一对象的相似度，在所述至少一个参考对象中确定所述相关对象，包括：按照所述参考对象与所述第一对象的相似度从高到低的顺序，对所述至少一个参考对象进行排序；将排序后的所述至少一个参考对象中、前N个参考对象确定为所述相关对象，所述N为大于或等于1的整数。在一种可能的实施方式中，所述方法还包括：获取第一群组中各服务设备的状态；在所述第一群组中各服务设备的状态为完成状态时，重建所述第一群组对应的索引信息。在一种可能的实施方式中，所述第一群组中主服务设备和从服务设备；重建所述第一群组对应的索引信息，包括：将所述第一群组中的主服务设备的状态设置为创建状态，以使所述主服务设备创建并存储所述第一群组对应的重建索引信息；在确定所述主服务设备将所述第一群组对应的重建索引信息创建完成之后，将所述第一群组中的从服务设备的状态设置为获取状态，以使所述从服务设备获取所述重建索引信息。在一种可能的实施方式中，在确定所述主服务设备将所述第一群组对应的重建索引信息创建完成之后，还包括：将所述主服务设备的状态设置为待切换状态。在一种可能的实施方式中，将所述第一群组中的从服务设备的状态设置为获取状态之后，还包括：判断所述从设备是否完成获取所述重建索引信息；若是，则将所述从服务设备的状态设置为待切换状态。在一种可能的实施方式中，在将所述从服务设备的状态设置为待切换状态之后，还包括：在所述主服务设备和所述从服务设备的状态均为待切换状态时，将所述主服务设备和所述从服务设备的索引信息切换为所述重建索引信息；将所述第一群组的版本信息更新为当前时刻对应的版本信息。在一种可能的实施方式中，所述索引信息为基于分层可导航小世界图HNSW算法创建的。第二方面，本公开实施例提供一种数据处理装置，包括第一获取模块、第一确定模块、第二获取模块和第二确定模块，其中，所述第一获取模块用于，获取请求消息，所述请求消息用于请求获取所述第一对象的相关对象，所述相关对象与所述第一对象的相似度大于或等于预设阈值；所述第一确定模块用于，确定当前时刻对应的最新版本信息，并基于所述最新版本信息在分布式系统的多个群组确定至少一个目标群组，所述目标群组中的服务设备中的索引信息的版本信息为所述最新版本信息，所述索引信息包括所述服务设备中的对象的特征信息；所述第二获取模块用于，向所述至少一个目标群组中的服务设备请求获取至少一个参考对象；所述第二确定模块用于，基于所述参考对象与所述第一对象的相似度，在所述至少一个参考对象中确定所述相关对象，所述参考对象与所述第一对象的相似度大于或等于所述预设阈值。在一种可能的实施方式中，所述第一确定模块具体用于：获取所述多个群组中每个群组的版本信息；将版本信息与所述最新版本信息相同的群组确定为所述至少一个目标群组。在一种可能的实施方式中，所述第二获取模块具体用于：在所述至少一个目标群组中确定至少一个目标服务设备；向所述至少一个目标服务设备请求获取至少一个参考对象。在一种可能的实施方式中，所述第二确定模块具体用于：按照所述参考对象与所述第一对象的相似度从高到低的顺序，对所述至少一个参考对象进行排序；将排序后的所述至少一个参考对象中、前N个参考对象确定为所述相关对象，所述N为大于或等于1的整数。在一种可能的实施方式中，所述装置还包括重建模块，其中，所述重建模块用于：获取第一群组中各服务设备的状态；在所述第一群组中各服务设备的状态为完成状态时，重建所述第一群组对应的索引信息。在一种可能的实施方式中，所述第一群组中主服务设备和从服务设备；所述重建模块具体用于：将所述第一群组中的主服务设备的状态设置为创建状态，以使所述主服务设备创建并存储所述第一群组对应的重建索引信息；在确定所述主服务设备将所述第一群组对应的重建索引信息创建完成之后，将所述第一群组中的从服务设备的状态设置为获取状态，以使所述从服务设备获取所述重建索引信息。在一种可能的实施方式中，所述重建模块还用于，在所述重建模块确定所述主服务设备将所述第一群组对应的重建索引信息创建完成之后，将所述主服务设备的状态设置为待切换状态。在一种可能的实施方式中，在所述重建模块将所述第一群组中的从服务设备的状态设置为获取状态之后，所述重建模块还用于：判断所述从设备是否完成获取所述重建索引信息；若是，则将所述从服务设备的状态设置为待切换状态。在一种可能的实施方式中，在所述重建模块将所述从服务设备的状态设置为待切换状态之后，所述重建模块还用于：在所述主服务设备和所述从服务设备的状态均为待切换状态时，将所述主服务设备本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n获取请求消息，所述请求消息用于请求获取第一对象的相关对象，所述相关对象与所述第一对象的相似度大于或等于预设阈值；/n确定当前时刻对应的最新版本信息，并基于所述最新版本信息在分布式系统的多个群组确定至少一个目标群组，所述目标群组中的服务设备中的索引信息的版本信息为所述最新版本信息，所述索引信息包括所述服务设备中的对象的特征信息；/n向所述至少一个目标群组中的服务设备请求获取至少一个参考对象，并基于所述参考对象与所述第一对象的相似度，在所述至少一个参考对象中确定所述相关对象，所述参考对象与所述第一对象的相似度大于或等于所述预设阈值。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
获取请求消息，所述请求消息用于请求获取第一对象的相关对象，所述相关对象与所述第一对象的相似度大于或等于预设阈值；
确定当前时刻对应的最新版本信息，并基于所述最新版本信息在分布式系统的多个群组确定至少一个目标群组，所述目标群组中的服务设备中的索引信息的版本信息为所述最新版本信息，所述索引信息包括所述服务设备中的对象的特征信息；
向所述至少一个目标群组中的服务设备请求获取至少一个参考对象，并基于所述参考对象与所述第一对象的相似度，在所述至少一个参考对象中确定所述相关对象，所述参考对象与所述第一对象的相似度大于或等于所述预设阈值。


2.根据权利要求1所述的方法，其特征在于，基于所述最新版本信息在多个群组确定至少一个目标群组，包括：
获取所述多个群组中每个群组的版本信息；
将版本信息与所述最新版本信息相同的群组确定为所述至少一个目标群组。


3.根据权利要求1或2所述的方法，其特征在于，向所述至少一个目标群组中的服务设备请求获取至少一个参考对象，包括：
在所述至少一个目标群组中确定至少一个目标服务设备；
向所述至少一个目标服务设备请求获取至少一个参考对象。


4.根据权利要求1-3任一项所述的方法，其特征在于，基于所述参考对象与所述第一对象的相似度，在所述至少一个参考对象中确定所述相关对象，包括：
按照所述参考对象与所述第一对象的相似度从高到低的顺序，对所述至少一个参考对象进行排序；
将排序后的所述至少一个参考对象中、前N个参考对象确定为所述相关对象，所述N为大于或等于1的整数。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述方法还包括：
获取第一群组中各服务设备的状态；
在所述第一群组中各服务设备的状态为完成状态时，重建所述第一群组对应的索引信息。


6.根据权利要求5所述的方法，其特征在于，所述第一群组中主服务设备和从服务设备；重建所述第一群组对应的索引信息，包括：
将所述第一群组中的主服务设备的状态设置为创建状态，以使所述主服务设备创建并存储所述第一群组对应的重建索引信息；
在确定所述主服务设备将所述第一群组对应的重建索引信息创建完成之后，将所述第一群组中的从服务设备的状态设置为获取状态，以使所述从服务设备获取所述重建索引信息。...

【专利技术属性】
技术研发人员：张晋玮，白雅雯，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11