对象处理方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开实施例提供了一种对象处理方法、装置、电子设备及计算机可读存储介质。该方法包括：对于待处理的第一对象和第二对象，获取第一对象的第一稀疏向量和第二对象的第二稀疏向量；确定第一稀疏向量和第二稀疏向量共同的非零向量维度的取值；根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一对象与第二对象的是否为相似对象。本公开的方案，由于稀疏向量的所有向量维度中，非零向量维度占较少数，通过第一稀疏向量和第二稀疏向量共同的非零向量维度来确定第一对象和第二对象的相似性，能够降低数据处理量，提高处理效率，满足实际使用中对大量数据快速处理的需求。

Object Processing Method, Device, Electronic Equipment and Computer Readable Storage Media

【技术实现步骤摘要】
对象处理方法、装置、电子设备及计算机可读存储介质
本公开涉及数据处理
，具体而言，本公开涉及一种对象处理方法、装置、电子设备及计算机可读存储介质。
技术介绍
随着互联网与存储技术的不断发展，人们可以获得的各种形式的信息数量也在迅速增长，这其中包括了大量的图像、视频信息，如何实现对大量信息的快速处理成为了人们越来越来关注的问题。在对图像视频等信息进行检索、去重等操作时，需要判断处理对象之间的相似性，现有的判断处理对象之间的相似性的方式运算量较大、效率较低，无法满足实际的使用需求。
技术实现思路
本公开的目的旨在至少能解决上述的技术缺陷之一。本公开所采用的技术方案如下：第一方面，本公开实施例提供了一种对象处理方法，该方法包括：获取第一对象的第一稀疏向量和第二对象的第二稀疏向量，其中，第一稀疏向量和第二稀疏向量的向量维度相同；确定第一稀疏向量和第二稀疏向量共同的非零向量维度的取值；根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一对象与第二对象是否为相似对象。可选地，根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一对象和第二对象的相似性，包括：根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一稀疏向量和第二稀疏向量的内积；根据内积，确定第一对象与第二对象是否为相似对象。可选地，第一对象为检索对象，第二对象为被检索数据库中的被检索对象；根据内积，确定第一对象与第二对象是否为相似对象，包括：若内积大于第一预设值，则确定被检索对象与检索对象为相似对象。可选地，确定第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，包括：获取倒排索引，倒排索引是基于被检索数据库中各被检索对象的稀疏向量的向量维度建立的；基于检索对象的稀疏向量的非零向量维度，通过查找倒排索引，确定检索对象的稀疏向量和各被检索对象的稀疏向量共同的非零向量维度的取值。可选地，第一对象为被去重数据库中的第一被去重对象，第二对象为被去重数据库中的第二被去重对象；根据内积，确定第一对象与第二对象是否为相似对象，包括：若内积大于第二预设值，则确定第一被去重对象与第二被去重对象为相似对象。第二方面，本公开实施例提供了一种对象检索方法，该方法包括：接收检索请求，检索请求中包括检索对象；获取检索对象的稀疏向量以及被检索数据库中各被检索对象的稀疏向量，其中，检索对象的稀疏向量与被检索数据库中各被检索对象的稀疏向量的向量维度相同；根据检索对象的稀疏向量和被检索数据库中各被检索对象的稀疏向量的共同的非零向量维度的取值，分别确定检索对象的稀疏向量与被检索数据库中各被检索对象的稀疏向量的内积；根据内积，确定检索对象与被检索数据库中各被检索对象的相似性；根据相似性，返回检索结果。第三方面，本公开实施例提供了一种去重方法，该方法包括：接收对被去重数据库的去重请求；获取被去重数据库内第一被去重对象的第一稀疏向量以及被去重数据库内第二被去重对象的第二稀疏向量，其中，第一稀疏向量与第二稀疏向量的向量维度相同；根据第一稀疏向量与第二稀疏向量的共同的非零向量维度的取值，确定第一稀疏向量与第二稀疏向量的内积；根据内积，确定任意第一被去重对象与第二被去重对象的相似性；根据相似性，对第一被去重对象与第二被去重对象进行去重处理。第四方面，本公开实施例提供了一种对象处理装置，该装置包括：第一向量获取模块，用于获取第一对象的第一稀疏向量和第二对象的第二稀疏向量，其中，第一稀疏向量和第二稀疏向量的向量维度相同；第一取值确定模块，用于确定第一稀疏向量和第二稀疏向量共同的非零向量维度的取值；第一相似性确定模块，用于根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一对象与第二对象是否为相似对象。可选地，第一相似性确定模块具体用于：根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一对象和第二对象的相似性，包括：根据第一稀疏向量和第二稀疏向量共同的非零向量维度的取值，确定第一稀疏向量和第二稀疏向量的内积；根据内积，确定第一对象与第二对象是否为相似对象。可选地，第一对象为检索对象，第二对象为被检索数据库中的被检索对象；第一相似性确定模块在根据内积，确定第一对象与第二对象是否为相似对象时，具体用于：当内积大于第一预设值时，确定被检索对象与检索对象为相似对象。可选地，第一取值确定模块具体用于：获取倒排索引，倒排索引是基于被检索数据库中各被检索对象的稀疏向量的向量维度建立的；基于检索对象的稀疏向量的非零向量维度，通过查找倒排索引，确定检索对象的稀疏向量和各被检索对象的稀疏向量共同的非零向量维度的取值。可选地，第一对象为被去重数据库中的第一被去重对象，第二对象均被去重数据库中的第二被去重对象；第一相似性确定模块在根据内积，确定第一对象与第二对象是否为相似对象时，具体用于：当内积大于第二预设值时，确定第一被去重对象与第二被去重对象为相似对象。第五方面，本公开实施例提供了一种对象检索装置，该装置包括：检索请求接收模块，用于接收检索请求，检索请求中包括检索对象；第二向量获取模块，用于获取检索对象的稀疏向量以及被检索数据库中各被检索对象的稀疏向量，其中，检索对象的稀疏向量与被检索数据库中各被检索对象的稀疏向量的向量维度相同；第一内积确定模块，用于根据检索对象的稀疏向量和被检索数据库中各被检索对象的稀疏向量的共同的非零向量维度的取值，分别确定检索对象的稀疏向量与被检索数据库中各被检索对象的稀疏向量的内积；第二相似性确定模块，用于根据内积，确定检索对象与被检索数据库中各被检索对象的相似性；检索结果返回模块，用于根据相似性，返回检索结果。第六方面，本公开实施例提供了一种去重装置，该装置包括：去重请求接收模块，用于接收对被去重数据库的去重请求；第三向量获取模块，用于获取被去重数据库内第一被去重对象的第一稀疏向量以及被去重数据库内第二被去重对象的第二稀疏向量，其中，第一稀疏向量与第二稀疏向量的向量维度相同；第二内积确定模块，用于根据第一稀疏向量与第二稀疏向量的共同的非零向量维度的取值，确定任第一稀疏向量与第二稀疏向量的内积；第三相似性确定模块，用于根据内积，确定第一被去重对象与第二被去重对象的相似性；去重处理模块，用于根据相似性，对第一被去重对象与第二被去重对象进行去重处理。第七方面，本公开实施例提供了一种电子设备，该电子设备包括：处理器和存储器；存储器，用于存储操作指令；处理器，用于通过调用操作指令，执行如本公开的第一方面至第三方面中任一实施方式中所示的方法。第八方面，本公开实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开的第一方面至第三方面中任一实施方式中所示的方法。本公开实施例提供的技术方案带来的有益效果是：本公开提供的方案，是基于第一稀疏向量和第二稀疏向量共同的非零向量维度的取值来确定第一对象和第二对象的相似性，由于稀疏向量的所有向量维度中，非零向量维度占较少数，通过第一稀疏向量和第二稀疏向量共同的非零向量维度来确定第一对象与第二对象的是否为相似对象，能够降低数据处理量，提高处理效率，满足实际使用中对大量数据快速处理的需求。附图说明为了更清楚地说明本公开实施例中的技术方案，下面将对本公开实施例描述中所需要使用本文档来自技高网...

【技术保护点】
1.一种对象处理方法，其特征在于，包括：获取第一对象的第一稀疏向量和第二对象的第二稀疏向量，其中，所述第一稀疏向量和所述第二稀疏向量的向量维度相同；确定所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值；根据所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值，确定所述第一对象与所述第二对象是否为相似对象。

【技术特征摘要】
1.一种对象处理方法，其特征在于，包括：获取第一对象的第一稀疏向量和第二对象的第二稀疏向量，其中，所述第一稀疏向量和所述第二稀疏向量的向量维度相同；确定所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值；根据所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值，确定所述第一对象与所述第二对象是否为相似对象。2.根据权利要求1所述的方法，其特征在于，所述根据所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值，确定所述第一对象和所述第二对象的相似性，包括：根据所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值，确定所述第一稀疏向量和所述第二稀疏向量的内积；根据所述内积，确定所述第一对象与所述第二对象是否为相似对象。3.根据权利要求2所述的方法，其特征在于，所述第一对象为检索对象，所述第二对象为被检索数据库中的被检索对象；所述根据所述内积，确定所述第一对象与所述第二对象是否为相似对象，包括：若所述内积大于第一预设值，则确定所述被检索对象与所述检索对象为相似对象。4.根据权利要求3所述的方法，其特征在于，所述确定所述第一稀疏向量和所述第二稀疏向量共同的非零向量维度的取值，包括：获取倒排索引，所述倒排索引是基于所述被检索数据库中各被检索对象的稀疏向量的向量维度建立的；基于所述检索对象的稀疏向量的非零向量维度，通过查找所述倒排索引，确定所述检索对象的稀疏向量和各被检索对象的稀疏向量共同的非零向量维度的取值。5.根据权利要求2所述的方法，其特征在于，所述第一对象为被去重数据库中的第一被去重对象，所述第二对象为所述被去重数据库中的第二被去重对象；所述根据所述内积，确定所述第一对象与所述第二对象是否为相似对象，包括：若所述内积大于第二预设值，则确定所述第一被去重对象与所述第二被去重对象为相似对象。6.一种对象检索方法，其特征在于，包括：接收检索请求，所述检索请求中包括检索对象；获取所述检索对象的稀疏向量以及被检索数据库中各被检索对象的稀疏向量，其中，所述检索对象的稀疏向量与所述被检索数据库中各被检索对象的稀疏向量的向量维度相同；根据所述检索对象的稀疏向量和所述被检索数据库中各被检索对象的稀疏向量的共同的非零向量维度的取值，分别确定所述检索对象的稀疏向量与被检索数据库中各被检索对象的稀疏向量的内积；根据所述内积，确定所述检索对象与被检索数据库中各被检索对象的相似性；根据所述相似性，返回检索结果。7.一种去重方法，其特征在于，包括：接收对被去重数据库的去重请求；获取被去重数据库内第一被去重对象的...

【专利技术属性】
技术研发人员：何轶，李根，李磊，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京,11