图像检索方法和相关设备技术

本申请实施例提供图像检索方法和相关设备。该方法包括：电子设备在目标应用的第一界面中接收到第一文本；其中，第一文本包括第一标签；电子设备显示一张或多张第一图像；其中，一张或多张第一图像包括目标应用中与第一标签匹配的图像；第一图像为电子设备中的第一模型基于第一文本和目标应用中的图像确定的，第一模型是根据目标应用中的图文对进行学习得到的，目标应用中的图文对包括对象的标签和对象的图像，对象的标签包括第一标签。这样，电子设备可以在图库应用中根据个性化词语搜索到与该个性化词语相关的视频，扩展了图像检索的场景，提升了搜索结果的准确性，从而提升用户的使用体验。的使用体验。的使用体验。

【技术实现步骤摘要】
图像检索方法和相关设备


[0001]本申请涉及终端
，尤其涉及一种图像检索方法和相关设备。

技术介绍

[0002]电子设备的图库应用中可存储有视频和照片，用户可查看、编辑或向他人分享视频和/或照片等。例如，用户想要查看某一照片，用户可通过在图库应用中对图像进行逐个浏览找到该照片；当图库应用中存储有大量照片时，用户也可通过图库应用中的搜索功能找到该图片。
[0003]可能的实现中，电子设备的图库应用支持搜索功能，电子设备可提供一些简单的图片检索。例如，图库应用中预设有图片对应的标签，例如，标签可以为蓝天、白云、动物、文档和美食等，当用户在图库的搜索栏中输入这些预先定义好的标签时，电子设备可显示标签所对应的照片和/或包括对应图片的视频。
[0004]但一些场景中，通过标签检索图像的方法准确率较低。例如，当用户在搜索栏输入“宝贝”、“二宝”和“咕咕家”等词语时，电子设备可能无法准确的得到与其对应的图片和/或视频。用户仍需要通过手动翻找和/或拉动视频的进度条等方法，获取到照片和/或视频，过程繁琐，用户体验差。

技术实现思路

[0005]本申请实施例提供一种图像检索方法和相关设备，应用于终端
，可提供一种在图库应用中根据个性化词语搜索到与该个性化词语相关的视频和/或图片，扩展了图像检索的场景，提升用户的使用体验。
[0006]第一方面，本申请实施例提出一种图像检索方法。该方法包括：电子设备在目标应用的第一界面中接收到第一文本；其中，第一文本包括第一标签；电子设备显示一张或多张第一图像；其中，一张或多张第一图像包括目标应用中与第一标签匹配的图像；第一图像为电子设备中的第一模型基于第一文本和目标应用中的图像确定的，第一模型是根据目标应用中的图文对进行学习得到的，目标应用中的图文对包括对象的标签和对象的图像，对象的标签包括第一标签。这样，电子设备可以在图库应用中搜索到与包括个性化词语的搜索词相关的视频，扩展了图像检索的场景，提升了搜索结果的准确性，从而提升用户的使用体验。
[0007]其中，第一界面可以为图3中的c所示界面；一张或多张第一图像可对应于图3中的c所示界面中视频310。
[0008]在一种可能的实现方式中，第一模型包括图像编码器、文本解码器和文本编码器；在电子设备在目标应用的第一界面中接收到第一文本之前，还包括：电子设备获取对象的标签和对象的图像；电子设备通过图像编码器将对象的图像转化为第一向量；电子设备通过文本解码器将第一向量转化为第二文本；第二文本包括用于描述对象的第一关键词，且第二文本不包括对象的标签；电子设备将第一关键词替换为对象的标签，得到第三文本；第
三文本包括对象的标签，且第三文本不包括第一关键词；电子设备通过文本编码器将第三文本转化为第二向量；电子设备基于第一向量和第二向量学习得到第一模型，使得第一模型学习有对象的标签与对象的图像进行匹配的能力。这样，第一模型可通过对人物称呼和人物称呼的图像进行个性此词语的学习与更新，使得电子设备拥有根据个性化词语搜索到与个性化词语相关的图像的能力；当用户输入的搜索词包括该个性化词语时，第二设备可显示较准确的搜索结果。从而提升图像检索的准确性，提升用户的使用体验。
[0009]在一种可能的实现方式中，电子设备显示一张或多张第一图像之后，包括：在第一预设时间内，电子设备未接收到针对第一图像的触发操作，以及电子设备在目标应用的第二界面中接收到第四文本；第四文本包括第二关键词和第三关键词；电子设备显示一张或多张第二图像，其中，第二图像包括目标应用中与第二关键词匹配的图像；当电子设备接收到针对一张或多张第二图像中目标第二图像的触发操作时，电子设备识别目标第二图像中的对象，以及电子设备将第一对象的图像与第三关键词设置为图文对；其中，目标第二图像中的对象包括第一对象和第二对象；第二对象与第二关键词相匹配；电子设备根据第一对象的图像和第三关键词构成的图文对更新第一模型；更新后的第一模型学习有将第一对象与第三关键词进行匹配的能力。这样，第一模型可通过对特殊词语和特殊词语的图像进行个性化词语的学习与更新，使得电子设备拥有根据个性化词语搜索到与个性化词语相关的图像的能力；当用户输入的搜索词包括该个性化词语时，第二设备可显示较准确的搜索结果。从而提升了图像检索的准确性，提升用户的使用体验。
[0010]其中，第二界面可对应于图8中的a所示界面，一张或多张第二图像可对应于图8中的a所示界面中的视频802、视频803、视频804和视频805。目标第二图像可对应于图8中的a界面所示视频803。
[0011]在一种可能的实现方式中，在电子设备根据第一对象的图像和第三关键词构成的图文对更新第一模型之前，还包括：电子设备基于第一模型生成随机数；电子设备根据第一对象的图像和第三关键词构成的图文对更新第一模型，包括：若随机数大于或等于预设值，电子设备根据第一对象的图像和第三关键词构成的图文对更新第一模型。这样，可以使得第一模型有一定概率在迭代中学习到第三关键词，从而实现第二目标图像文件和第三关键词的匹配。
[0012]在一种可能的实现方式中，方法还包括：电子设备在目标应用的第三界面中接收到第五文本，其中，第五文本包括第四关键词；电子设备显示用于提示未得到与第五文本关联的图像的提示信息；在第二预设时间内，电子设备在目标应用的第四界面中接收到第六文本，其中，第六文本包括第五关键词；电子设备显示一张或多张第三图像，当电子设备接收到针对一张或多张第三图像中的目标第三图像的触发操作时，电子设备识别目标第三图像中的第三对象，以及电子设备将第三对象与第四关键词设置为图文对；电子设备根据第三对象和第四关键词构成的图文对更新第一模型；更新后的第一模型学习有将第三对象与第四关键词进行匹配的能力。这样，第一模型可通过对特殊词语和特殊词语的图像进行个性化词语的学习与更新，使得电子设备拥有根据个性化词语搜索到与个性化词语相关的图像的能力；当用户输入的搜索词包括该个性化词语时，第二设备可显示较准确的搜索结果。从而提升了图像检索的准确性，提升用户的使用体验。
[0013]其中，第三界面可对应于图21中的a所示界面；提示信息可对应于图21中的a所示
界面中的提示信息2102。第四界面可对应于图21中的b所示界面。第三图像可对应于图21中的b所示界面中的照片2104和视频2105。
[0014]在一种可能的实现方式中，在电子设备显示一张或多张第一图像之前，还包括：若第一文本中包括人物标签和/或地点信息，则电子设备在目标应用中筛选第四图像，其中，第四图像包括与人物标签和/或地点信息相匹配的图像；第一模型基于第一文本与第四图像得到第一图像；其中，第一图像与第一文本的相似度大于相似度阈值。这样，电子设备可优先基于第一文本中的人物标签和/或地点信息筛选得到待处理图像，可减少待处理图像的数量，从而减小第一模型的运算压力，提升第一模型执行图形检索方法的效率。
[0015]在一种可能的实现方式中，第一图像包括目标视频，第一模型基于第一文本与第四图像得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像检索方法，其特征在于，包括：电子设备在目标应用的第一界面中接收到第一文本；其中，所述第一文本包括第一标签；所述电子设备显示一张或多张第一图像；其中，所述一张或多张第一图像包括所述目标应用中与所述第一标签匹配的图像；所述第一图像为所述电子设备中的第一模型基于所述第一文本和所述目标应用中的图像确定的，所述第一模型是根据所述目标应用中的图文对进行学习得到的，所述目标应用中的图文对包括对象的标签和所述对象的图像，所述对象的标签包括所述第一标签。2.根据权利要求1所述的方法，其特征在于，所述第一模型包括图像编码器、文本解码器和文本编码器；在所述电子设备在目标应用的第一界面中接收到第一文本之前，还包括：所述电子设备获取所述对象的标签和所述对象的图像；所述电子设备通过所述图像编码器将所述对象的图像转化为第一向量；所述电子设备通过所述文本解码器将所述第一向量转化为第二文本；所述第二文本包括用于描述所述对象的第一关键词，且所述第二文本不包括所述对象的标签；所述电子设备将所述第一关键词替换为所述对象的标签，得到第三文本；所述第三文本包括所述对象的标签，且所述第三文本不包括所述第一关键词；所述电子设备通过所述文本编码器将所述第三文本转化为第二向量；所述电子设备基于所述第一向量和所述第二向量学习得到所述第一模型，使得所述第一模型学习有所述对象的标签与所述对象的图像进行匹配的能力。3.根据权利要求1或2所述的方法，其特征在于，所述电子设备显示一张或多张第一图像之后，包括：在第一预设时间内，所述电子设备未接收到针对所述第一图像的触发操作，以及所述电子设备在所述目标应用的第二界面中接收到第四文本；所述第四文本包括第二关键词和第三关键词；所述电子设备显示一张或多张第二图像，其中，所述第二图像包括所述目标应用中与所述第二关键词匹配的图像；当所述电子设备接收到针对一张或多张所述第二图像中目标第二图像的触发操作时，所述电子设备识别所述目标第二图像中的对象，以及所述电子设备将第一对象的图像与所述第三关键词设置为图文对；其中，所述目标第二图像中的对象包括所述第一对象和第二对象；所述第二对象与所述第二关键词相匹配；所述电子设备根据所述第一对象的图像和所述第三关键词构成的图文对更新所述第一模型；更新后的所述第一模型学习有将所述第一对象与所述第三关键词进行匹配的能力。4.根据权利要求3所述的方法，其特征在于，在所述电子设备根据所述第一对象的图像和所述第三关键词构成的图文对更新所述第一模型之前，还包括：所述电子设备基于所述第一模型生成随机数；所述电子设备根据所述第一对象的图像和所述第三关键词构成的图文对更新所述第一模型，包括：若所述随机数大于或等于预设值，所述电子设备根据所述第一对象的图像和所述第三
关键词构成的图文对更新所述第一模型。5.根据权利要求1或2任一项所述的方法，其特征在于，所述方法还包括：所述电子设备在所述目标应用的第三界面中接收到第五文本，其中，所述第五文本包括第四关键词；所述电子设备显示用于提示未得到与所述第五文本关联的图像的提示信息；在第二预设时间内，所述电子设备在所述目标应用的第四界面中接收到第六文本，其中，所述第六文本包括第五关键词；所述电子设备显示一张或多张第三图像，当所述电子设备接收到针对一张或多张所述第三图像中的目标第三图像的触发操作时，所述电子设备识别所述目标第三图像中的第三对象，以及所述电子设备将所述第三对象与所述第四关键词设置为图文对；所述电子设备根据所述第三对象和所述第四关键词构成的图文对更新所述第一模型；更新后的所述第一模型学...

【专利技术属性】
技术研发人员：李宇，蒋雪涵，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：