图像搜索方法、图像搜索装置及终端设备制造方法及图纸

本发明专利技术实施例公开了一种图像搜索方法、图像搜索装置及终端设备，图像搜索方法包括，接收并识别用户语音，得到所述用户语音对应的文本；采用语音分析模型对所述文本进行语义分析，得到语音关键词；采用文本相似度算法，得到与所述语音关键词相似度较大的预设数量的搜索关键词；在索引数据库中查找与所述预设数量的搜索关键词对应的匹配图像，以使机器人显示所述匹配图像。本发明专利技术实施例提供的图像搜索方法使得机器人实现了基于语音的图片搜索及显示。示。示。

【技术实现步骤摘要】
图像搜索方法、图像搜索装置及终端设备


[0001]本专利技术涉及搜索
，尤其涉及一种图像搜索方法、图像搜索装置及终端设备。

技术介绍

[0002]近年来，随着智能手机拍照技术的普及，用户产生的数据从传统的文本逐渐过渡到文本和图像并存，但是海量的图像造成对图像搜索的需求，要求图像搜索的速度、准确度和存储容量提出更高的要求。
[0003]传统的搜索引擎多数是基于文本的搜索，而且应用场景多数基于用户在电脑界面或者手机界面的文字输入。而在与机器人对话的场景下，用户的输入是语音，当用户需要从语音问答中，让机器人在机器显示屏幕显示自己想要的图片的时候，传统的搜索引擎架构并不能解决这样的搜索场景问题。
[0004]可见，现有机器人无法实现基于语音的图片搜索及显示。

技术实现思路

[0005]有鉴于此，本申请实施例的目的是提供一种图像搜索方法、图像搜索装置及终端设备，能够解决现有机器人无法实现基于语音的图片搜索及显示的问题。
[0006]为了解决上述技术问题，本申请是这样实现的：
[0007]第一方面，本申请实施例提供了一种图像搜索方法，包括：
[0008]接收并识别用户语音，得到所述用户语音对应的文本；
[0009]采用语音分析模型对所述文本进行语义分析，得到语音关键词；
[0010]采用文本相似度算法，得到与所述搜索关键词及所述语音关键词相似度较大的预设数量的搜索关键词；
[0011]在索引数据库中查找与所述预设数量的搜索关键词对应的匹配图像，以使机器人显示所述匹配图像。
[0012]根据本申请公开的一种具体实施方式，所述采用文本相似度算法，得到与所述语音关键词相似度较大的预设数量的搜索关键词，包括：
[0013]将所述语音关键词输入至预先训练好的word2vec模型，得到多个与所述语音关键词相似的相似关键词；
[0014]计算所述语音关键词与每个所述相似关键词的语义距离；
[0015]将所述语义距离按照由大到小的顺序排列，并将所述语义距离较大的预设数量的相似关键词作为搜索关键词。
[0016]根据本申请公开的一种具体实施方式，所述索引数据库的建立步骤，包括：
[0017]获取所述机器人拍摄的待分类图像；
[0018]将所述待分类图像输入至图像分类模型，得到所述待分类图像的类别标签，其中，所述类别标签包括类别名称、类别名称得分、物体坐标；
[0019]基于所述待分类图像的类别标签，构建所述待分类图像的倒排索引；
[0020]将所述待分类图像和所述倒排索引存储至HDFS，以建立所述索引数据库。
[0021]根据本申请公开的一种具体实施方式，所述获取所述机器人拍摄的待分类图像，包括：
[0022]获取所述机器人拍摄的图像；
[0023]判断所述图像的图片是否能被识别；
[0024]将能被识别的所述图像作为待分类图像。
[0025]根据本申请公开的一种具体实施方式，所述图像分类模型的建立步骤，包括：
[0026]获取多张带有类别标签的训练图像，并将具有相同类别名称的训练图像归类；
[0027]对所述训练图像进行清洗，并剔除无法被识别的所述训练图像，得到预处理图像；
[0028]对所述预处理图像进行数据增强，得到多张增强图像，将所述预处理图像与所述多张增强图像作为训练集；
[0029]将所述训练集输入至VGG16网络模型，学习训练得到图像分类模型。
[0030]第二方面，本申请实施例提供了一种图像搜索装置，包括：
[0031]识别模块，用于接收并识别用户语音，得到所述用户语音对应的文本；
[0032]语义分析模块，用于采用语音分析模型对所述文本进行语义分析，得到语音关键词；
[0033]搜索关键词获取模块，用于采用文本相似度算法，得到与所述语音关键词相似度较大的预设数量的搜索关键词；
[0034]查找模块，用于在索引数据库中查找与所述搜索关键词及所述预设数量的搜索关键词对应的匹配图像，以使机器人显示所述匹配图像。
[0035]根据本申请公开的一种具体实施方式，所述搜索关键词获取模块包括：
[0036]相似关键词获取子模块，用于将所述语音关键词输入至预先训练好的word2vec模型，得到多个与所述语音关键词相似的相似关键词；
[0037]计算子模块，用于计算所述语音关键词与每个所述相似关键词的语义距离；
[0038]搜索关键词获取子模块，用于将所述语义距离按照由大到小的顺序排列，并将所述语义距离较小的预设数量的相似关键词作为搜索关键词。
[0039]根据本申请公开的一种具体实施方式，所述图像搜索装置还包括索引数据库建立模块，所述索引数据库建立模块包括：
[0040]待分类图像获取子模块，用于获取所述机器人拍摄的待分类图像；
[0041]类别标签获取子模块，用于将所述待分类图像输入至图像分类模型，得到所述待分类图像的类别标签，其中，所述类别标签包括类别名称、类别名称得分、物体坐标；
[0042]构建子模块，用于基于所述待分类图像的类别标签，构建所述待分类图像的倒排索引；
[0043]存储子模块，用于将所述待分类图像和所述倒排索引存储至HDFS，以建立所述索引数据库。
[0044]第三方面，本申请实施例提供了一种终端设备，包括处理器和存储器，所述存储器上存储有程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
[0045]第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
[0046]本申请的上述实施例提供的图像搜索方法、图像搜索装置及终端设备，接收并识别用户语音，得到所述用户语音对应的文本；采用语音分析模型对所述文本进行语义分析，得到语音关键词；采用文本相似度算法，得到与所述语音关键词相似度较大的预设数量的搜索关键词；在索引数据库中查找与所述预设数量的搜索关键词对应的匹配图像，以使机器人显示所述匹配图像。这样，使得机器人实现了基于语音的图片搜索及显示。
附图说明
[0047]为了更清楚地说明本专利技术的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本专利技术的某些实施例，因此不应被看作是对本专利技术保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
[0048]图1示出了本申请实施例提供的一种图像搜索方法的流程图；
[0049]图2示出了本申请实施例提供的一种索引数据库的建立步骤的流程图；
[0050]图3示出了本申请实施例提供的一种图像搜索装置的结构示意图。
具体实施方式
[0051]下面将结合本专利技术实施例中附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像搜索方法，其特征在于，包括：接收并识别用户语音，得到所述用户语音对应的文本；采用语音分析模型对所述文本进行语义分析，得到语音关键词；采用文本相似度算法，得到与所述语音关键词相似度较大的预设数量的搜索关键词；在索引数据库中查找与所述搜索关键词及所述预设数量的搜索关键词对应的匹配图像，以使机器人显示所述匹配图像。2.根据权利要求1所述的方法，其特征在于，所述采用文本相似度算法，得到与所述语音关键词相似度较大的预设数量的搜索关键词，包括：将所述语音关键词输入至预先训练好的word2vec模型，得到多个与所述语音关键词相似的相似关键词；计算所述语音关键词与每个所述相似关键词的语义距离；将所述语义距离按照由大到小的顺序排列，并将所述语义距离较大的预设数量的相似关键词作为搜索关键词。3.根据权利要求1所述的方法，其特征在于，所述索引数据库的建立步骤，包括：获取所述机器人拍摄的待分类图像；将所述待分类图像输入至图像分类模型，得到所述待分类图像的类别标签，其中，所述类别标签包括类别名称、类别名称得分、物体坐标；基于所述待分类图像的类别标签，构建所述待分类图像的倒排索引；将所述待分类图像和所述倒排索引存储至HDFS，以建立所述索引数据库。4.根据权利要求3所述的方法，其特征在于，所述获取所述机器人拍摄的待分类图像，包括：获取所述机器人拍摄的图像；判断所述图像的图片是否能被识别；将能被识别的所述图像作为待分类图像。5.根据权利要求3所述的方法，其特征在于，所述图像分类模型的建立步骤，包括：获取多张带有类别标签的训练图像，并将具有相同类别名称的训练图像归类；对所述训练图像进行清洗，并剔除无法被识别的所述训练图像，得到预处理图像；对所述预处理图像进行数据增强，得到多张增强图像，将所述预处理图像与所述多张增强图像作为训练集；将所述训练集输入至VGG16网络模型，学习训练得到图像分类模型。6.一种图像搜索装置，...

【专利技术属性】
技术研发人员：刘祺，
申请(专利权)人：深圳市优必选科技股份有限公司，
类型：发明
国别省市：