【技术实现步骤摘要】
图像描述模型的训练方法、图像搜索方法及装置
本公开一般涉及图像搜索领域，尤其涉及图像描述模型的训练方法、图像搜索方法及装置。
技术介绍
随着互联网的发展，搜索引擎的作用越来越重要，成为生活工具之一，为使用者提供大量的搜索服务。其中，图片搜索一直占据着很大的比重。目前的搜索引擎提供的图片搜索功能，有的要求用户提供相关图片，从而在待查图像集中以某种特征标准来寻找最接近的若干图片；有的要求用户提供关键词，然后搜索与之相关的图片。而当使用者需要搜索具有多个特征例如一个文本来搜索图片时，上述搜索方法所提供的图片准确率将明显下降。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种能够以文本搜索图像的图像描述模型的训练方法、图像搜索方法及装置。第一方面，提供一种图像描述模型的训练方法，该方法包括：获得训练集，用于训练第一网络模型和第二网络模型，其中，训练集包括图像样本和对应的文本样本，一个文本样本包括至少两个样本词语；利用第一网络模型提取图像样本的多个特征图；利用注意力机制和第...
【技术保护点】
1.一种图像描述模型的训练方法，其特征在于，所述方法包括：/n获得训练集，用于训练第一网络模型和第二网络模型，其中，所述训练集包括图像样本和对应的文本样本，一个所述文本样本包括至少两个样本词语；/n利用所述第一网络模型提取图像样本的多个特征图；/n利用注意力机制和所述第二网络模型，根据各所述特征图确定对应的描述文本，所述描述文本包括至少两个描述词语；/n根据所述描述文本与所述样本文本确定损失函数，通过迭代训练，得到图像描述模型；其中，所述图像描述模型为训练完成后的所述第一网络模型和所述第二网络模型。/n
【技术特征摘要】
1.一种图像描述模型的训练方法，其特征在于，所述方法包括：
获得训练集，用于训练第一网络模型和第二网络模型，其中，所述训练集包括图像样本和对应的文本样本，一个所述文本样本包括至少两个样本词语；
利用所述第一网络模型提取图像样本的多个特征图；
利用注意力机制和所述第二网络模型，根据各所述特征图确定对应的描述文本，所述描述文本包括至少两个描述词语；
根据所述描述文本与所述样本文本确定损失函数，通过迭代训练，得到图像描述模型；其中，所述图像描述模型为训练完成后的所述第一网络模型和所述第二网络模型。
2.根据权利要求1所述的图像描述模型的训练方法，其特征在于，所述利用注意力机制和第二网络模型，根据各所述特征图确定对应的描述文本包括：
根据所选的注意力焦点，确定每个所述特征图的注意力权重，并通过加权确定该注意力焦点的加权图境向量；
通过调整注意力焦点，获得多个相应的加权图境向量；
根据各所述加权图境向量确定对应的描述词语，进而获得对应的描述文本。
3.根据权利要求2所述的图像描述模型的训练方法，其特征在于，所述根据各所述加权图境向量确定对应的描述词语包括：
将各所述加权图境向量和训练集的样本词语输入至所述第二网络模型，所述第二网络模型根据每个加权图境向量分别确定各所述样本词语的概率分布；
分别将各所述样本词语中概率最高的词语作为对应的加权图境向量的描述词语。
4.一种图像搜索方法，其特征在于，所述方法包括：
接收输入的搜索文本；
所述搜索文本分别与图像库中各图像对应的描述文本进行比较，确定图像的搜索结果，所述描述文本是利用根据权利要求1至5任一所述训练方法训练后的图像描述模型对图像数据库中的图像进行描述获得。
5.根据权利要求4所述的图像搜索方法，其特征在于，所述搜索文本分别与各所述描述文本进行比较，确定图像的搜索结果包括：
将所述搜索文本和所述描述文本分别转换为搜索句向量和描述句向量；
通过所述搜索句向量和所述描述句向量的匹配度，确定图像的搜索结果。
6.一种图像描述模型的训练装置，其特征在于，所述装置包括：
获得训练集单...
【专利技术属性】
技术研发人员：许哲民，武晨，姚小龙，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。