图像特征提取模型的训练方法、装置、设备以及存储介质制造方法及图纸

本公开提供了图像特征提取模型的训练方法、装置、设备以及存储介质，涉及计算机技术领域，尤其涉及图像处理、模型训练等领域。具体实现方案为：将一批样本图像的视图输入需要训练的图像特征提取模型，得到该一批样本图像的视图的特征向量；根据该一批样本图像的视图的特征向量和聚类中心向量，得到该同一个样本图像的多个视图的目标聚类分配向量；根据该同一个样本图像的多个视图的目标聚类分配向量和特征向量进行交叉预测；基于交叉预测的结果对该需要训练的图像特征提取模型和该聚类中心向量进行迭代更新，以得到训练后的图像特征提取模型。使用该图像特征提取模型能够从图像中提取更优的图像特征向量，能够使得相似图像在向量空间上距离更近。量空间上距离更近。量空间上距离更近。

【技术实现步骤摘要】
图像特征提取模型的训练方法、装置、设备以及存储介质


[0001]本公开涉及计算机
，尤其涉及图像处理、模型训练等。

技术介绍

[0002]电子书例如小说业务在提升用户规模及应用程序(application，APP)使用时长等方面具有广阔的发展前景。用户界面(User Interface，UI)的页面上展示的小说物料通常由推荐语和图像组成。由于图像比文字更易被快速捕捉到，是整体页面的视觉重点，因此配图对物料质量的影响很大。

技术实现思路

[0003]本公开提供了一种图像特征提取模型的训练方法、装置、设备以及存储介质。
[0004]根据本公开的一方面，提供了一种图像特征提取模型的训练方法，包括：
[0005]将一批样本图像的视图输入需要训练的图像特征提取模型，得到该一批样本图像的视图的特征向量；其中，该一批样本图像中的同一个样本图像具有多个视图；
[0006]根据该一批样本图像的视图的特征向量和聚类中心向量，得到该同一个样本图像的多个视图的目标聚类分配向量；
[0007]根据该同一个样本图像的多个视图的目标聚类分配向量和特征向量进行交叉预测；
[0008]基于交叉预测的结果对该需要训练的图像特征提取模型和该聚类中心向量进行迭代更新，以得到训练后的图像特征提取模型。
[0009]根据本公开的另一方面，提供了一种电子书的图像生成方法，包括：
[0010]从电子书的第一目标图像对应的相似图像集合中，获取一个或多个第二目标图像；其中，该相似图像集合是利用上述的图像特征提取模型的训练方法训练得到的图像特征提取模型构建的。
[0011]根据本公开的另一方面，提供了一种图像特征提取模型的训练装置，包括：
[0012]特征提取模块，用于将一批样本图像的视图输入需要训练的图像特征提取模型，得到该一批样本图像的视图的特征向量；其中，该一批样本图像中的同一个样本图像具有多个视图；
[0013]聚类分配模块，用于根据该一批样本图像的视图的特征向量和聚类中心向量，得到该同一个样本图像的多个视图的目标聚类分配向量；
[0014]交叉预测模块，用于根据该同一个样本图像的多个视图的目标聚类分配向量和特征向量进行交叉预测；
[0015]迭代更新模块，用于基于交叉预测的结果对该需要训练的图像特征提取模型和该聚类中心向量进行迭代更新，以得到训练后的图像特征提取模型。
[0016]根据本公开的另一方面，提供了一种电子书的图像生成装置，包括：
[0017]图像获取模块，用于从电子书的第一目标图像对应的相似图像集合中，获取一个
或多个第二目标图像；其中，该相似图像集合是利用上述的图像特征提取模型的训练装置训练得到的图像特征提取模型构建的。
[0018]根据本公开的另一方面，提供了一种电子设备，包括：
[0019]至少一个处理器；以及
[0020]与该至少一个处理器通信连接的存储器；其中，
[0021]该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。
[0022]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。
[0023]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。
[0024]本申请实施例的图像特征提取模型是基于聚类中心向量和聚类分配向量训练的，使用该图像特征提取模型能够从图像中提取更优的图像特征向量，能够使得相似图像在向量空间上距离更近。
[0025]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0026]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0027]图1是根据本公开一实施例的图像特征提取模型的训练方法的流程示意图；
[0028]图2是根据本公开另一实施例的图像特征提取模型的训练方法的流程示意图；
[0029]图3是根据本公开另一实施例的图像特征提取模型的训练方法的流程示意图；
[0030]图4是根据本公开另一实施例的图像特征提取模型的训练方法的流程示意图；
[0031]图5是根据本公开另一实施例的图像特征提取模型的训练方法的流程示意图；
[0032]图6是根据本公开另一实施例的图像特征提取模型的训练方法的流程示意图；
[0033]图7是根据本公开一实施例的电子书的图像生成方法的流程示意图；
[0034]图8是根据本公开另一实施例的电子书的图像生成方法的流程示意图；
[0035]图9是根据本公开另一实施例的电子书的图像生成方法的流程示意图；
[0036]图10是根据本公开实施例的小说物料图像生成方法的流程示意图；
[0037]图11是一种交叉预测过程的示意图。
[0038]图12是根据本公开一实施例的图像特征提取模型的训练装置的结构示意图；
[0039]图13是根据本公开另一实施例的图像特征提取模型的训练装置的结构示意图；
[0040]图14是根据本公开一实施例的电子书的图像生成装置的结构示意图；
[0041]图15是根据本公开另一实施例的电子书的图像生成装置的结构示意图；
[0042]图16示出用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
[0043]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识
到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0044]图1是根据本公开一实施例的图像特征提取模型的训练方法的流程示意图，该方法包括：
[0045]S101、将一批样本图像的视图输入需要训练的图像特征提取模型，得到该一批样本图像的视图的特征向量；其中，该一批样本图像中的同一个样本图像具有多个视图；
[0046]S102、根据该一批样本图像的视图的特征向量和聚类中心向量，得到该同一个样本图像的多个视图的目标聚类分配向量；
[0047]S103、根据该同一个样本图像的多个视图的目标聚类分配向量和特征向量进行交叉预测；
[0048]S104、基于交叉预测的结果对该需要训练的图像特征提取模型和该聚类中心向量进行迭代更新，以得到训练后的图像特征提取模型。
[0049]在本公开实施例中，图像特征提取模型可以采用神经网络模型等人工智能模型。例如图像特征提取模型可以包括残差网络(Residual N本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像特征提取模型的训练方法，包括：将一批样本图像的视图输入需要训练的图像特征提取模型，得到所述一批样本图像的视图的特征向量；其中，所述一批样本图像中的同一个样本图像具有多个视图；根据所述一批样本图像的视图的特征向量和聚类中心向量，得到所述同一个样本图像的多个视图的目标聚类分配向量；根据所述同一个样本图像的多个视图的目标聚类分配向量和特征向量进行交叉预测；基于交叉预测的结果对所述需要训练的图像特征提取模型和所述聚类中心向量进行迭代更新，以得到训练后的图像特征提取模型。2.根据权利要求1所述的方法，还包括：对所述一批样本图像中的每个样本图像进行图像增广处理，生成所述每个样本图像的多个视图。3.根据权利要求1或2所述的方法，其中，根据所述一批样本图像的视图的特征向量和聚类中心向量，得到所述同一个样本图像的多个视图的目标聚类分配向量，包括：根据所述一批样本图像的多组视图的特征向量和多个聚类中心向量，得到所述多组视图的相似度矩阵；其中，所述一批样本图像的一组视图包括所述一批样本图像中的每个样本图像的一个视图；基于所述多组视图的相似度矩阵，采用聚类分配算法得到所述多组视图的聚类分配矩阵；其中，所述多组视图的聚类分配矩阵中包括所述同一个样本图像的多个视图的目标聚类分配向量。4.根据权利要求3所述的方法，其中，基于所述多组视图的相似度矩阵，采用聚类分配算法得到所述多组视图的聚类分配矩阵，包括迭代地执行以下步骤：对于一组视图，基于所述一组视图的相似度矩阵和第一超参数，得到第一聚类分配矩阵；根据所述第一聚类分配矩阵中的每行元素，得到第一向量；根据所述第一聚类分配矩阵、所述第一向量和第二向量，得到第二聚类分配矩阵；根据第三向量和所述第二聚类分配矩阵得到第四向量；根据所述第四向量和所述第二聚类分配矩阵，得到第三聚类分配矩阵；根据所述第三聚类分配矩阵，得到所述一组视图的聚类分配矩阵。5.根据权利要求1至4中任一项所述的方法，其中，根据所述同一个样本图像的多个视图的目标聚类分配向量和特征向量进行交叉预测，包括：根据所述聚类中心向量、所述同一个样本图像的两个或两个以上视图的特征向量以及所述两个或两个以上视图的目标聚类分配向量，计算得到多个子损失；基于多个子损失，得到交叉预测损失。6.根据权利要求5所述的方法，其中，根据所述聚类中心向量、所述同一个样本图像的两个或两个以上视图的特征向量以及所述两个或两个以上视图的目标聚类分配向量，计算得到多个子损失，包括：根据所述聚类中心向量、所述同一个样本图像的第一视图的特征向量和第二视图的目标聚类分配向量，得到第一损失；根据所述聚类中心向量、所述第二视图的特征向量和所述第一视图的目标聚类分配向量，得到第二损失；基于多个子损失，得到交叉预测损失，包括：根据所述第一损失和所述第二损失，得到
所述交叉预测损失。7.根据权利要求1至6中任一项所述的方法，其中，一个视图的目标聚类分配向量包括所述一个视图的特征向量在所述聚类中心向量上的分配概率。8.一种电子书的图像生成方法，包括：从电子书的第一目标图像对应的相似图像集合中，获取一个或多个第二目标图像；其中，所述相似图像集合是利用权利要求1至7中任一项所述的方法训练得到的图像特征提取模型构建的。9.根据权利要求8所述的方法，其中，所述相似图像集合的构建过程包括：将多个待处理图像输入所述图像特征提取模型，得到所述多个待处理图像的特征向量；使用K值聚类算法处理多个待处理图像的特征向量，得到所述多个待处理图像的特征向量对应的聚类中心向量；对于一个待处理图像的特征向量，基于所述一个待处理图像特征向量与其对应的聚类中心向量关联的图像的距离，建立所述一个待处理图像的相似图像列表。10.根据权利要求8或9所述的方法，还包括：将所述电子书的所述第一目标图像、所述一个或多个第二目标图像和所述电子书的标题结合，生成所述电子书的描述信息。11.根据权利要求8至10中任一项所述的方法，还包括：根据所述电子书的分类标签，从电子书分类图像库中选取所述第一目标图像。12.根据权利要求8至11中任一项所述的方法，还包括：使用深度学习算法构建多层神经网络，为图像生成电子书分类标签，得到电子书分类图像库；其中，所述电子书分类图像库中包括多个待处理图像。13.一种图像特征提取模型的训练装置，包括：特征提取模块，用于将一批样本图像的视图输入需要训练的图像特征提取模型，得到所述一批样本图像的视图的特征向量；其中，所述一批样本图像中的同一个样本图像具有多个视图；聚类分配模块，用于根据所述一批样本图像的视图的特征向量和聚类中心向量，得到所述同一个样本图像的多...

【专利技术属性】
技术研发人员：罗雪妮，刘庆，
申请(专利权)人：百度中国有限公司，
类型：发明
国别省市：