文案的配图确定方法、装置、电子设备、介质及程序产品制造方法及图纸

本公开关于一种文案的配图确定方法、装置、电子设备、介质及程序产品，该方法包括以下步骤：获得目标文案；提取目标文案的文本特征；分别确定待选图像集中每张待选图像的图像特征与目标文案的文本特征的相似度；根据相似度，在待选图像集中确定目标文案的配图。应用本公开实施例所提供的技术方案，通过确定待选图像的图像特征与目标文案的文本特征的相似度，可以简单快捷的在待选图像集中确定出目标文案的配图，提高了文案的配图的确定效率，不需要依赖于是否能够准确查找到相似文案，直接在待选图像集中确定目标文案的配图，提高了配图的匹配精准度。图的匹配精准度。图的匹配精准度。

Methods, devices, electronic equipment, media and program products for determining the matching drawings of documents

【技术实现步骤摘要】
文案的配图确定方法、装置、电子设备、介质及程序产品


[0001]本公开涉及计算机应用
，特别是涉及一种文案的配图确定方法、装置、电子设备、介质及程序产品。

技术介绍

[0002]随着计算机技术和互联网技术的快速发展，信息发布平台在给新闻报道、文学报告等文案确定配图时，多会借助于深度学习技术，智能化确定文案的配图，以节省人力成本。
[0003]目前，常用的一种文案的配图确定方式是，先查找待进行配图确定的目标文案的相似文案，然后到海量图像库中查找与相似文案的配图相似的图像，将查找到的相似图像作为目标文案的配图。即通过文本间相似、图像间相似作为桥梁实现配图的确定。
[0004]这种方式比较繁琐，要先查找到与目标文案相似的文案，才能再进一步查找与相似文案的配图相似的图像，效率较低，而且，如果在查找与目标文案相似的文案时出现偏差，将会导致查找到的与相似文案的配图相似的图像无法准确匹配到目标文案，配图的匹配精准度较低。

技术实现思路

[0005]本公开的目的是提供一种文案的配图确定方法、装置、电子设备、介质及程序产品，以提高文案的配图的确定效率，提高配图的匹配精准度。
[0006]为解决上述技术问题，本公开提供如下技术方案：
[0007]根据本公开实施例的第一方面，提供一种文案的配图确定方法，包括：
[0008]获得目标文案；
[0009]提取所述目标文案的文本特征；
[0010]分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似度；
[0011]根据所述相似度，在所述待选图像集中确定所述目标文案的配图。
[0012]在本公开的一种具体实施方式中，通过以下步骤获得所述待选图像集：
[0013]基于所述目标文案的文本特征，确定所述目标文案所属的目标类目；
[0014]在素材库中查找属于所述目标类目的素材图像，并将查找到的素材图像作为待选图像加入到所述待选图像集中。
[0015]在本公开的一种具体实施方式中，通过以下步骤确定所述素材库中每张素材图像所属的类目：
[0016]提取所述素材库中每张素材图像的图像特征；
[0017]基于每张素材图像的图像特征，确定每张素材图像所属的类目。
[0018]在本公开的一种具体实施方式中，所述提取所述目标文案的文本特征，包括：
[0019]通过配图网络模型中文本分类分支提取所述目标文案的文本特征；
[0020]相应的，所述待选图像集中每张待选图像的图像特征为：通过所述配图网络模型中图像分类分支提取得到；
[0021]相应的，所述分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似度，包括：
[0022]通过所述配图网络模型中图文相似匹配分支分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似度。
[0023]在本公开的一种具体实施方式中，通过以下步骤预先训练获得所述配图网络模型：
[0024]获得训练数据集，所述训练数据集包括多个训练数据对，每个训练数据对包括训练图像和训练文本，每张训练图像和每个训练文本均有对应的类目标签；
[0025]利用所述训练数据集以及每个训练数据对中训练图像和训练文本对应的类目标签，对预先构建的配图网络初始模型进行迭代训练，所述配图网络初始模型包括文本分类分支、图像分类分支和图文相似匹配分支；
[0026]迭代训练完成后，获得所述配图网络模型。
[0027]在本公开的一种具体实施方式中，所述利用所述训练数据集以及每个训练数据对中训练图像和训练文本对应的类目标签，对预先构建的配图网络初始模型进行迭代训练，包括：
[0028]依次将所述训练数据集中每个训练数据对确定为当前训练数据对，将所述当前训练数据对中的训练图像输入到预先构建的配图网络初始模型的图像分类分支中，基于所述图像分类分支的输出结果和所述当前训练数据对中训练图像对应的类目标签，确定所述当前训练数据对中训练图像对应的图像分类损失；
[0029]将所述当前训练数据对中的训练文本输入到所述配图网络初始模型的文本分类分支中，基于所述文本分类分支的输出结果和所述当前训练数据对中训练文本对应的类目标签，确定所述当前训练数据对中训练文本对应的文本分类损失；
[0030]通过所述配图网络初始模型的图文相似匹配分支确定所述当前训练数据对对应的模态对比损失；
[0031]基于所述当前训练数据对中训练图像对应的图像分类损失、所述当前训练数据对中训练文本对应的文本分类损失、以及所述当前训练数据对对应的模态对比损失，确定模型损失；
[0032]基于所述模型损失，调整所述配图网络初始模型包括的图像分类分支、文本分类分支和图文相似匹配分支的参数。
[0033]在本公开的一种具体实施方式中，所述基于所述图像分类分支的输出结果和所述当前训练数据对中训练图像对应的类目标签，确定所述当前训练数据对中训练图像对应的图像分类损失，包括：
[0034]利用所述图像分类分支的图像特征提取模块提取所述当前训练数据对中训练图像的图像特征；
[0035]将所述当前训练数据对中训练图像的图像特征输入到所述图像分类分支的图像分类模块中，获得所述当前训练数据对中训练图像属于每种类目的第一分类概率；
[0036]基于所述第一分类概率与所述当前训练数据对中训练图像对应的类目标签，确定
所述当前训练数据对中训练图像对应的图像分类损失。
[0037]在本公开的一种具体实施方式中，所述基于所述文本分类分支的输出结果和所述当前训练数据对中训练文本对应的类目标签，确定所述当前训练数据对中训练文本对应的文本分类损失，包括：
[0038]利用所述文本分类分支的文本特征提取模块提取所述当前训练数据对中训练文本的文本特征；
[0039]将所述当前训练数据对中训练文本的文本特征输入到所述文本分类分支的文本分类模块中，获得所述当前训练数据对中训练文本属于每种类目的第二分类概率；
[0040]基于所述第二分类概率与所述当前训练数据对中训练文本对应的类目标签，确定所述当前训练数据对中训练文本对应的文本分类损失。
[0041]在本公开的一种具体实施方式中，所述通过所述配图网络初始模型的图文相似匹配分支确定所述当前训练数据对对应的模态对比损失，包括：
[0042]将所述当前训练数据对中训练图像对应的图像特征和训练文本对应的文本特征输入到所述配图网络初始模型的图文相似匹配分支中；
[0043]利用所述图文相似匹配分支的相似度计算模块获得所述当前训练数据对对应的图文相似度矩阵；
[0044]利用所述图文相似匹配分支的损失计算模块对所述图文相似度矩阵与预设的图文匹配矩阵进行差异计算，确定所述当前训练数据对对应的模态对比损失。
[0045]在本公开的一种具体实施方式中，所述图文匹配矩阵为对角阵；所述利用所述图文相似匹配分支的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文案的配图确定方法，其特征在于，包括：获得目标文案；提取所述目标文案的文本特征；分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似度；根据所述相似度，在所述待选图像集中确定所述目标文案的配图。2.根据权利要求1所述的文案的配图确定方法，其特征在于，通过以下步骤获得所述待选图像集：基于所述目标文案的文本特征，确定所述目标文案所属的目标类目；在素材库中查找属于所述目标类目的素材图像，并将查找到的素材图像作为待选图像加入到所述待选图像集中。3.根据权利要求2所述的文案的配图确定方法，其特征在于，通过以下步骤确定所述素材库中每张素材图像所属的类目：提取所述素材库中每张素材图像的图像特征；基于每张素材图像的图像特征，确定每张素材图像所属的类目。4.根据权利要求1所述的文案的配图确定方法，其特征在于，所述提取所述目标文案的文本特征，包括：通过配图网络模型中文本分类分支提取所述目标文案的文本特征；相应的，所述待选图像集中每张待选图像的图像特征为：通过所述配图网络模型中图像分类分支提取得到；相应的，所述分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似度，包括：通过所述配图网络模型中图文相似匹配分支分别确定待选图像集中每张待选图像的图像特征与所述目标文案的文本特征的相似度。5.根据权利要求4所述的文案的配图确定方法，其特征在于，通过以下步骤预先训练获得所述配图网络模型：获得训练数据集，所述训练数据集包括多个训练数据对，每个训练数据对包括训练图像和训练文本，每张训练图像和每个训练文本均有对应的类目标签；利用所述训练数据集以及每个训练数据对中训练图像和训练文本对应的类目标签，对预先构建的配图网络初始模型进行迭代训练，所述配图网络初始模型包括文本分类分支、图像分类分支和图文相似匹配分支；迭代训练完成后，获得所述配图网络模型。6.根据权利要求5所述的文案的配图确定方法，其特征在于，所述利用所述训练数据集以及每个训练数据对中训练图像和训练文本对应的类目标签，对预先构建的配图网络初始模型...

【专利技术属性】
技术研发人员：申世伟，金伟，卢佳乐，殷健源，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：