【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种图像标题生成方法及相关装置。
技术介绍
1、随着智能手机等电子设备的发展，拍照的功能越来越强大，越来越多的人使用电子设备拍照，电子设备的图库里的照片也越来越多。为了方便查询照片，一般会利用拍摄图像时，附带的地点、时间以及后处理得到的图像场景等标签信息，将图像进行分类存储，通常会挑选一张有代表性的美图作为某类图像的相册封面，并配上相应的文本标题。目前，电子设备给出图像的文本标题数量和种类均非常有限，不能满足用户的个性化和多样性的需求。
技术实现思路
1、本申请提供了一种图像标题生成方法及相关装置，实现了可以根据目标图像，生成含有特定风格(例如诗意风格)的标题，以满足用户对生成标题个性化的需求，提高了用户体验。
2、第一方面，本申请提供了一种图像标题生成方法，包括：训练设备获取初级图文数据集，该初级图文数据集中包括多组训练数据对，该训练数据对包括图像和文本标题。训练设备从初级图文数据集中筛选出高质量图文数据集，其中，该高质量图文数据集包括多组高质量图文数据对，该高质量图文数据对包括一个图像和一个文本标题。该高质量图文数据对中的图像与文本标题的匹配度大于第一匹配度阈值，且该高质量图文数据集中的文本标题的风格为目标风格。训练设备通过高质量图文数据集训练目标图文生成模型，该目标图文生成模型用于根据输入图像生成所述输入图像对应的目标文本标题，该目标文本标题的风格为目标风格。
3、通过本申请提供的一种图像标题生成方法，训练设备可以通过对获取
4、在一种可能的实现方式中，训练设备获取第一图像数据集，该第一图像数据集包括n张图像，n为大于1的正整数。训练设备接收并响应于用户的第一输入，对第一图像数据集中的m张图像标记带有多种风格的文本标题，m为小于n的正整数。训练设备将所述m张图像以及m张图像的文本标题作为第一图文数据集，并通过第一图文数据集训练第一模型。训练设备通过第一模型为图像数据集中l张图像生成文本标题，得到第二图文数据集，所述l张图像与所述m张图像不重复，n＝m+l，l为正整数。训练设备将第一图文数据集和第二图文数据集，放入初级图文数据集中。这样，节省了大量时间和人力成本。
5、在一种可能的实现方式中，训练设备通过网络爬虫技术从网页上爬取多组高质量图文数据对，作为第三图文数据集，并将第三图文数据集放入初级图文数据集中。可选的，训练设备从网页上爬取多组高质量图文数据对，并将该多组高质量图文数据对进行数据清洗以及去重操作之后，作为该第三图文数据集。这样，得到的第三数据集内容不重复，数据不冗余，数据更加精准。
6、在一种可能的实现方式中，训练设备获取第二图像数据集，该第二图像数据集中包括多张图像。训练设备通过图文生成模型为第二图像数据集中的每张图像生成文本标题，得到第四图文数据集，并将第四图文数据集放入初级图文数据集中。这样，可以快速生成大批量的训练数据集。
7、在一种可能的实现方式中，训练设备可以通过风格分类模型从初级图文数据集中筛选出文本标题的风格为目标风格的第五图文数据集。训练设备通过图文匹配模型从该第五图文数据集中筛选出图文数据对的图文匹配度大于第一匹配度阈值的多个高质量图文数据对，并将该多个高质量图文数据对作为高质量图文数据集。
8、在一种可能的实现方式中，训练设备还可以通过图文匹配模型从初级图文数据集中筛选出图文匹配度大于第一匹配度阈值的第六图文数据集。训练设备可以通过风格分类模型从第六图文数据集中筛选出文本标题的风格为目标风格的多个高质量图文数据对，并将该多个高质量图文数据对作为高质量图文数据集。
9、在一种可能的实现方式中，训练设备获取文本标签数据集，该文本标签数据集包括多组文本标签对，该文本标签对包括文本标题和风格标签。训练设备通过文本标签数据集训练风格分类模型。
10、在一种可能的实现方式中，训练设备获取图文匹配数据集，该图文匹配数据集包括多组图文匹配对，该图文匹配对包括一个图像和一个文本标题，该文本匹配队中图像与文本标题的匹配度大于第二匹配度阈值。训练设备通过图文匹配数据集训练图文匹配模型。
11、这样，训练设备可以通过训练分类风格模型和图文匹配模型，从而能够从初级图文数据集中快速的筛选出高质量图文数据集。
12、在一种可能的实现方式中，训练设备从高质量图文数据集中通过聚类算法聚类出带有所述目标风格的文本向量集。训练设备在通过高质量图文数据集训练目标图文生成模型时，通过文本向量集对目标图文生成模型进行微调。这样，可以使得目标图文生成模型输出的目标文本更加精确。
13、在一种可能的实现方式中，目标风格包括以下一项或多项：唐诗，宋词，元曲、白话、英文、现代诗、文言文等。
14、第二方面，本申请提供了一种训练设备，包括一个或多个处理器和一个或多个存储器；其中，该一个或多个存储器与该一个或多个处理器耦合，该一个或多个存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当该一个或多个处理器执行该计算机指令时，使得执行上述第一方面中任一项可能的实现方式中的方法。
15、第三方面，本申请提供了另一种电子设备，包括一个或多个功能模块，该一个或多个功能模块用于执行上述第一方面中任一项可能的实现方式中的方法。
16、第四方面，本申请提供了一种芯片系统，包括处理电路和接口电路，该接口电路用于接收指令并传输至处理电路，处理电路用于运行指令以执行上述任一方面任一项可能的实现方式中的方法。
17、第五方面，本申请提供了一种计算机可读存储介质，包括指令，当该指令在训练设备的处理器上运行时，使得执行上述第一方面中任一项可能的实现方式中的方法。
18、第六方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行上述任一方面任一项可能的实现方式中的方法。
本文档来自技高网...【技术保护点】
1.一种图像标题生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述从所述网页上爬取多组网页图文数据对，作为第三图文数据集，具体包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述从所述初级图文数据集中筛选出高质量图文数据集，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述从所述初级图文数据集中筛选出高质量图文数据集，具体包括：
8.根据权利要求6或7所述的方法，其特征在于，在从所述初级图文数据集中筛选出高质量图文数据集之前，所述方法还包括：
9.根据权利要求6-8中任一项所述的方法，其特征在于，在从所述初级图文数据集中筛选出高质量图文数据集之前，所述方法还包括：
10.根据权利要求1所述的方法，其特征在于，在通过所述高质量图文数据集训练所述目标
11.根据权利要求10所述的方法，其特征在于，所述聚类算法包括均值聚类算法k-means和中心点聚类算法k-medoids中的任一项。
12.根据权利要求1-11中任一项所述的方法，其特征在于，所述目标风格包括以下一项或多项：唐诗、宋词、元曲、白话、英文、现代诗和文言文。
13.一种训练设备，其特征在于，包括一个或多个处理器和一个或多个存储器；其中，所述一个或多个存储器与所述一个或多个处理器耦合，所述一个或多个存储器用于存储计算机程序，当所述一个或多个处理器执行所述计算机程序时，使得执行如权利要求1-12中任一项所述的方法。
14.一种计算机可读存储介质，包括指令，其特征在于，当所述指令在训练设备的处理器上运行时，使得执行如权利要求1-12中任一项所述的方法。
...【技术特征摘要】
1.一种图像标题生成方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
4.根据权利要求3所述的方法，其特征在于，所述从所述网页上爬取多组网页图文数据对，作为第三图文数据集，具体包括：
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，所述从所述初级图文数据集中筛选出高质量图文数据集，具体包括：
7.根据权利要求1所述的方法，其特征在于，所述从所述初级图文数据集中筛选出高质量图文数据集，具体包括：
8.根据权利要求6或7所述的方法，其特征在于，在从所述初级图文数据集中筛选出高质量图文数据集之前，所述方法还包括：
9.根据权利要求6-8中任一项所述的方法，其特征在于，在从所述初级图文数据集中筛选出高质量图文数据...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。