一种基于检索增强的精细化类别图像生成方法技术

本发明专利技术涉及计算机视觉技术领域，公开了一种基于检索增强的精细化类别图像生成方法，包括：收集多种类别的图像；使用预训练的CLIP模型提取图像的特征，将得到的图像特征向量存储到向量数据库；对查询文本进行分词和编码，得到文本序列；通过预训练的CLIP模型对文本序列进行特征提取，得到查询文本的文本特征向量；对文本特征向量和图像特征向量进行相似度计算，根据向量数据库存储的路径信息，得到查询文本对应的图像；将提示词和图像输入到Stable Diffusion模型，得到最终的特定类别的图像。本发明专利技术利用检索获取的相关信息，图像生成模型可以更准确地理解所需生成图像的特定类别，并生成更符合要求的图像内容。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，具体涉及一种基于检索增强的精细化类别图像生成方法。

技术介绍

1、图像生成技术通过创造逼真、高质量的图像，为数据增强、特效制作和个性化体验提供了有效工具，拓展了艺术创作、医学影像、虚拟现实等领域的可能性。现有的图像生成模型(例如midjourney、dall-e 2、stable diffusion)的训练集基本都是构建于网络公开的数据，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。

2、当我们直接使用一些图像生成模型去生成某个特定类别图像时，会发现生成结果难以满足我们的实际需求。为了解决传统生成模型在语义稀少和信息获取方面的局限性，本专利技术提出了基于检索增强的精细化类别图像生成方法，利用外挂数据库的方式，结合检索技术和图像生成技术来实现精细化类别的图像生成。

技术实现思路

1、为解决上述技术问题，本专利技术提供一种基于检索增强的精细化类别图像生成方法，利用外挂数据库的方式，结合图像检索技术和图像生成技术来实现精细化类别的图像生成。...

【技术保护点】

1.一种基于检索增强的精细化类别图像生成方法，根据提示词和查询文本，结合检索技术和生成技术得到特定类别的生成图像，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于检索增强的精细化类别图像生成方法，其特征在于，步骤三中采用的预训练的CLIP模型为ViT-L/14@336px模型；步骤三具体包括：

3.根据权利要求1所述的基于检索增强的精细化类别图像生成方法，其特征在于，步骤四中，对文本特征向量和图像特征向量进行相似度计算时，采用余弦相似度衡量文本特征向量和图像特征向量的相似度Similarity：

【技术特征摘要】

1.一种基于检索增强的精细化类别图像生成方法，根据提示词和查询文本，结合检索技术和生成技术得到特定类别的生成图像，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于检索增强的精细化类别图像生成方法，其特征在于，步骤三中采用的预训练的clip模型为v...

【专利技术属性】
技术研发人员：刘学亮，张婷婷，洪日昌，汪萌，肖镇，胡珍珍，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：