System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 产品外观图像生成方法及装置,相似图像检索方法及装置制造方法及图纸_技高网

产品外观图像生成方法及装置,相似图像检索方法及装置制造方法及图纸

技术编号:41491969 阅读:17 留言:0更新日期:2024-05-30 14:37
本发明专利技术提供了一种产品外观图像生成方法及装置,相似图像检索方法及装置,其中,产品外观图像生成方法包括:获取针对产品外观的描述文本;将描述文本输入预训练的扩散模型中,生成对应的产品外观图像;扩散模型为包括ControlNet结构的潜在扩散模型,且基于LoRA模型进行训练。其能够根据产品外观的描述文本快速生成产品外观图像,并对其进行相似度检索,解决现有技术中对产品进行外观设计效率低下的技术问题。

【技术实现步骤摘要】

本专利技术涉及计算机,尤其是一种产品外观图像生成方法及装置,相似图像检索方法及装置


技术介绍

1、对于工业产品来说,外观设计的重要性不可忽视,优秀的外观设计可以成为品牌的象征,形成独特的品牌识别特征,体现企业的品牌价值和创新能力,有助于增强产品市场竞争力的同时,为企业树立良好的形象。因此,企业在开发新的工业产品时,应该高度重视产品外观设计的保护和运用。

2、一般来说,工业产品在进行外观设计中,需要通过人工的方式制作出设计图和预览图,从简单的灵感到成品的完成往往需要较长的制作周期。因此,如何提高外观设计的效率成为一个需要亟待解决的技术问题。


技术实现思路

1、为了克服以上不足,本专利技术提供了一种产品外观图像生成方法及装置,相似图像检索方法及装置,能够根据产品外观的描述文本快速生成产品外观图像,并对其进行相似度检索,解决现有技术中对产品进行外观设计效率低下的技术问题。

2、本专利技术提供的技术方案为:

3、一方面,本专利技术提供了一种基于扩散模型的产品外观图像生成方法,包括:

4、获取针对产品外观的描述文本;

5、将所述描述文本输入预训练的扩散模型中,生成对应的产品外观图像;所述扩散模型为包括controlnet结构的潜在扩散模型,且基于lora模型进行训练。

6、另一方面,本专利技术提供了一种产品外观图像的相似图像检索方法,包括:

7、采用如权利要求1-5任意一项所述的基于扩散模型的产品外观图像生成方法得到产品外观图像;

8、对所述产品外观图像进行特征提取,得到768维度的特征向量v0;

9、使用向量检索引擎milvus于向量库v={v1,v2,…,vn}中进行检索,根据向量之间的余弦相似度找到与至相似度大于预设阈值的图像,其中,v1,v2,…,vn表示向量库中图片1,图片2,...,图片n的特征向量。

10、另一方面,本专利技术提供了一种基于扩散模型的产品外观图像生成装置,应用于上述基于扩散模型的产品外观图像生成方法,所述产品外观图像生成装置包括:

11、描述文本获取模块,用于获取针对产品外观的描述文本;

12、外观图像生成模块,用于将所述描述文本输入预训练的扩散模型中,生成对应的产品外观图像;所述扩散模型为包括controlnet结构的潜在扩散模型,且基于lora模型进行训练。

13、另一方面,本专利技术提供了一种产品外观图像的相似图像检索装置,包括:

14、如上述基于扩散模型的产品外观图像生成装置;

15、特征提取模块,用于对所述产品外观图像进行特征提取,得到768维度的特征向量v0;

16、相似度检索模块,用于使用向量检索引擎milvus于向量库v={v1,v2,…,vn}中进行检索,根据向量之间的余弦相似度找到与至相似度大于预设阈值的图像,其中,v1,v2,…,vn表示向量库中图片1,图片2,...,图片n的特征向量。

17、本专利技术提供的产品外观图像生成方法及装置,相似图像检索方法及装置,通过建立一个用于生成文本嵌入向量的文本编码器,利用大语言模型,将文本转换为向量。该模块生成的向量被用作扩散模型的输入之一,以提高文本特征嵌入的准确度,从而提高扩散网络生成图像的稳定性,最终生成图像。在稳定扩散模型的基础上添加controlnet模块,额外增加一个输入控制条件,对生成图像实现一定的控制。以对生成图像实现灵活控制。使用lora方法对扩散模型进行训练,便于模型的训练和扩展,应用场景更加灵活。

本文档来自技高网...

【技术保护点】

1.一种基于扩散模型的产品外观图像生成方法,其特征在于,包括:

2.如权利要求1所述的产品外观图像生成方法,其特征在于,所述获取针对产品外观的描述文本之前,包括:

3.如权利要求2所述的产品外观图像生成方法,其特征在于,所述采集外观图片数据集及对应的描述文本以构建外观图像数据集包括:

4.如权利要求2所述的产品外观图像生成方法,其特征在于,所述构建包括图像编码器EI、文本编码器ET、SD模型及ControlNet结构的扩散模型包括:

5.如权利要求4所述的产品外观图像生成方法,其特征在于,

6.如权利要求4所述的产品外观图像生成方法,其特征在于,所述基于LoRA模型对扩散模型进行训练,包括:

7.一种产品外观图像的相似图像检索方法,其特征在于,包括:

8.如权利要求7所述的相似图像检索方法,其特征在于,所述相似图像检索方法还包括构建向量库V={v1,v2,…,vn}的步骤,包括:

9.一种基于扩散模型的产品外观图像生成装置,其特征在于,应用于如权利要求1-6任意一项所述的基于扩散模型的产品外观图像生成方法,所述产品外观图像生成装置包括:

10.一种产品外观图像的相似图像检索装置,其特征在于,包括:

...

【技术特征摘要】

1.一种基于扩散模型的产品外观图像生成方法,其特征在于,包括:

2.如权利要求1所述的产品外观图像生成方法,其特征在于,所述获取针对产品外观的描述文本之前,包括:

3.如权利要求2所述的产品外观图像生成方法,其特征在于,所述采集外观图片数据集及对应的描述文本以构建外观图像数据集包括:

4.如权利要求2所述的产品外观图像生成方法,其特征在于,所述构建包括图像编码器ei、文本编码器et、sd模型及controlnet结构的扩散模型包括:

5.如权利要求4所述的产品外观图像生成方法,其特征在于,

6....

【专利技术属性】
技术研发人员:汤可权顾丽江王彬彬姚徐
申请(专利权)人:杭州佰腾数知科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1