System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 图像描述生成方法、装置、存储介质及电子设备制造方法及图纸_技高网

图像描述生成方法、装置、存储介质及电子设备制造方法及图纸

技术编号:40844035 阅读:5 留言:0更新日期:2024-04-01 15:11
本发明专利技术公开了一种图像描述生成方法、装置、存储介质及电子设备。其中,该方法包括:获取目标图像、组合规则,其中,组合规则用于指示图像描述语句中包括的词语之间的排列组合方式;确定目标图像对应的多个目标标签,其中,多个目标标签用于指示目标图像的多个不同特征或属性;基于多个目标标签、组合规则,确定目标图像对应的多个图像描述语句;基于多个图像描述语句,确定目标图像的图像描述生成结果。本发明专利技术解决了相关技术中的图像描述生成方法仅基于图像内容或文本信息来生成图像描述,导致图像描述生成结果多样性低,图像描述准确性较低的技术问题。

【技术实现步骤摘要】

本专利技术涉及图像描述生成,具体而言,涉及一种图像描述生成方法、装置、存储介质及电子设备


技术介绍

1、在现有的图像描述生成技术中,通常仅仅基于图像内容或者文本信息来生成描述,导致图像描述生成结果缺乏多样性和创新性。这种单一来源的描述容易陷入过拟合,生成的描述内容可能在形式和内容上都显得相似,缺乏吸引力。此外,现有技术难以在语法结构上进行灵活排列,导致图像描述生成结果在结构上也缺乏变化。

2、针对上述的问题,目前尚未提出有效的解决方案。


技术实现思路

1、本专利技术实施例提供了一种图像描述生成方法、装置、存储介质及电子设备,以至少解决相关技术中的图像描述生成方法仅基于图像内容或文本信息来生成图像描述,导致图像描述生成结果多样性低,图像描述准确性较低的技术问题。

2、根据本专利技术实施例的一个方面,提供了一种图像描述生成方法,包括:获取目标图像、组合规则,其中,所述组合规则用于指示图像描述语句中包括的词语之间的排列组合方式;确定所述目标图像对应的多个目标标签,其中,所述多个目标标签用于指示所述目标图像的多个不同特征或属性;基于所述多个目标标签、所述组合规则,确定所述目标图像对应的多个图像描述语句;基于所述多个图像描述语句,确定所述目标图像的图像描述生成结果。

3、可选的,所述基于所述多个目标标签、所述组合规则,确定所述目标图像对应的多个图像描述语句,包括:获取多个标签类别,其中,所述多个标签类别至少包括:主题标签、描述标签、动作标签;基于所述多个标签类别、所述多个目标标签、所述组合规则,确定多个标签组合结果;基于所述多个标签组合结果,确定所述多个图像描述语句。

4、可选的,所述基于所述多个标签类别、所述多个目标标签、所述组合规则,确定所述多个标签组合结果,包括:基于所述组合规则,对所述多个标签类别进行组合处理,得到多组标签组合方式;基于所述多个标签类别,对所述多个目标标签进行分类处理,得到所述多个标签类别中分别包括的目标标签;按照所述多组标签组合方式,对所述多个标签类别中分别包括的目标标签进行重组处理,得到所述多个标签组合结果。

5、可选的,所述基于所述多个标签组合结果,确定所述多个图像描述语句,包括:确定所述多个标签组合结果分别对应的语义表示;基于所述多个标签组合结果分别对应的语义表示,采用预设解码器,得到所述多个图像描述语句。

6、可选的,所述确定所述多个标签组合结果分别对应的语义表示,包括:基于预设编码器,确定所述多个目标标签分别对应的语义表示;基于所述多个目标标签分别对应的语义表示,确定所述多个标签组合结果分别对应的语义表示。

7、可选的,所述确定所述目标图像对应的多个目标标签,包括:基于所述目标图像,采用标签生成模型,确定所述多个目标标签,其中,所述标签生成模型是基于多个样本图像,以及所述多个样本图像分别对应的多个样本标签,通过机器学习得到的。

8、可选的,在所述基于所述多个图像描述语句,确定图像描述生成结果之后,所述方法还包括:基于所述目标图像,所述多个图像描述语句,从多张图像中确定出相似图像,其中,所述相似图像是与所述目标图像的相似度大于预设阈值的图像。

9、根据本专利技术实施例的另一方面,还提供了一种图像描述生成装置,包括:第一获取模块,用于获取目标图像、组合规则,其中,所述组合规则用于指示图像描述语句中包括的词语之间的排列组合方式;第一确定模块,用于确定所述目标图像对应的多个目标标签,其中,所述多个目标标签用于指示所述目标图像的多个不同特征或属性;第二确定模块,用于基于所述多个目标标签、所述组合规则,确定所述目标图像对应的多个图像描述语句;第三确定模块,用于基于所述多个图像描述语句,确定所述目标图像的图像描述生成结果。

10、根据本专利技术实施例的另一方面,还提供了一种非易失性存储介质,所述非易失性存储介质存储有多条指令,所述指令适于由处理器加载并执行任意一项所述的图像描述生成方法。

11、根据本专利技术实施例的另一方面,还提供了一种电子设备,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现任意一项所述的图像描述生成方法。

12、在本专利技术实施例中,通过获取目标图像、组合规则,其中,所述组合规则用于指示图像描述语句中包括的词语之间的排列组合方式;确定所述目标图像对应的多个目标标签,其中,所述多个目标标签用于指示所述目标图像的多个不同特征或属性;基于所述多个目标标签、所述组合规则,确定所述目标图像对应的多个图像描述语句;基于所述多个图像描述语句,确定所述目标图像的图像描述生成结果,达到了基于组合规则,对多个目标标签进行组合,得到多个图像描述语句的目的,从而实现了提升图像描述生成结果多样性和准确性的技术效果,进而解决了相关技术中的图像描述生成方法仅基于图像内容或文本信息来生成图像描述,导致图像描述生成结果多样性低,图像描述准确性较低的技术问题。

本文档来自技高网...

【技术保护点】

1.一种图像描述生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述多个目标标签、所述组合规则,确定所述目标图像对应的多个图像描述语句,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述多个标签类别、所述多个目标标签、所述组合规则,确定所述多个标签组合结果,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述多个标签组合结果,确定所述多个图像描述语句,包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述多个标签组合结果分别对应的语义表示,包括:

6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述确定所述目标图像对应的多个目标标签,包括:

7.根据权利要求1至5任意一项所述的方法,其特征在于,在所述基于所述多个图像描述语句,确定图像描述生成结果之后,所述方法还包括:

8.一种图像描述生成装置,其特征在于,包括:

9.一种非易失性存储介质,其特征在于,所述非易失性存储介质存储有多条指令,所述指令适于由处理器加载并执行权利要求1至7中任意一项所述的图像描述生成方法。

10.一种电子设备,其特征在于,包括一个或多个处理器和存储器,所述存储器用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现权利要求1至7中任意一项所述的图像描述生成方法。

...

【技术特征摘要】

1.一种图像描述生成方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述多个目标标签、所述组合规则,确定所述目标图像对应的多个图像描述语句,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于所述多个标签类别、所述多个目标标签、所述组合规则,确定所述多个标签组合结果,包括:

4.根据权利要求2所述的方法,其特征在于,所述基于所述多个标签组合结果,确定所述多个图像描述语句,包括:

5.根据权利要求4所述的方法,其特征在于,所述确定所述多个标签组合结果分别对应的语义表示,包括:

6.根据权利要求1至5中任意一项所述的方法,其特征在于,所述确定所述...

【专利技术属性】
技术研发人员:丁文强李凡平石柱国
申请(专利权)人:青岛以萨数据技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1