System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 物品场景信息生成模型训练方法和物品场景图生成方法技术_技高网

物品场景信息生成模型训练方法和物品场景图生成方法技术

技术编号:40588560 阅读:7 留言:0更新日期:2024-03-12 21:48
本公开的实施例公开了物品场景信息生成模型训练方法和物品场景图生成方法。该方法的一具体实施方式包括:从所获取的训练样本集中选取训练样本,作为目标训练样本;对于目标训练样本,执行以下训练步骤:根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息;将目标物品文本信息输入至初始第二物品场景信息生成模型中,生成第二物品场景信息;生成针对第一物品场景信息和第二物品场景信息的场景差异值;响应于确定场景差异值小于预设差异值,将初始物品场景信息生成模型确定为训练后的物品场景信息生成模型。该实施方式利用训练好的物品场景信息生成模型,可以减少出现物品外延的情况。

【技术实现步骤摘要】

本公开的实施例涉及计算机,具体涉及物品场景信息生成模型训练方法和物品场景图生成方法


技术介绍

1、通过训练物品场景信息生成模型可生成准确的物品场景信息,以便得到较为准确的物品场景图。目前,物品场景信息生成模型的训练,通常采用的方式为:对sd(stablediffusion,文生图模型)基础模型进行参数训练。

2、然而,采用上述方式通常存在以下技术问题:

3、sd模型只根据物品文本信息生成物品场景信息,所提取的特征信息较为单一,导致通过sd模型生成的物品场景信息的准确度较低,通过准确度较低的物品场景信息生成物品场景图,会导致出现物品外延的情况。

4、该
技术介绍
部分中所公开的以上信息仅用于增强对本专利技术构思的背景的理解,并因此,其可包含并不形成本国的本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本公开的内容部分用于以简要的形式介绍构思,这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征,也不旨在用于限制所要求的保护的技术方案的范围。

2、本公开的一些实施例提出了物品场景信息生成模型训练方法、物品场景图生成方法、装置、电子设备、计算机可读介质和程序产品,来解决以上
技术介绍
部分提到的技术问题。

3、第一方面,本公开的一些实施例提供了一种物品场景信息生成模型训练方法,该方法包括:从所获取的训练样本集中选取训练样本,作为目标训练样本,其中,上述目标训练样本包括:目标物品主体透明图和目标物品文本信息;对于目标训练样本,执行以下训练步骤:根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,其中,初始物品场景信息生成模型包括:初始第一物品场景信息生成模型和初始第二物品场景信息生成模型;将目标物品文本信息输入至初始第二物品场景信息生成模型中,生成第二物品场景信息;生成针对第一物品场景信息和第二物品场景信息的场景差异值;响应于确定场景差异值小于预设差异值,将初始物品场景信息生成模型确定为训练后的物品场景信息生成模型。

4、可选地,上述方法还包括:响应于确定场景差异值大于等于上述预设差异值,执行以下调整步骤:调整初始物品场景信息生成模型中的网络参数;将调整后的初始物品场景信息生成模型确定为初始物品场景信息生成模型;从训练样本集中去除已被选取的训练样本,得到去除后的训练样本集;从去除后的训练样本集中选取目标训练样本;再次执行上述训练步骤。

5、可选地,上述训练样本集是通过以下步骤获取到的:获取初始物品场景图集和样本物品主体透明图集;对于上述样本物品主体透明图集中的每个样本物品主体透明图,执行以下生成步骤:基于上述样本物品主体透明图,从上述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集;对于上述样本物品场景图集中的每个样本物品场景图,基于上述样本物品场景图和上述样本物品主体透明图,生成训练样本;将所得到的各个训练样本确定为训练样本集。

6、可选地,上述基于上述样本物品主体透明图,从上述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集,包括:对上述样本物品主体透明图进行通道二值化处理,以生成通道二值化透明图;对上述样本物品主体透明图进行特征提取处理,以生成透明图特征信息集;对于上述初始物品场景图集中的每个初始物品场景图,执行以下处理步骤:基于上述通道二值化透明图,对上述初始物品场景图进行图像提取处理,以生成初始场景提取图;对上述初始场景提取图进行特征提取处理,以生成场景图特征信息集;对上述透明图特征信息集和上述场景图特征信息集进行距离匹配处理,以生成特征距离值集;响应于确定上述特征距离值集中满足预设距离条件的各个特征距离值的数量大于预设数量阈值,将上述初始物品场景图确定为样本物品场景图;将所确定的各个样本物品场景图确定为样本物品场景图集。

7、可选地,上述根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,包括:对目标物品主体透明图进行通道二值化处理,以生成目标通道二值化透明图;将目标通道二值化透明图和目标物品文本信息输入至初始第一物品场景信息生成模型中,得到第一物品场景信息。

8、可选地,上述初始第一物品场景信息生成模型包括:初始第一卷积模型、初始扩散模型和初始第二卷积模型;以及上述将目标通道二值化透明图和目标物品文本信息输入至初始第一物品场景信息生成模型中,得到第一物品场景信息,包括:将目标通道二值化透明图输入至初始第一卷积模型中,得到初始第一卷积信息;将初始第一卷积信息和目标物品文本信息输入至初始扩散模型中,得到初始扩散信息;将初始扩散信息输入至初始第二卷积模型中,得到第一物品场景信息。

9、可选地,上述基于上述样本物品场景图和上述样本物品主体透明图,生成训练样本,包括:基于上述样本物品场景图和上述样本物品主体透明图,确定样本物品文本信息;将上述样本物品场景图输入至预先训练的映射模型中,得到样本物品场景信息;将上述样本物品主体透明图、上述样本物品文本信息和上述样本物品场景信息确定为训练样本。

10、可选地,上述生成针对第一物品场景信息和第二物品场景信息的场景差异值,包括:基于第一物品场景信息和第二物品场景信息,生成初始物品场景信息;基于预设的算子损失函数,确定初始物品场景信息和初始物品场景信息对应的样本物品场景信息之间的算子差异值;基于预设的误差损失函数,确定初始物品场景信息和初始物品场景信息对应的样本物品场景信息之间的误差差异值;基于算子差异值和误差差异值,确定场景差异值。

11、第二方面,本公开的一些实施例提供了一种物品场景图生成方法,该方法包括:获取物品主体透明图和物品文本信息;根据上述物品主体透明图和上述物品文本信息,利用物品场景信息生成模型,生成物品场景信息,其中,上述物品场景信息生成模型是通过如权利要求1-8中任一上述的方法生成的;将上述物品场景信息输入至预先训练的映射模型中,得到物品场景图。

12、可选地,上述根据上述物品主体透明图和上述物品文本信息,利用物品场景信息生成模型,生成物品场景信息,包括:对上述物品主体透明图进行通道二值化处理,以生成物品主体通道二值化透明图;将上述物品主体通道二值化透明图和上述物品文本信息输入至上述物品场景信息生成模型中,得到物品场景信息。

13、第三方面,本公开的一些实施例提供了一种物品场景信息生成模型训练装置,装置包括:选取单元,被配置成从所获取的训练样本集中选取训练样本,作为目标训练样本,其中,上述目标训练样本包括:目标物品主体透明图和目标物品文本信息;训练单元,被配置成对于目标训练样本,执行以下训练步骤:根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,其中,初始物品场景信息生成模型包括:初始第一物品场景信息生成模型和初始第二物品场景信息生成模型;将目标物本文档来自技高网...

【技术保护点】

1.一种物品场景信息生成模型训练方法,包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:

3.根据权利要求1所述的方法,其中,所述训练样本集是通过以下步骤获取到的:

4.根据权利要求3所述的方法,其中,所述基于所述样本物品主体透明图,从所述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集,包括:

5.根据权利要求1所述的方法,其中,所述根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,包括:

6.根据权利要求5所述的方法,其中,所述初始第一物品场景信息生成模型包括:初始第一卷积模型、初始扩散模型和初始第二卷积模型;以及

7.根据权利要求3所述的方法,其中,所述基于所述样本物品场景图和所述样本物品主体透明图,生成训练样本,包括:

8.根据权利要求1所述的方法,其中,所述生成针对第一物品场景信息和第二物品场景信息的场景差异值,包括:

9.一种物品场景图生成方法,包括:

10.根据权利要求9所述的方法,其中,所述根据所述物品主体透明图和所述物品文本信息,利用物品场景信息生成模型,生成物品场景信息,包括:

11.一种物品场景信息生成模型训练装置,包括:

12.一种物品场景图生成装置,包括:

13.一种电子设备,包括:

14.一种计算机可读介质,其上存储有计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求1-10中任一所述的方法。

15.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-10中任一所述的方法。

...

【技术特征摘要】

1.一种物品场景信息生成模型训练方法,包括:

2.根据权利要求1所述的方法,其中,所述方法还包括:

3.根据权利要求1所述的方法,其中,所述训练样本集是通过以下步骤获取到的:

4.根据权利要求3所述的方法,其中,所述基于所述样本物品主体透明图,从所述初始物品场景图集中选取至少一个初始物品场景图,作为样本物品场景图集,包括:

5.根据权利要求1所述的方法,其中,所述根据目标物品主体透明图和目标物品文本信息,利用初始第一物品场景信息生成模型,生成第一物品场景信息,包括:

6.根据权利要求5所述的方法,其中,所述初始第一物品场景信息生成模型包括:初始第一卷积模型、初始扩散模型和初始第二卷积模型;以及

7.根据权利要求3所述的方法,其中,所述基于所述样本物品场景图和所述样本物品主体...

【专利技术属性】
技术研发人员:徐福来刘朋樟张屹峰包勇军
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1