System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 交互信息处理方法、设备和存储介质技术_技高网

交互信息处理方法、设备和存储介质技术

技术编号:40359453 阅读:6 留言:0更新日期:2024-02-09 14:46
本申请提供一种交互信息处理方法、设备和存储介质,方法包括:响应于用户对目标物品的穿戴指令,获取所述用户的头部特征和预设模特穿戴所述目标物品的模特图像,其中所述头部特征是基于所述用户的至少一个样本图像获得的;对所述模特图像进行头部分割,确定所述模特图像的头部区域;根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理,生成目标图像,所述目标图像包括所述用户的头部特征。本申请实现了将模特图像中的头部区域替换成用户头像,生成包含用户头像的模特穿戴目标物品的形象图像,更加能够体现出用户穿戴目标物品的真实效果,提高在线试穿效果的真实性,提高用户体验。

【技术实现步骤摘要】

本申请涉及信息处理,尤其涉及一种交互信息处理方法、设备和存储介质


技术介绍

1、随着互联网的发展,用户越来越青睐通过电商平台在线购买商品。然而,尽管线上购物为用户带来了诸多便利,但在服装领域仍存在用户无法真实体验商品。

2、例如用户通过电商平台网购服饰类商品时,在购买前很难看到自己试穿的效果。尽管有些电商平台提供了模特试穿的功能,但由于每个人的五官特征发型各异,这些试模特穿效果并不能完全反映用户个体的情况,导致电商部平台交互体验差。


技术实现思路

1、本申请实施例的主要目的在于提供一种交互信息处理方法、设备和存储介质,实现了将模特图像中的头部区域替换成用户头像,生成包含用户头像的模特穿戴目标物品的形象图像,更加能够体现出用户穿戴目标物品的真实效果,提高在线试穿效果的真实性,提高用户体验。

2、第一方面,本申请实施例提供一种交互信息处理方法,包括:响应于用户对目标物品的穿戴指令,获取所述用户的头部特征和预设模特穿戴所述目标物品的模特图像,其中所述头部特征是基于所述用户的至少一个样本图像获得的;对所述模特图像进行头部分割,确定所述模特图像的头部区域;根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理,生成目标图像,所述目标图像包括所述用户的头部特征。

3、于一实施例中,所述响应于用户对目标物品的穿戴指令,获取所述用户的头部特征,包括:响应于用户对目标物品的穿戴指令,获取所述用户的至少一个样本图像,获取所述用户对应的预设头部模型,通过所述预设头部模型确定所述用户的头部特征。

4、于一实施例中,在所述获取所述用户对应的预设头部模型之前,还包括所述预设头部模型的训练步骤:获取所述用户的至少一个样本图像,所述样本图像包括所述用户的头部信息,所述头部信息包括所述用户的脸部信息和/或发型信息;所述样本图像的数量大于或等于10;对所述样本图像进行标注处理,生成所述样本图像的标注文本;采用所述样本图像和所述标注文本训练预设图生图模型,以使所述预设图生图模型学习到所述用户的头部特征,得到所述预设头部模型。

5、于一实施例中,所述获取所述用户的至少一个样本图像,包括:接收所述用户通过交互界面上传的包含所述用户头部不同角度的多个样本图像;和/或,接收所述用户通过交互界面上传的视频影像,从所述视频影像中截取包含所述用户头部不同角度的多个样本图像。

6、于一实施例中,所述对所述模特图像进行头部分割,确定所述模特图像的头部区域,包括:将所述模特图像输入预设人脸分割模型,输出所述模特图像的脸部区域;将所述模特图像输入预设头发分割模型,输出所述模特图像的头发区域;将所述脸部区域和所述头发区域的并集确定为所述模特图像的所述头部区域。

7、于一实施例中,在所述将所述模特图像输入预设人脸分割模型,输出所述模特图像的脸部区域之前,还包括:采用人脸图像集训练第一语义分割模型,得到人脸教师模型,所述人脸图像中标注了人物的面部器官;对所述人脸教师模型进行蒸馏训练,生成所述人脸分割模型。

8、于一实施例中,在所述将所述模特图像输入预设头发分割模型,输出所述模特图像的头发区域之前,还包括:采用预设头发图像集训练第二语义分割模型,得到头发教师模型,所述头发图像中标注了人物的头发;对所述头发教师模型进行蒸馏训练,生成所述头发分割模型。

9、于一实施例中,所述根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理,生成目标图像,包括:根据所述用户的所述头部特征对所述模特图像中所述头部区域进行初次补图处理,生成初步图像;根据所述用户的所述头部特征对所述初步图像中所述头部区域包含的脸部区域进行再次补图处理,生成所述目标图像。

10、于一实施例中,所述根据所述用户的所述头部特征对所述模特图像中所述头部区域进行初次补图处理,生成初步图像,包括:将所述头部区域作为第一掩膜图像,将所述用户的所述头部特征和所述用户对应的提示词输入预设图生图模型,以使所述图生图模型对所述第一掩膜图像进行补图处理,生成所述初步图像。

11、于一实施例中,所述根据所述用户的所述头部特征对所述初步图像中所述头部区域包含的脸部区域进行再次补图处理,生成所述目标图像,包括:将所述脸部区域作为第二掩膜图像,将所述用户的所述头部特征和所述用户对应的提示词输入预设图生图模型,以使所述图生图模型对所述第二掩膜图像进行补图处理,生成所述目标图像。

12、第二方面,本申请实施例提供一种交互信息处理方法,所述方法包括:响应于用户对目标服饰的穿戴指令,获取所述用户的头部特征和预设模特穿戴所述目标服饰的模特图像;对所述模特图像进行头部分割,确定所述模特图像的头部区域;根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理,生成目标图像,所述目标图像包括所述用户的头部特征;在交互界面展示所述目标图像。

13、第三方面,本申请实施例提供一种交互信息处理装置,包括:

14、获取模块,用于响应于用户对目标物品的穿戴指令,获取所述用户的头部特征和预设模特穿戴所述目标物品的模特图像,其中所述头部特征是基于所述用户的至少一个样本图像获得的;

15、分割模块,用于对所述模特图像进行头部分割,确定所述模特图像的头部区域;

16、补图模块,用于根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理,生成目标图像,所述目标图像包括所述用户的头部特征。

17、于一实施例中,所述获取模块,用于响应于用户对目标物品的穿戴指令,获取所述用户对应的预设头部模型,通过所述预设头部模型确定所述用户的头部特征。

18、于一实施例中,还包括训练模块,用于在所述获取所述用户对应的预设头部模型之前,获取所述用户的至少一个样本图像,所述样本图像包括所述用户的头部信息,所述头部信息包括所述用户的脸部信息和/或发型信息;所述样本图像的数量大于或等于10;对所述样本图像进行标注处理,生成所述样本图像的标注文本;采用所述样本图像和所述标注文本训练预设图生图模型,以使所述预设图生图模型学习到所述用户的头部特征,得到所述预设头部模型。

19、于一实施例中,所述获取模块,还用于接收所述用户通过交互界面上传的包含所述用户头部不同角度的多个样本图像;和/或,所述获取模块,还用于接收所述用户通过交互界面上传的视频影像,从所述视频影像中截取包含所述用户头部不同角度的多个样本图像。

20、于一实施例中,分割模块,用于将所述模特图像输入预设人脸分割模型,输出所述模特图像的脸部区域;将所述模特图像输入预设头发分割模型,输出所述模特图像的头发区域;将所述脸部区域和所述头发区域的并集确定为所述模特图像的所述头部区域。

21、于一实施例中,还包括:第一训练模块,用于在所述将所述模特图像输入预设人脸分割模型,输出所述模特图像的脸部区域之前,采用人脸图像集训练第一语义分割模型,得到人脸教师模型,所述人脸图像中本文档来自技高网...

【技术保护点】

1.一种交互信息处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述响应于用户对目标物品的穿戴指令,获取所述用户的头部特征,包括:

3.根据权利要求2所述的方法,其特征在于,在所述获取所述用户对应的预设头部模型之前,还包括所述预设头部模型的训练步骤:

4.根据权利要求3所述的方法,其特征在于,所述获取所述用户的至少一个样本图像,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述模特图像进行头部分割,确定所述模特图像的头部区域,包括:

6.根据权利要求5所述的方法,其特征在于,在所述将所述模特图像输入预设人脸分割模型,输出所述模特图像的脸部区域之前,还包括:

7.根据权利要求5所述的方法,其特征在于,在所述将所述模特图像输入预设头发分割模型,输出所述模特图像的头发区域之前,还包括:

8.根据权利要求1所述的方法,其特征在于,所述根据所述用户的所述头部特征对所述模特图像中所述头部区域进行补图处理,生成目标图像,包括:

9.根据权利要求8所述的方法,其特征在于,所述根据所述用户的所述头部特征对所述模特图像中所述头部区域进行初次补图处理,生成初步图像,包括:

10.根据权利要求8所述的方法,其特征在于,所述根据所述用户的所述头部特征对所述初步图像中所述头部区域包含的脸部区域进行再次补图处理,生成所述目标图像,包括:

11.一种交互信息处理方法,其特征在于,所述方法包括:

12.一种电子设备,其特征在于,包括:

13.一种云设备,其特征在于,包括:

14.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,当处理器执行所述计算机执行指令时,实现如权利要求1-11任一项所述的方法。

...

【技术特征摘要】

1.一种交互信息处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述响应于用户对目标物品的穿戴指令,获取所述用户的头部特征,包括:

3.根据权利要求2所述的方法,其特征在于,在所述获取所述用户对应的预设头部模型之前,还包括所述预设头部模型的训练步骤:

4.根据权利要求3所述的方法,其特征在于,所述获取所述用户的至少一个样本图像,包括:

5.根据权利要求1所述的方法,其特征在于,所述对所述模特图像进行头部分割,确定所述模特图像的头部区域,包括:

6.根据权利要求5所述的方法,其特征在于,在所述将所述模特图像输入预设人脸分割模型,输出所述模特图像的脸部区域之前,还包括:

7.根据权利要求5所述的方法,其特征在于,在所述将所述模特图像输入预设头发分割模型,输出所述模特图像的头发区域之前,还包括:

...

【专利技术属性】
技术研发人员:滕保强毛俊杰
申请(专利权)人:浙江莲荷科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1