System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于UNet的艺术肖像画生成方法技术_技高网

一种基于UNet的艺术肖像画生成方法技术

技术编号:40901668 阅读:4 留言:0更新日期:2024-04-18 11:19
本发明专利技术涉及一种基于UNet的艺术肖像画生成方法。包括:步骤S1、采集含有人脸的图像进行人脸定位包括人脸检测、人脸关键点定位;步骤S2、人脸图像预处理操作,通过人脸对齐得到512x512分辨率的标准肖像图像;步骤S3、通过UNet网络同时输出语义分割信息和肖像画图像,前者包括分割的人像和背景Mask,后者为细致的肖像画图像;步骤S4、融合背景Mask与细致的肖像画图像,得到艺术肖像画。本发明专利技术自动化程度高,人物肖像还原精度高,为人物艺术肖像生成提供了技术支撑。

【技术实现步骤摘要】

本专利技术涉及图像处理以及计算机视觉领域,特别涉及一种基于unet的艺术肖像画生成方法。


技术介绍

1、艺术肖像画生成是指让计算机根据给定的人脸图像生成具有艺术风格的肖像画,是图像生成算法的研究热点之一。艺术肖像画因能很好地保护隐私安全的同时又可以有趣、诙谐地展现出人物的特点而颇受好评。一方面,人们越来越喜欢将艺术肖像画作为头像发布在抖音、微博等互联网平台。通过这种方式,他们不仅向熟人展示个人身份,而且保护个人隐私。另一方面,想要完成一幅高质量的肖像画需要一名画家经过长时间专业性的学习和训练,为了能够表现出一个人的面部特征、精神面貌和神态气质,艺术家除了需要拥有扎实的绘画功底外,还需要在短时间内抓住人脸的关键特征,而基于艺术肖像画的机械臂作画创作可以轻松获得一副逼真的艺术肖像画。

2、现有技术1:吴涛等人提出了一种基于语义分割的简洁线条肖像画生成方法。首先,对人脸图像进行语义分割,将人脸划分为不同的区域,基于不同区域提取边缘轮廓与五官细节线条,进行边缘切向流优化,从而加强方向信息;在此基础上,利用线条图来生成调和图像,并利用优化后的边缘切向流、人脸语义分割结果以及调和图像,针对不同的分割区域调整线条提取方法的参数,实现对细节无关区域的线条过滤和细节重点区域的线条加强,生成简洁线条肖像画。

3、缺点:该方法需要背景较为干净的人脸图像,且人脸细节特征(如脸上痣)不能提取。

4、现有技术2:ran等人提出了基于生成对抗网络的apdrawinggan。艺术家绘制艺术肖像画通常会对不同的面部部位采用不同的绘制技术,例如头发会采用长而连续的线条等。apdrawinggan基于上述理论采用了多个卷积神经网络,其中生成器包含一个全局网络、六个局部网络以及一个融合网络。全局网络可以生成人脸图像对应肖像画的整体结构,而六个局部网络可以针对不同的面部区域学习不同的绘制技术,以生成高质量的面部组件。最后通过一个融合网络将全局网络和局部网络生成的特征进行融合以生成高质量的肖像画。同时,针对肖像画与原图不是精确对应的问题,提出了一个距离变换损失函数。通过计算真实的肖像画中每个线条上的像素到生成的肖像画中相同类型的最近像素距离之和以及生成的肖像画到真实的肖像画的距离之和的总和来容忍这种细微的误差。随后,ran等人在apdrawinggan的基础上又提出了apdrawinggan++,证明了任何带有单一生成器的生成对抗网络都不能生成钢笔画风格的艺术肖像画,并为全局网络和局部网络的复合结构的必要性提供了理论解释。同时提出了基于非线性映射的距离变换损失和线条连续性损失来提高线条的生成质量。

5、缺点:该方法需要背景较为干净的人脸图像,且人脸细节特征(如脸上痣)不能提取。

6、现有技术3:qin等人提出了一个简单而强大的深度网络结构u2net。该模型在原始的unet的基础上又嵌入了一层u型结构,并提出了残差连接的rsu结构,这使得该模型无需使用图像预训练主干模型。rsu结构通过融合低层高分辨率的局部特征和高层低分辨率的全局特征来获取更多的上下文信息。同时,rsu结构使用了池化操作,可以允许在网络层数加深的情况下还可以获得高分辨率,同时不会提高内存占用率和计算成本。随后,该模型应用于人脸照片转化为肖像画的任务并取得了不错的效果。

7、缺点:该方法需要背景较为干净的人脸图像。

8、现有技术4:201711324257.2-一种肖像绘制系统、方法及存储介质,其公开了一种肖像绘制方法,包括以下步骤:获取步骤:获取用户的肖像图片;颜色聚类步骤:对获取到的肖像图片进行颜色聚类以得用户头部特征,所述用户头部特征包括面部边缘区域、头发、脸型轮廓和五官图像;第一肖像绘制步骤:根据用户头部特征与肖像风格模板以控制绘画机械臂实现对用户的肖像绘制。本专利技术还公开了一种肖像绘制系统及计算机可读存储介质。本专利技术提供的肖像绘制系统及方法,其通过获取用户肖像图像与已构建的肖像风格模板进行结构从而得到不同绘画风格的肖像图片,并通过绘画机械臂完成对用户的肖像绘制,满足不同人的个性化肖像画绘制需求。

9、其描述的是一种基于肖像图像聚类头部特征的方法,并使用机械臂完成肖像绘制,要求肖像图像较为干净,且采用的是聚类算法。

10、现有技术5:202011431526.7-肖像画生成的方法、装置、电子设备及介质,其公开了一种肖像画生成的方法、装置、电子设备及介质。本申请中,可以获取待处理图像,确定待处理图像中的脸部区域,并对脸部区域图像进行人脸对齐处理,得到初始肖像图像;通过预设次数的面部组件信息、空间自适应归一化以及几何损失函数,得到初始肖像图像中的面部几何图像;利用放宽的像素级重建损失,消除面部几何图像中的变形程度,得到目标肖像图像。通过应用本申请的技术方案,可以采用循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数,新的生成器能够精确的捕捉合成艺术肖像画中的面部几何图像,利用放宽的像素级重构损失,以消除输入图像和相应目标图像之间的变形,形成一种鲁棒的人物艺术肖像画生成方法。

11、其描述的是一种基于人脸区域通过循环利用面部组件信息和改进的空间自适应归一化以及几何损失函数生成艺术肖像画方法,其要求人脸区域图像需较为干净,且其多任务生成器重点在于单风格画像主任务和人脸语义标签辅助任务。

12、现有技术6:202110142946.1-素描画生成的方法、装置、电子设备及介质,其公开了一种素描画生成的方法、装置、电子设备及介质。本申请中,可以获取初始素描图像以及肖像图像,初始素描图像以及肖像图像包含有目标用户的人脸图像;利用初始素描图像,生成目标用户的第一简笔图像,以及利用肖像图像,生成目标用户的第二简笔图像;基于第一简笔图像以及第二简笔图像,生成人脸图像的目标素描画。通过应用本申请的技术方案,可以利用不同面部笔触类型来生成合理的逼真的肖像画,从而解决不成对数据集的情况下生成简笔画不够写实的问题。

13、其描述的是一种通过第一简笔图像以及第二简笔图像生成人脸图像的目标素描画方法,其要求人脸区域图像需较为干净。


技术实现思路

1、本专利技术的目的在于针对针对现有的人脸肖像画生成方法要求人脸区域背景较为干净的问题,旨在生成逼真的肖像画同时对待处理的图像背景不做任何限制,适用更多场景,因此提供一种基于unet的艺术肖像画生成方法,通过设计网络训练单风格画像任务和语义分割任务的多任务模型,最终能够输出高质量的人脸肖像画,该方法能不依赖人脸图像的背景,输出高质量的艺术人脸肖像画。

2、为实现上述目的,本专利技术的技术方案是:一种基于unet的艺术肖像画生成方法,包括如下步骤:

3、步骤s1、采集含有人脸的图像,并进行人脸定位包括人脸检测、人脸关键点定位;

4、步骤s2、人脸图像预处理操作,通过人脸对齐得到512x512分辨率的标准肖像图像;

5、步骤s3、通过unet网络同时输出语义分割信息和肖像画图像,前者包括分割的本文档来自技高网...

【技术保护点】

1.一种基于UNet的艺术肖像画生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S1包括以下步骤:

3.根据权利要求2所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S2包括以下步骤:

4.根据权利要求1所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S3包括以下步骤:

5.根据权利要求4所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S31具体如下:

6.根据权利要求4所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S32具体如下:

7.根据权利要求6所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S322具体如下:

8.根据权利要求7所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S33具体如下:

9.根据权利要求8所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S34具体如下:

10.根据权利要求4所述的一种基于UNet的艺术肖像画生成方法,其特征在于,步骤S4具体如下:

...

【技术特征摘要】

1.一种基于unet的艺术肖像画生成方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的一种基于unet的艺术肖像画生成方法,其特征在于,步骤s1包括以下步骤:

3.根据权利要求2所述的一种基于unet的艺术肖像画生成方法,其特征在于,步骤s2包括以下步骤:

4.根据权利要求1所述的一种基于unet的艺术肖像画生成方法,其特征在于,步骤s3包括以下步骤:

5.根据权利要求4所述的一种基于unet的艺术肖像画生成方法,其特征在于,步骤s31具体如下:

6....

【专利技术属性】
技术研发人员:李娟吴斌龙
申请(专利权)人:福州理工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1