一种人物图像的修复方法、装置及电子设备制造方法及图纸

本公开公开了一种人物图像的修复方法、装置及电子设备，涉及深度学习、计算机视觉等人工智能技术领域。具体实现方法为：获取待处理的图片，所述待处理的图片中包括待修复的人物图像；根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像，使得补全后的人物图像中的人体能够更加符合实际人体结构，从而补全待处理图像中人体被遮挡的部分，确保了人物图像修复过程中的准确性和可靠性。

【技术实现步骤摘要】
一种人物图像的修复方法、装置及电子设备
本公开图像处理
，尤其深度学习、计算机视觉等人工智能

技术介绍
相关技术中，人物图像的修复方法主要依赖2D(Two-Dimensional，简称二维)Inpainting(图像修复)技术，通过对图像中的人像进行检测，将检测出的人像送入Inpainting网络，得到输出图，即网络补全好人像遮挡部分的图像。然而Inpainting的结果均由神经网络输出，对于未见过的人像完全没有处理能力，且仅依赖图像的语义信息，没有真实的人体结构作为依据，这样一来，势必会导致补全出错甚至不进行补全，以及补全的人像不符合真实分布的技术问题。因此，如何确保补全后的人物图像中的人体能够符合实际人体结构，提高人物图像修复过程中的准确性和可靠性，已成为了重要的研究方向之一。
技术实现思路
本公开提供了一种人物图像的修复方法、装置及电子设备。根据本公开的一方面，提供了一种人物图像的修复方法，包括：获取待处理的图片，所述待处理的图片中包括待修复的人物图像；根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。根据本公开的另一方面，提供了一种人物图像的修复装置，包括：获取模块，用于获取待处理的图片，所述待处理的图片中包括待修复的人物图像；第一生成模块，用于根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；第二生成模块，用于根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；第三生成模块，用于根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本公开第一方面所述的人物图像的修复方法。根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本公开第一方面所述的人物图像的修复方法。根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现本公开第一方面所述的人物图像的修复方法的步骤。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1是根据本公开第一实施例的示意图；图2是一种待处理的图片的示意图；图3是根据本公开第二实施例的示意图；图4是根据本公开第三实施例的示意图；图5是根据本公开第四实施例的示意图；图6是根据本公开第五实施例的示意图；图7是根据本公开第六实施例的示意图；图8是另一种待处理的图片的示意图；图9是用来实现本公开实施例的人物图像的修复方法的人物图像的修复装置的框图；图10是用来实现本公开实施例的人物图像的修复方法的人物图像的修复装置的框图；图11是用来实现本公开实施例的人物图像的修复方法或人物图像的修复装置的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。以下对本公开的方案涉及的
进行简要说明：图像处理(ImageProcessing)，用计算机对图像进行分析，以达到所需结果的技术。又称影像处理。图像处理一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。AI(ArtificialIntelligence，人工智能)，是研究使计算机来模拟人生的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科，既有硬件层面的技术，也有软件层面的技术。人工智能硬件技术一般包括计算机视觉技术、语音识别技术、自然语言处理技术以及及其学习/深度学习、大数据处理技术、知识图谱技术等几大方面。DL(DeepLearning，深度学习)，是ML机器学习(MachineLearning，机器学习)领域中一个新的研究方向，它被引入机器学习使其更接近于最初的目标——人工智能。深度学习是学习样本数据的内在律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。深度学习是一个复杂的机器学习算法，在语音和图像识别方面取得的效果，远远超过先前相关技术。计算机视觉(ComputerVision)，是一门研究如何使机器“看”的科学，进一步地，指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。AR(AugmentedReality，增强现实)，是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。下面参考附图描述本公开实施例的一种人物图像的修复方法、装置及电子设备。图1是根据本公开第一实施例的示意图。其中，需要说明的是，本公开实施例的人物图像的修复方法的执行主体为人物图像的修复装置，人物图像的修复装置具体可以为硬件设备，或者硬件设备中的软件等。其中，硬件设备例如终端设备、服务器等。如图1所示，本实施例提出的人物图像的修复方法，包括如下步骤：S101、获取待处理的图片，待处理的图片中包括待修复的人物图像。其中，待处理的图片，可以为本文档来自技高网...

【技术保护点】
1.一种人物图像的修复方法，包括：/n获取待处理的图片，所述待处理的图片中包括待修复的人物图像；/n根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；/n根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；/n根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。/n

【技术特征摘要】
1.一种人物图像的修复方法，包括：
获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息；
根据所述待处理的图片生成所述待修复的人物图像对应的分割图像；
根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像。


2.根据权利要求1所述的修复方法，其中，所述根据所述待处理的图片生成所述待修复的人物图像对应的人体三维模型、相机参数和人体姿态信息，包括：
将所述待处理的图片输入至人体参数化模型，生成所述待修复的人物图像对应的所述人体三维模型、所述相机参数和所述人体姿态信息。


3.根据权利要求2所述的修复方法，其中，所述人体参数化模型为蒙皮多人线性表达模型。


4.根据权利要求1所述的修复方法，其中，所述根据所述待处理的图片生成所述待修复的人物图像对应的分割图像，包括：
将所述待处理的图片输入至实例分割网络模型，生成所述待修复的人物图像对应的所述分割图像。


5.根据权利要求1所述的修复方法，其中，所述根据所述人体三维模型、所述相机参数、所述人体姿态信息和所述分割图像，生成所述待修复的人物图像对应的修复后人物图像，包括：
根据所述相机参数和所述人体姿态信息将所述人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的投影图像；
根据所述投影图像和所述分割图像生成所述待修复的人物图像对应的所述修复后人物图像。


6.根据权利要求5所述的修复方法，其中，所述根据所述相机参数和所述人体姿态信息将所述人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的投影图像，包括：
根据所述人体姿态信息将所述人体三维模型投影到相机坐标系，得到所述相机坐标系下的人体三维模型；
根据所述相机参数和所述人体姿态信息将所述相机坐标系下的人体三维模型投影到所述待修复的人物图像上，得到所述待修复的人物图像对应的所述投影图像。


7.根据权利要求5所述的修复方法，其中，所述根据所述投影图像和所述分割图像生成所述待修复的人物图像对应的所述修复后人物图像，包括：
根据所述投影图像和所述分割图像生成标记有颜色信息的人体三维模型；
将所述标记有颜色信息的人体三维模型渲染成二维渲染图片；
根据所述分割图像对所述二维渲染图片和所述待处理的图片进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。


8.根据权利要求7所述的修复方法，其中，所述根据所述投影图像和所述分割图像生成标记有颜色信息的人体三维模型，包括：
所述投影图像中的投影点在所述分割图像中，则将所述待处理的图片中与所述投影点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息；
所述投影图像中的投影点不在所述分割图像中，则获取所述投影点在人体参数化模型中的对称点，并将所述待处理的图片中与所述对称点对应位置的颜色信息，标记为所述人体三维模型中与所述投影点对应的顶点的颜色信息。


9.根据权利要求7所述的修复方法，其中，所述根据所述分割图像对所述二维渲染图片和所述待处理的图片进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像，包括：
将所述待处理的图片中与所述分割图像中的点对应的点与所述二维渲染图片中与所述分割图像中的点不对应的点进行拼接，得到所述待修复的人物图像对应的所述修复后人物图像。


10.一种人物图像的修复装置，包括：
获取模块，用于获取待处理的图片，所述待处理的图片中包括待修复的人物图像；
第一生成模块，用于根...

【专利技术属性】
技术研发人员：邹智康，叶晓青，陈曲，孙昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11