图像处理方法和装置制造方法及图纸

本发明专利技术公开了一种图像处理方法和装置。其中，该方法包括：获取原始图像；对原始图像进行人体检测，得到人体图像；利用训练好的第一模型对人体图像进行处理，得到人体图像的处理结果，其中，处理结果包括：二维关节点，三维关节点和蒙皮多人线性SMPL模型；根据人体图像的处理结果生成人体模型。本发明专利技术解决了相关技术中针对二维和三维关节点定位以及人体参数重建的识别准确度较低的技术问题。的识别准确度较低的技术问题。的识别准确度较低的技术问题。

【技术实现步骤摘要】
图像处理方法和装置


[0001]本专利技术涉及计算机视觉
，具体而言，涉及一种图像处理方法和装置。

技术介绍

[0002]目前行业内相关人体技术包括人体检测、二维和三维关节点定位、分割等等。针对二维和三维关节点定位以及人体参数系数重建等部分，目前可以采用如下方案实现：1)首先对图像用深度学习的方案进行人体检测，检测完成之后把人体区域截取出来，再用深度学习网络去估计二维关节点，然后再用二维关节点去估计三维关节点、人体姿态和形状参数。但是，利用二维关节点去估计三维关节点，会存在动作的歧义性，例如，同一个状态的二维关节点会对应前后不同的三维关节点，并且三维关节点的识别准确度依赖于二维关节点的识别准确度，导致三维关节点的识别准确度较低。2)首先对图像用深度学习的方案进行人体检测，检测完成之后把人体区域截取出来，再用深度学习网络直接对三维关节点进行预测，将三维关节点变成三维体素网格，来推断每个关节的每个体素网格的可能性，从而进行训练和预测。但是，由于三维关节点的样本较难获得，大部分训练样本是实验室环境下采集到的，对户外场景的鲁棒性不高，而且采用体素网格进行预测，计算量大，实时性较低。3)先对人体进行检测，再对检测的图片进行人物分割或者是解析，然后再利用分割和解析的结果，通过优化的方法进行人体模型估计。但是，由于人体分割和解析的要求太高，结果的偏差会影响到人体重建的效果。
[0003]针对上述方案中的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种图像处理方法和装置，以至少解决相关技术中针对二维和三维关节点定位以及人体参数重建的识别准确度较低的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：获取原始图像；对原始图像进行人体检测，得到人体图像；利用训练好的第一模型对人体图像进行处理，得到人体图像的处理结果，其中，处理结果包括：二维关节点，三维关节点和蒙皮多人线性SMPL模型；根据人体图像的处理结果生成人体模型。
[0006]可选地，该方法还包括：获取多组训练样本，其中，每组训练样本中包含：人体图像，二维关节点的第一标记信息，三维关节点的第二标记信息，以及SMPL模型的参数值；利用多组训练样本对预设模型进行训练，并获取预设模型的目标损失值；在目标损失值小于预设值的情况下，停止对预设模型进行训练，并确定预设模型为第一模型；在目标损失值大于预设值的情况下，继续利用多组训练样本对预设模型进行训练，直至目标损失值小于预设值。
[0007]可选地，利用多组训练样本对预设模型进行训练，并获取预设模型的目标损失值包括：将多组训练样本输入预设模型，并获取预设模型的输出结果，其中，输出结果包括：二维关节点的第一结果，三维关节点的第二结果和SMPL模型的第三结果；基于第一标记信息
和第一结果，得到二维关节点的第一损失值；基于第二标记信息和第二结果，得到三维关节点的第二损失值；基于参数值和第三结果，得到SMPL模型的第三损失值；基于第一损失值、第二损失值和第三损失值，得到目标损失值。
[0008]可选地，SMPL模型的参数值是通过采集装置采集到的真实数据，或，通过对采集装置采集到的参数值进行调整得到的调整数据。
[0009]可选地，基于参数值和第三结果，得到SMPL模型的第三损失值包括：在参数值是通过采集装置采集到的真实数值的情况下，基于参数值和第三结果，得到第三损失值；在参数值是通过对采集装置采集到的参数值进行调整得到的调整数值的情况下，基于参数值获得三维关节点，将三维关节点投射到二维平面上获得二维关节点，基于投射的二维关节点和第一标记信息，得到二维关节点的第四损失值，并将第四损失值确定为第三损失值。
[0010]可选地，该方法还包括：利用判别器对第三结果的参数值进行处理，得到第三结果的参数值的分类结果，其中，分类结果用于表征第三结果的参数值是否是通过采集装置采集到的真实数值；基于分类结果和目标损失值，确定是否停止对预设模型进行训练。
[0011]可选地，利用生成对抗网络对判别器进行训练。
[0012]可选地，对原始图像进行人体检测，得到人体图像包括：利用训练好的第二模型对原始图像进行处理，得到人体在原始图像中的位置信息；基于位置信息对原始图像进行裁剪和归一化处理，得到人体图像。
[0013]可选地，第一模型采用沙漏型网络结构或特征图金字塔FPN网络结构。
[0014]根据本专利技术实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取原始图像；检测模块，用于对原始图像进行人体检测，得到人体图像；处理模块，用于利用训练好的第一模型对人体图像进行处理，得到人体图像的处理结果，其中，处理结果包括：二维关节点，三维关节点和蒙皮多人线性SMPL模型；生成模块，用于根据人体图像的处理结果生成人体模型。
[0015]根据本专利技术实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述的图像处理方法。
[0016]根据本专利技术实施例的另一方面，还提供了一种处理器，处理器用于运行程序，其中，程序运行时执行上述的图像处理方法。
[0017]在本专利技术实施例中，在获取到原始图像之后，首先对原始图像进行人体检测，得到人体图像，然后利用训练好的第一模型对人体图像进行处理，得到人体图像的处理结果，从而同时实现人体检测、二维和三维关节点定位以及SMPL模型建立的目的，并可以进一步生成人体模型。容易注意到的是，由于利用一个模型即可同时得到二维关节点，三维关节点和SMPL模型，无需通过二维关节点估计三维关节点，从而达到了提高图像识别准确度的技术效果，进而解决了相关技术中针对二维和三维关节点定位以及人体参数重建的识别准确度较低技术问题。
附图说明
[0018]此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0019]图1是根据本专利技术实施例的一种图像处理方法的流程图；
Region Convolutional Neural Networks，快速区域卷积神经网络)、YOLO(You Only Look Once)和SSD(Single Shot Detector)等检测框架及其变形进行人体检测。本领域技术人员可知，在不同设备和应用场景下，可以选择不同的检测框架，以快速准确地实现人体检测，得到人体图像。
[0039]可选地，对原始图像进行人体检测，得到人体图像包括：利用训练好的深度学习模型对原始图像进行处理，得到人体在原始图像中的位置信息；基于位置信息对原始图像进行裁剪和归一化处理，得到人体图像。其中，人体图像中的人体位置可以采用原始图像中包含完整的人体区域的最小包围矩形框表示，以二维坐标(left，top，bottom，right)的形式表达。
[0040]步骤S106，利用训练好的第一模型对人体图像进行处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取原始图像；对所述原始图像进行人体检测，得到人体图像；利用训练好的第一模型对所述人体图像进行处理，得到所述人体图像的处理结果，其中，所述处理结果包括：二维关节点，三维关节点和蒙皮多人线性SMPL模型；根据所述人体图像的处理结果生成人体模型。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多组训练样本，其中，每组训练样本中包含：人体图像，二维关节点的第一标记信息，三维关节点的第二标记信息，以及SMPL模型的参数值；利用所述多组训练样本对预设模型进行训练，并获取所述预设模型的目标损失值；在所述目标损失值小于预设值的情况下，停止对所述预设模型进行训练，并确定所述预设模型为所述第一模型；在所述目标损失值大于所述预设值的情况下，继续利用所述多组训练样本对所述预设模型进行训练，直至所述目标损失值小于所述预设值。3.根据权利要求2所述的方法，其特征在于，利用所述多组训练样本对预设模型进行训练，并获取所述预设模型的目标损失值包括：将所述多组训练样本输入所述预设模型，并获取所述预设模型的输出结果，其中，所述输出结果包括：所述二维关节点的第一结果，所述三维关节点的第二结果和SMPL模型的第三结果；基于所述第一标记信息和所述第一结果，得到所述二维关节点的第一损失值；基于所述第二标记信息和所述第二结果，得到所述三维关节点的第二损失值；基于所述参数值和所述第三结果，得到所述SMPL模型的第三损失值；基于所述第一损失值、所述第二损失值和所述第三损失值，得到所述目标损失值。4.根据权利要求3所述的方法，其特征在于，所述SMPL模型的参数值是通过采集装置采集到的真实数值，或，通过对所述采集装置采集到的参数值进行调整得到的调整数值。5.根据权利要求4所述的方法，其特征在于，基于所述参数值和所述第三结果，得到所述SMPL模型的第三损失值包括：在所述参数值是通过所述采集装置采集到的真实数值的情况下，基于所述参数...

【专利技术属性】
技术研发人员：甄海洋，周维，
申请(专利权)人：虹软科技股份有限公司，
类型：发明
国别省市：