一种图像处理方法、装置、设备以及存储介质制造方法及图纸

本申请提出一种图像处理方法、装置、设备以及存储介质。其中，所述方法可以包括获取待处理图像中与脚部对应的区域图像。利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息。基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。姿。姿。

【技术实现步骤摘要】
一种图像处理方法、装置、设备以及存储介质


[0001]本申请涉及计算机视觉
，具体涉及一种图像处理方法、装置、设备以及存储介质。

技术介绍

[0002]人体关键点检测技术，是指利用深度学习技术对输入图片进行特征提取，并利用提取到的特征图对关键点进行定位的技术。
[0003]现有的人体关键点检测技术只能检测出人体关键点，无法针对脚部检测出可以进行位姿估计的脚部关键点的二维位置信息，因此无法得到脚部的三维位姿。

技术实现思路

[0004]有鉴于此，本申请公开一种图像处理方法。所述方法可以包括：获取待处理图像中与脚部对应的区域图像；利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息；基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
[0005]在一些实施例中，所述获取待处理图像中与脚部对应的区域图像，包括：利用对象检测模型，对所述待处理图像进行对象检测，得到对象检测结果，所述对象检测结果包括所述待处理图像中脚部的检测框；根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像。
[0006]在一些实施例中，所述对象检测结果还包括所述脚部的类型；所述类型用于指示脚部为左脚或右脚；在根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像后，还包括：响应于所述脚部为预设类型，对所述区域图像进行翻转处理，以使输入所述脚部关键点检测模型的区域图像中的脚部的类型一致。
[0007]在一些实施例中，所述待处理图像为视频流中的图像；所述获取待处理图像中与脚部对应的区域图像，包括：获取所述视频流中所述待处理图像的前一帧图像中脚部的第一脚部关键点位置信息，并根据获取的位置信息，确定脚部边框；基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像。
[0008]在一些实施例中，基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像之后，所述方法还包括：获取存储的所述前一帧图像中脚部的类型；响应于获取的所述类型为预设类型，对所述区域图像进行翻转处理，以使输入脚部关键点检测模型的区域图像中的脚部的类型一致。
[0009]在一些实施例中，所述待处理图像为视频流中的图像，所述视频流中还包括在所述待处理图像之前的前一帧图像；所述待处理图像的区域图像根据所述前一帧图像中的第一脚部关键点围成的脚部边框来确定；在基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关
系，确定所述脚部在所述三维空间中的三维位姿之前，所述方法还包括：利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果；所述分类结果用于指示所述区域图像中是否为脚部图像；响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。
[0010]在一些实施例中，所述基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿，包括：响应于确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。
[0011]在一些实施例中，所述图像分类模型与所述脚部关键点检测模型共享特征提取网络；所述图像分类模型与所述脚部关键点检测模型的联合训练方法包括：获取标注了图像分类信息的第一图像样本，以及标注了第一脚部关键点位置信息的第二图像样本；将所述第一图像样本输入所述图像分类模型得到分类预测结果，并根据所述分类预测结果与标注的图像分类信息，得到第一损失信息；将所述第二图像样本输入所述脚部关键点检测模型得到第一脚部关键点位置预测结果，并根据所述第一脚部关键点位置预测结果与标注的第一脚部关键点位置信息，得到第二损失信息；基于所述第一损失信息与所述第二损失信息，调整所述图像分类模型与所述脚部关键点检测模型的模型参数。
[0012]在一些实施例中，所述第一脚部关键点包括脚部边缘轮廓上的多个关键点；所述第一脚部关键点的数量不少于四个。
[0013]在一些实施例中，所述第一脚部关键点包括以下至少一个区域的关键点：大脚趾脚尖；前脚掌内侧关节；脚内侧足弓；后脚掌内侧；脚后跟后方；后脚掌外侧；前脚掌外侧关节；前脚面和腿连接处；脚踝内侧关节；后脚筋；脚踝外侧关节。
[0014]在一些实施例中，在确定所述脚部在所述三维空间中的三维位姿后，所述方法还包括：获取鞋子素材的三维虚拟模型；基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实AR效果。
[0015]在一些实施例中，所述基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实效果，包括：获取鞋子素材对应的三维虚拟模型在所述三维空间中的初始位姿；基于所述三维位姿指示的位姿转换信息，对所述初始位姿进行转换到与所述脚部对应的三维位姿相匹配，得到转换后的三维位姿；基于所述转换后的三维位姿，将所述三维虚拟模型映射至所述待处理图像，得到与所述鞋子素材对应的二维虚拟素材；将所述二维虚拟素材与所述脚部对应的位置进行图像融合，得到融合后的图像，以进行虚拟试鞋的AR效果展示。
[0016]本申请还提出一种图像处理装置，所述装置包括：第一获取模块，用于获取待处理图像中与脚部对应的区域图像；关键点检测模块，用于利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息；确定模块，用于基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三
维位姿。
[0017]在一些实施例中，所述待处理图像为视频流中的图像，所述视频流中还包括在所述待处理图像之前的前一帧图像；所述待处理图像的区域图像根据所述前一帧图像中的第一脚部关键点围成的脚部边框来确定；所述装置还包括：跟踪模块，用于利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果；所述分类结果用于指示所述区域图像中是否为脚部图像；响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。
[0018]在一些实施例中，所述装置还包括：虚拟试鞋模块，用于获取鞋子素材的三维虚拟模型；基于所述待处理图像中脚部的三维位姿，在所述待处理图像中与所述脚部对应的位置叠加所述三维虚拟模型，得到虚拟试鞋的增强现实AR效果。
[0019]本申请本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理图像中与脚部对应的区域图像；利用脚部关键点检测模型，对所述区域图像进行关键点检测，得到所述脚部的第一脚部关键点的二维位置信息；基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。2.根据权利要求1所述的方法，其特征在于，所述获取待处理图像中与脚部对应的区域图像，包括：利用对象检测模型，对所述待处理图像进行对象检测，得到对象检测结果，所述对象检测结果包括所述待处理图像中脚部的检测框；根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像。3.根据权利要求2所述的方法，其特征在于，所述对象检测结果还包括所述脚部的类型；所述类型用于指示脚部为左脚或右脚；在根据所述检测框以及所述待处理图像，得到所述脚部对应的区域图像后，还包括：响应于所述脚部为预设类型，对所述区域图像进行翻转处理，以使输入所述脚部关键点检测模型的区域图像中的脚部的类型一致。4.根据权利要求1至3任一所述的方法，其特征在于，所述待处理图像为视频流中的图像；所述获取待处理图像中与脚部对应的区域图像，包括：获取所述视频流中所述待处理图像的前一帧图像中脚部的第一脚部关键点位置信息，并根据获取的位置信息，确定脚部边框；基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像。5.根据权利要求4所述的方法，其特征在于，基于所述脚部边框与所述待处理图像，得到所述脚部对应的区域图像之后，还包括：获取存储的所述前一帧图像中脚部的类型；响应于获取的所述类型为预设类型，对所述区域图像进行翻转处理，以使输入脚部关键点检测模型的区域图像中的脚部的类型一致。6.根据权利要求1至5任一所述的方法，其特征在于，所述待处理图像为视频流中的图像，所述视频流中还包括在所述待处理图像之前的前一帧图像；所述待处理图像的区域图像根据所述前一帧图像中的第一脚部关键点围成的脚部边框来确定；在基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿之前，还包括：利用图像分类模型，对所述区域图像进行分类，得到所述区域图像的分类结果；所述分类结果用于指示所述区域图像中是否为脚部图像；响应于所述分类结果指示所述区域图像为脚部图像，确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，以进行脚部跟踪。7.根据权利要求6所述的方法，其特征在于，所述基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之
间的映射关系，确定所述脚部在所述三维空间中的三维位姿，包括：响应于确定所述区域图像中的脚部与所述前一帧图像中的脚部为同一脚部，基于预设脚部三维模型中与所述第一脚部关键点对应的第二脚部关键点在三维空间中的预设位置信息和所述二维位置信息之间的映射关系，确定所述脚部在所述三维空间中的三维位姿。8.根据权利要求6或7所述的方法，其特征在于，所述图像分类模型与所述脚部关键点检测模型共享特征提取网络；所述图像分类模型与所述脚部关键点检测模型的联合训练方法包括：获取标注了图像分类信息的第一图像样本，以及标注了第一脚部关键点位置信息的第二图像样本；将所述第一图像样本输入所述图像分类模型得到分类预测结果，并根据所述分类预测结果与标注的图像分类信息，得到第一损失信息；将所述第二图像样本输入所述脚部关键点检测模型...

【专利技术属性】
技术研发人员：何野，四建楼，王玉峰，杜天元，王明峰，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：