姿态识别模型的训练方法、图像识别方法及装置制造方法及图纸

本发明专利技术提供了一种姿态识别模型的训练方法、图像识别方法及装置；姿态识别模型的训练方法包括：将标注有人体关键点的样本图像，输入所述姿态识别模型包括的特征图模型，输出对应所述样本图像的特征图；将所述特征图输入所述姿态识别模型包括的二维模型，输出用于表征二维人体姿态的二维关键点参数；将从所述特征图中剪裁出的目标人体特征图及所述二维关键点信息，输入所述姿态识别模型包括的三维模型，输出用于表征三维人体姿态的三维姿态参数；结合所述二维关键点参数及所述三维姿态参数，构建目标损失函数；基于所述目标损失函数，更新所述姿态识别模型的模型参数。

Training Method, Image Recognition Method and Device of Attitude Recognition Model

【技术实现步骤摘要】
姿态识别模型的训练方法、图像识别方法及装置
本专利技术涉及机器学习
，尤其涉及一种姿态识别模型的训练方法、图像识别方法及装置。
技术介绍
机器学习(ML，machineLearning)是人工智能的一个分支，其目的是让机器根据先验的知识进行学习，从而具有分类和判断的逻辑能力。以神经网络为代表的机器学习模型不断发展，被逐渐应用到人体姿态识别中，从而实现基于人体姿态的各种智能化应用。相关技术中，用于识别人体二维姿态信息以及三维姿态信息的神经网络模型互不兼容，需要单独进行训练，训练所需计算资源量大、训练效率低。
技术实现思路
本专利技术实施例提供一种姿态识别模型的训练方法、基于姿态识别模型的图像识别方法、装置及存储介质，能够实现兼容识别人体二维姿态信息及三维姿态信息的模型。本专利技术实施例提供一种姿态识别模型的训练方法，包括：通过姿态识别模型包括的特征图模型，对标注有人体关键点的样本图像进行处理，获得对应所述样本图像的特征图；通过所述姿态识别模型包括的二维模型，对所述特征图进行处理，获得用于表征二维人体姿态的二维关键点参数；通过所述姿态识别模型包括的三维模型，对从所述特征图中剪裁出的目标人体特征图及所述二维关键点参数进行处理，获得用于表征三维人体姿态的三维姿态参数；结合所述二维关键点参数及所述三维姿态参数，构建目标损失函数；基于所述目标损失函数，更新所述姿态识别模型的模型参数。本专利技术实施例还提供了一种基于姿态识别模型的图像识别方法，所述方法包括：通过所述姿态识别模型包括的特征图模型，对包含人体的待识别图像进行处理，获得对应所述待识别图像的特征图；通过所述姿态识别模型包括的二维模型，对所述特征图进行处理，获得用于表征二维人体姿态的二维关键点参数，所述二维关键点参数用于识别得到所述人体的二维姿态；通过所述姿态识别模型包括的三维模型，对从所述特征图中剪裁出的目标人体特征图及所述二维关键点参数进行处理，获得用于表征三维人体姿态的三维姿态参数，所述三维姿态参数用于识别得到所述人体的三维姿态。本专利技术实施例还提供了一种姿态识别模型的训练装置，包括：第一处理单元，用于通过姿态识别模型包括的特征图模型，对标注有人体关键点的样本图像进行处理，获得对应所述样本图像的特征图；第二处理单元，用于通过所述姿态识别模型包括的二维模型，对所述特征图进行处理，获得用于表征二维人体姿态的二维关键点参数；第三处理单元，用于通过所述姿态识别模型包括的三维模型，对从所述特征图中剪裁出的目标人体特征图及所述二维关键点参数进行处理，获得用于表征三维人体姿态的三维姿态参数；构建单元，用于结合所述二维关键点参数及所述三维姿态参数，构建目标损失函数；更新单元，用于基于所述目标损失函数，更新所述姿态识别模型的模型参数。上述方案中，所述装置还包括：标注单元，用于确定对应当前配置场景的人体关键点，不同的所述配置场景对应关键点集中不同的人体关键点；基于所确定的人体关键点，参照所述关键点集对所述样本图像进行标注。上述方案中，所述关键点集包括：用于定位人体部位的基准关键点、与所述基准关键点协同表征所属部位的不同三维姿态的扩展关键点。上述方案中，所述目标损失函数包括对应所述三维模型的第一损失函数；所述构建单元，还用于基于所述三维姿态参数，确定相应的二维关键点信息；结合所述二维模型输出的二维关键点参数、以及采用所述三维姿态参数表征的二维关键点信息，构造对应所述三维模型的第一损失函数。上述方案中，所述目标损失函数还包括对应所述二维模型的损失函数及对应所述三维模型的第二损失函数；所述二维关键点参数包括：人体关键点的部分亲和字段参数及人体关键点的热力图，所述三维姿态参数包括：人体的形状参数及形态参数；所述构建单元，还用于结合所述二维模型输出的部分亲和字段参数与相应人体关键点在样本图像中的部分亲和字段参数的差异、所述二维模型输出的热力图与相应人体关键点在样本图像中的热力图的差异，构建对应所述二维模型的损失函数；结合所述三维模型输出的形状参数与相应人体在样本图像中的形状参数的差异、所述三维模型输出的形态参数与相应人体在样本图像中的形态参数的差异，构建对应所述三维模型的第二损失函数。上述方案中，所述装置还包括：剪裁单元，用于基于所述二维模型输出的所述二维关键点参数，确定所述特征图中的目标人体；根据确定的目标人体对所述特征图进行剪裁，得到所述目标人体的特征图。上述方案中，所述更新单元，还用于基于所述二维模型输出的所述二维关键点参数及所述三维模型输出的所述三维姿态参数，确定所述目标损失函数的值；当所述目标损失函数的值超出预设阈值时，基于所述目标损失函数确定所述姿态识别模型的误差信号；将所述误差信号在所述姿态识别模型中反向传播，并在传播的过程中更新各个层的模型参数。本专利技术实施例还提供了一种基于姿态识别模型的图像识别装置，所述装置包括：第一获取单元，用于将包含人体的待识别图像，输入所述姿态识别模型包括的特征图模型，输出对应所述待识别图像的特征图；第二获取单元，用于将所述特征图输入所述姿态识别模型包括的二维模型，输出用于表征二维人体姿态的二维关键点参数，所述二维关键点参数用于识别得到所述人体的二维姿态；第三获取单元，用于将从所述特征图中剪裁出的目标人体特征图及所述二维关键点参数，输入所述姿态识别模型包括的三维模型，输出用于表征三维人体姿态的三维姿态参数，所述三维姿态参数用于识别得到所述人体的三维姿态。上述方案中，所述装置还包括：匹配单元，用于响应于所述待识别图像为基于输出特定人物姿态的图像后采集得到，基于所述二维模型输出的所述二维关键点参数，识别得到所述待识别图像中人体的二维姿态；将识别得到的所述二维姿态与所述特定人物姿态进行相似度匹配，得到匹配结果；提示单元，用于输出用于表征所述匹配结果的提示信息。上述方案中，所述装置还包括：人体模型单元，用于基于所述三维模型输出的所述三维姿态参数，构建对应所述目标人体的三维人体模型；控制单元，用于控制所述三维人体模型执行目标动作，所述目标动作与所述目标人体所执行的动作相匹配。本专利技术实施例还提供了一种姿态识别模型的训练装置，包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的姿态识别模型的训练方法。本专利技术实施例还提供了一种基于姿态识别模型的图像识别装置，所述装置包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令时，实现本专利技术实施例提供的基于姿态识别模型的图像识别方法。本专利技术实施例还提供了一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本专利技术实施例提供的姿态识别模型的训练方法。本专利技术实施例还提供了一种存储介质，存储有可执行指令，用于引起处理器执行时，实现本专利技术实施例提供的基于姿态识别模型的图像识别方法。应用本专利技术实施例具有以下有益效果：1)训练得到的姿态识别模型既能够输出人体二维姿态信息，又能够输出人体的三维姿态信息，实现了人体二维姿态信息及三维姿态信息的兼容；2)对输出人体二维姿态信息及三维姿态信息的姿态识别模型的训练，采用一套训练样本，模型简单，训练效率高；3)对姿态识别模型中三维模型的训练，采用二维模型输出的二维信息进行约束，使得三维模型输出的人体三维姿态信息的准本文档来自技高网...

【技术保护点】
1.一种姿态识别模型的训练方法，其特征在于，所述方法包括：通过姿态识别模型包括的特征图模型，对标注有人体关键点的样本图像进行处理，获得对应所述样本图像的特征图；通过所述姿态识别模型包括的二维模型，对所述特征图进行处理，获得用于表征二维人体姿态的二维关键点参数；通过所述姿态识别模型包括的三维模型，对从所述特征图中剪裁出的目标人体特征图及所述二维关键点参数进行处理，获得用于表征三维人体姿态的三维姿态参数；结合所述二维关键点参数及所述三维姿态参数，构建目标损失函数；基于所述目标损失函数，更新所述姿态识别模型的模型参数。

【技术特征摘要】
1.一种姿态识别模型的训练方法，其特征在于，所述方法包括：通过姿态识别模型包括的特征图模型，对标注有人体关键点的样本图像进行处理，获得对应所述样本图像的特征图；通过所述姿态识别模型包括的二维模型，对所述特征图进行处理，获得用于表征二维人体姿态的二维关键点参数；通过所述姿态识别模型包括的三维模型，对从所述特征图中剪裁出的目标人体特征图及所述二维关键点参数进行处理，获得用于表征三维人体姿态的三维姿态参数；结合所述二维关键点参数及所述三维姿态参数，构建目标损失函数；基于所述目标损失函数，更新所述姿态识别模型的模型参数。2.如权利要求1所述的方法，其特征在于，所述方法还包括：根据当前配置场景的类型获取相应类型的关键点集，并确定所述关键点集中的人体关键点；基于所确定的人体关键点，参照所述关键点集对所述样本图像进行标注。3.如权利要求2所述的方法，其特征在于，所述关键点集包括：用于定位人体部位的基准关键点、与所述基准关键点协同表征所属部位的多种三维姿态的扩展关键点。4.如权利要求1所述的方法，其特征在于，所述目标损失函数包括对应所述三维模型的第一损失函数；所述结合所述二维关键点参数及所述三维姿态参数，构建损失函数，包括：基于所述三维姿态参数，确定相应的二维关键点信息；结合所述二维模型输出的二维关键点参数、以及基于所述三维姿态参数确定的二维关键点信息，构造对应所述三维模型的第一损失函数。5.如权利要求4所述的方法，其特征在于，所述目标损失函数还包括对应所述二维模型的损失函数及对应所述三维模型的第二损失函数；所述二维关键点参数包括：人体关键点的部分亲和字段参数及人体关键点的热力图，所述三维姿态参数包括：人体的形状参数及形态参数；所述结合所述二维关键点参数及所述三维姿态参数，构建损失函数，包括：结合所述二维模型输出的部分亲和字段参数与相应人体关键点在样本图像中的部分亲和字段参数的差异、所述二维模型输出的热力图与相应人体关键点在样本图像中的热力图的差异，构建对应所述二维模型的损失函数；结合所述三维模型输出的形状参数与相应人体在样本图像中的形状参数的差异、所述三维模型输出的形态参数与相应人体在样本图像中的形态参数的差异，构建对应所述三维模型的第二损失函数。6.如权利要求1所述的方法，其特征在于，所述方法还包括：基于所述二维模型输出的所述二维关键点参数，确定所述特征图中的目标人体；根据确定的目标人体对所述特征图进行剪裁，得到所述目标人体的特征图。7.如权利要求1所述的方法，其特征在于，所述基于所述目标损失函数，更新所述姿态识别模型的模型参数，包括：基于所述二维模型输出的所述二维关键点参数及所述三维模型输出的所述三维姿态参数，确定所述目标损失函数的值；当所述目标损失函数的值超出预设阈值时，基于所述目标损失函数确定所述姿态识别模型的误差信号；将所述误差信号在所述姿态识别模型中反向传播，并在传播的过程中更新各个层的模型参数。8.一种基于姿态识别模型的图像识别方法，其特征在于，所述方法包括：通过所述姿态识别模型包括的特征图模型，对包含人体的待识别图像进行处理，获得对应所述待识别图像的特征图；通过所述姿态识别模型包括的二维模型，对所述特征图进行处理，获...

【专利技术属性】
技术研发人员：罗镜民，朱晓龙，王一同，季兴，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44