人体关节点预测方法及装置、动作类型识别方法及装置制造方法及图纸

本发明专利技术实施例涉及机器学习技术领域，公开了一种人体关节点预测方法及装置、动作类型识别方法及装置。本发明专利技术中提供的一种人体关节点预测方法，包括：获取动作图像，以及动作图像中人体的M个指定关节点的位置，其中，M大于0；将动作图像以及M个指定关节点的位置输入预先训练好的人体关节点识别模型得到人体的N个人体关节点的预测位置，其中，N大于M，N个人体关节点中包含M个指定关节点，N和M均为整数。本发明专利技术实施方式中提供的人体关节点预测方法及装置、动作类型识别方法及装置，避免了采集大量人体关节点或父子关节层级关系所花费的人力、物力以及时间，减少了数据采集的消耗。

【技术实现步骤摘要】
人体关节点预测方法及装置、动作类型识别方法及装置
本专利技术实施例涉及机器学习
，特别涉及一种人体关节点预测方法及装置、动作类型识别方法及装置。
技术介绍
人体关节点数据在人体识别、机器人驱动、行为预测等领域有着重要作用。在计算人体关节点位置的问题上，现有技术主要有通过机器学习重构缺失关节、前向动力学计算和反向动力学计算等方法来获取人体关节点位置，但各有限制。机器学习重构缺失关节需要已知大部分人体关节关键点位置，经过训练重构出缺失的关节信息；前向动力学则完全遵循关节点父子关系的层级，要计算某关节点位置必须提供该关节点的父关节点位置；而反向动力学计算是根据子关节点的位置来推算父关节点通过怎样的旋转可以使子关节点到达该位置。然而，专利技术人发现现有技术中至少存在如下问题：现有的获取人体关节点的方式往往需要获取大量人体关节点位置或父子关节点的层级关系，需要大量的人力、物力以及时间，数据采集消耗较大。
技术实现思路
本专利技术实施方式的目的在于提供一种人体关节点预测方法及装置、动作类型识别方法及装置，避免了采集大量人体关节点或父子关节层级关系所花费的人力、物力以及时间，减少了数据采集的消耗。为解决上述技术问题，本专利技术的实施方式提供了一种人体关节点预测方法，包括：获取动作图像，以及动作图像中人体的M个指定关节点的位置，其中，M大于0；将动作图像以及M个指定关节点的位置输入预先训练好的人体关节点识别模型得到人体的N个人体关节点的预测位置，其中，N大于M，N个人体关节点中包含M个指定关节点，N和M均为整数。本专利技术的实施方式还提供了一种人体关节点预测装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的人体关节点预测方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的人体关节点预测方法。本专利技术的实施方式还提供了一种动作类型识别方法，包括：利用上述的人体关节点预测方法得到动作图像的人体上的N个人体关节点的预测位置；将动作图像以及N个人体关节点的预测位置输入预先训练好的动作分类模型得到动作图像的动作类型。本专利技术的实施方式还提供了一种动作类型识别装置，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述的动作类型识别方法。本专利技术的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述的动作类型识别方法。本专利技术实施方式相对于现有技术而言提供一种人体关节点预测方法，包括：获取动作图像，以及动作图像中人体的M个指定关节点的位置，其中，M大于0；将动作图像以及M个指定关节点的位置输入预先训练好的人体关节点识别模型得到人体的N个人体关节点的预测位置，其中，N大于M，N个人体关节点中包含M个指定关节点，N和M均为整数。本实施方式中在获知动作图像以及动作图像中的部分人体关节点位置时，利用预先训练好的人体关节点的识别模型，便可预测出符合动作图像中人体姿态的大部分人体关节点的位置，避免了采集大量人体关节点或父子关节点层级关系所花费的人力、物力以及时间，减少了数据采集的消耗，为人体识别、机器人驱动、行为预测等技术提供了便利。另外，预先训练好的人体关节点识别模型通过以下方式进行训练：获取包含人体动作的多帧训练图像，多帧训练图像的每一帧训练图像包括：真实人体关节点的位置、以及从真实人体关节点中指定的真实人体关节点，指定的真实人体关节点的数目小于真实人体关节点的数目；将多帧训练图像输入人体关节点识别模型得到每一帧训练图像中真实人体关节点的预测位置，预测位置包括：指定的真实人体关节点的预测位置；根据预测位置、真实人体关节点的位置以及指定的真实人体关节点的位置计算第一损失函数；当第一损失函数的满足第一预设条件时，结束训练。另外，第一损失函数L1通过以下公式进行计算：其中，n表示有n帧训练图像，Ani为n帧训练图像中每一帧训练图像的i个真实人体关节点的位置，Qni为n帧训练图像中每一帧训练图像的i个预测位置，k表示指定的真实人体关节点的数目，Pj为n帧训练图像中每一帧训练图像的第j个指定的真实人体关节点的位置，Qj为第n帧训练图像中每一帧训练图像的第j个指定的真实人体关节点的预测位置。另外，预先训练好的人体关节点识别模型通过以下方式进行训练：获取包含人体动作的多组训练图像，每一组训练图像包含连续帧的训练图像，连续帧的训练图像中每一帧的训练图像包括：真实人体关节点的位置、以及从真实人体关节点中指定的真实人体关节点，指定的真实人体关节点的数目小于真实人体关节点的数目；将连续帧的动作训练数据集输入人体关节点识别模型得到每一帧训练图像中真实人体关节点的预测位置，预测位置包括：指定的真实人体关节点的预测位置；根据预测位置、真实人体关节点的位置以及指定的真实人体关节点的位置计算第二损失函数；当第二损失函数满足第二预设条件时，结束训练。另外，第二损失函数L2通过以下公式进行计算：其中，n表示有n组训练图像，s表示每一组训练图像中有s帧训练图像，Asni表示n组训练图像中的s帧训练图像中每一帧训练图像的i个真实人体关节点的位置，Qsni表示n组训练图像中的s帧训练图像中每一帧训练图像的i个预测位置，k为指定的真实人体关节点的数目，Ptj为s帧训练图像中第t帧训练图像的第j个指定的真实人体关节点的位置，Qtj表示s帧训练图像中第t帧训练图像的第j个真实人体关节点的预测位置。附图说明一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。图1是根据本专利技术第一实施方式的人体关节点预测方法的流程示意图；图2是根据本专利技术第二实施方式的人体关节点预测装置的结构示意图；图3是根据本专利技术第四实施方式的动作类型识别方法的流程示意图；图4是根据本专利技术第五实施方式的动作类型识别装置的结构示意图。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本专利技术各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。本专利技术的第一实施方式涉及一种人体关节点预测方法，本实施方式的核心在于，提供一种人体关节点预测方法，包括：获取动作图像，以及动作图像中人体的M个指定关节点的位置，其中，M大于0；将动作图像以及M个指定关节点的位置输入预先训练好的人体关节点识别模型得到人体的N个人体关节点的预测位置，其中，N大于M，N个人体关节点中包含M个指定关节点，N和M均为整数。本实施方式中在获知动作图像以及动作图像中的部分人体关节点位置时，利用预先训练好的人体关节点的识别模型，便可预测出符合动作图像中人体姿态的大部分人体关节点的位置，避免了采集大量人体关节点或父子关节点本文档来自技高网...

【技术保护点】
1.一种人体关节点预测方法，其特征在于，包括：获取动作图像，以及所述动作图像中人体的M个指定关节点的位置，其中，所述M大于0；将所述动作图像以及所述M个指定关节点的位置输入预先训练好的人体关节点识别模型得到所述人体的N个人体关节点的预测位置，其中，所述N大于所述M，所述N个人体关节点中包含所述M个指定关节点，所述N和所述M均为整数。

【技术特征摘要】
1.一种人体关节点预测方法，其特征在于，包括：获取动作图像，以及所述动作图像中人体的M个指定关节点的位置，其中，所述M大于0；将所述动作图像以及所述M个指定关节点的位置输入预先训练好的人体关节点识别模型得到所述人体的N个人体关节点的预测位置，其中，所述N大于所述M，所述N个人体关节点中包含所述M个指定关节点，所述N和所述M均为整数。2.根据权利要求1所述的人体关节点预测方法，其特征在于，所述预先训练好的人体关节点识别模型通过以下方式进行训练：获取包含人体动作的多帧训练图像，所述多帧训练图像的每一帧训练图像包括：真实人体关节点的位置、以及从所述真实人体关节点中指定的真实人体关节点，所述指定的真实人体关节点的数目小于所述真实人体关节点的数目；将所述多帧训练图像输入人体关节点识别模型得到每一帧所述训练图像中所述真实人体关节点的预测位置，所述预测位置包括：所述指定的真实人体关节点的预测位置；根据所述预测位置、所述真实人体关节点的位置以及所述指定的真实人体关节点的位置计算第一损失函数；当所述第一损失函数的满足第一预设条件时，结束训练。3.根据权利要求2所述的人体关节点预测方法，其特征在于，所述第一损失函数L1通过以下公式进行计算：其中，所述n表示有n帧训练图像，所述Ani为n帧训练图像中每一帧训练图像的i个真实人体关节点的位置，所述Qni为n帧训练图像中每一帧训练图像的i个预测位置，所述k表示所述指定的真实人体关节点的数目，所述Pj为n帧训练图像中每一帧训练图像的第j个所述指定的真实人体关节点的位置，所述Qj为第n帧训练图像中每一帧训练图像的第j个所述指定的真实人体关节点的预测位置。4.根据权利要求1所述的人体关节点预测方法，其特征在于，所述预先训练好的人体关节点识别模型通过以下方式进行训练：获取包含人体动作的多组训练图像，每一组训练图像包含连续帧的训练图像，所述连续帧的训练图像中每一帧的训练图像包括：真实人体关节点的位置、以及从所述真实人体关节点中指定的真实人体关节点，所述指定的真实人体关节点的数目小于所述真实人体关节点的数目；将所述连续帧的动作训练数据集输入人体关节点识别模型得到每一帧所述训练...

【专利技术属性】
技术研发人员：石芙源，王恺，廉士国，
申请(专利权)人：深圳前海达闼云端智能科技有限公司，
类型：发明
国别省市：广东,44