一种人体和人手的关联方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种人体和人手的关联方法、装置、设备、存储介质及计算机程序，其中，所述方法包括：在画面内容包括待关联人体和待关联人手的待检测图像中，确定所述待关联人体的人体检测框和所述待关联人手的人手检测框之间的第一关联概率；基于所述人体检测框内的关键点，确定所述待关联人体和所述关键点中的手腕关键点之间的第二关联概率；其中，所述关键点包括：属于同一手臂的手腕关键点和手肘关键点；基于所述属于同一手臂的手腕关键点和手肘关键点，确定所述人手检测框与所述手腕关键点之间的第三关联概率；基于所述第一关联概率、所述第二关联概率和所述第三关联概率，确定所述待关联人体和所述待关联人手之间的关联度。联度。联度。

【技术实现步骤摘要】
【国外来华专利技术】一种人体和人手的关联方法、装置、设备及存储介质
[0001]相关申请的交叉引用
[0002]本中请要求于2021年6月21日提交至新加坡专利局的申请号为10202106728X、题为“一种人体和人手的关联方法、装置、设备及存储介质(BODY AND HAND CORRELATION METHOD AND APPARATUS,DEVICE,AND STORAGE MEDIUM)”的新加坡专利申请的优先权，该新加坡专利中请的全部内容在此引入本中请作为参考。


[0003]本申请实施例涉及图像处理
，涉及但不限于一种人体和人手的关联方法、装置、设备及存储介质。

技术介绍

[0004]在人数较多的复杂场景中，存在人与人之间遮挡或手臂之间相互交错的现象。在相关技术中，采用人体关键点检测与传感器相结合的方式，判断人手的归属，无法保证判断的准确性而且判断成本较高。

技术实现思路

[0005]本申请实施例提供一种人体和人手的关联技术方案。
[0006]本申请实施例的技术方案是这样实现的：
[0007]本申请实本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种人体和人手的关联方法，包括：在画面内容包括待关联人体和待关联人手的待检测图像中，确定所述待关联人体的人体检测框和所述待关联人手的人手检测框之间的第一关联概率；基于所述人体检测框内的关键点，确定所述待关联人体和所述关键点中的手腕关键点之间的第二关联概率；其中，所述人体检测框内的关键点包括：属于同一手臂的手腕关键点和手肘关键点；基于所述属于同一手臂的手腕关键点和手肘关键点，确定所述人手检测框与所述手腕关键点之间的第三关联概率；基于所述第一关联概率、所述第二关联概率和所述第三关联概率，确定所述待关联人体和所述待关联人手之间的关联度。2.根据权利要求1所述的方法，其中，所述在画面内容包括待关联人体和待关联人手的待检测图像中，确定所述待关联人体的人体检测框和所述待关联人手的人手检测框之间的第一关联概率，包括：确定所述人体检测框的人体特征和所述人手检测框的人手特征；基于所述人体特征和所述人手特征，确定所述人体检测框和所述人手检测框之间的第一关联概率。3.根据权利要求1或2所述的方法，其中，所述基于所述人体检测框内的关键点，确定所述待关联人体和所述关键点中的手腕关键点之间的第二关联概率，包括：确定所述手腕关键点为真值点的置信度；基于所述置信度，确定所述待关联人体和所述手腕关键点之间的关联概率，得到所述第二关联概率。4.根据权利要求3所述的方法，其中，所述基于所述置信度，确定所述待关联人体和所述手腕关键点之间的关联概率，得到所述第二关联概率，包括：将所述置信度确定为所述第二关联概率。5.根据权利要求1至4任一项所述的方法，其中，所述基于所述属于同一手臂的手腕关键点和手肘关键点，确定所述人手检测框与所述手腕关键点之间的第三关联概率，包括：基于所述属于同一手臂的手腕关键点和手肘关键点，确定所述手腕关键点与所述人手检测框之间的位置关系；基于所述位置关系和所述手腕关键点对应的置信度，确定所述第三关联概率，其中，所述手腕关键点对应的置信度包括所述手腕关键点为真值点的置信度。6.根据权利要求5所述的方法，其中，所述基于所述属于同一手臂的手腕关键点和手肘关键点，确定所述手腕关键点与所述人手检测框之间的位置关系，包括：确定连接属于同一手臂的所述手腕关键点和所述手肘关键点的第一连线；确定连接所述手腕关键点与所述人手检测框内的预设点的第二连线；以所述手腕关键点为顶点、沿所述手臂的小臂方向，确定所述第一连线和所述第二连线之间的夹角，得到所述位置关系。7.根据权利要求6所述的方法，其中，所述基于所述位置关系和所述手腕关键点对应的置信度，确定所述第三关联概率，包括：在所述夹角小于预设角度阈值的情况下，确定所述手腕关键点与所述人手检测框内的
预设点之间的距离；基于所述夹角、所述距离和所述手腕关键点对应的置信度，确定所述第三关联概率。8.根据权利要求7所述的方法，其中，所述基于所述夹角、所述距离和所述手腕关键点对应的置信度，确定所述第三关联概率，包括：基于所述距离与预设长度阈值之间的第一差值，确定所述距离的第一置信度；基于所述夹角与所述预设角度阈值之间的第二差值，确定所述夹角的第二置信度；对所述第一置信度、所述第二置信度和所述手腕关键点对应的置信度进行融合，得到所述第三关联概率。9.根据权利要求1至8任一项所述的方法，其中，所述基于所述第一关联概率、所述第二关联概率和所述第三关联概率，确定所述待关联人体和所述待关联人手之间的关联度，包括：基于所述第二关联概率和所述第三关联概率，对所述第一关联概率进行修正，得到已修正第一概率；基于所述已修正第一概率，确定所述待关联人体和所述待关联人手之间的关联度。10.根据权利要求9所述的方法，其中，在所述待检测图像的画面内容中包括多个待关联人体和多个待关联人手的情况下，所述基于所述已修正第一概率，确定所述待关联人体和所述待关联人手之间的关联度，包括：确定每一待关联人体和每一待关联人手之间的已修正第一概率，得到已修正第一概率集合；在所述已修正第一概率集合，筛选概率大于预设概率阈值的目标已修正第一概率；基于所述目标已修正第一概率，确定所述目标已修正第一概率对应的待关联人体相匹配的待关联人手。11.根据权利要求1至10任一项所述的方法，其中，所述确定所述待关联人体和所述关键点中的手腕关键点之间的第二关联概率，包括：在所述第一关联概率大于预设概率阈值的情况下，确定所述待关联人体和所述关键点中的手腕关键点之间的所述第二关联概率；所述确定所述人手检测框与所述手腕关键点之间的第三关联概率，包括：在所述第二关联概率大于所述预设概率阈值的情况下，确定所述第三关联概率；所述基于所述第一关联概率、所述第二关联概率和所述第三关联概率，确定所述待关联人体和所述待关联人手之间的关联度，包括：在所述第三关联概率大于所述预设概率阈值的情况下，基于所述第一关联概率、所述第二关联概率和所述第三关联概率，确定所述待关联人体和所述待关联人手之间的关联度。12.根据权利要求10所述的方法，其中，所述基于所述第一关联概率、所述第二关联概率和所述第三关联概率，确定所述待关联人体和所述待关联人手之间的关联度之前，所述方法还包括：对所述第一关联概率、所述第二关联概率和所述第三关联概率进行融合，得到融合概率；在所述融合概率小于第三预设概率阈值的情况下，对所述第二关联概率对应的手腕关
键点的位置进行更新，得到更新的手腕关键点。13.根据权利要求1至12任一项所述的方法，其中，在确定所述待关联人体的人体检测框和所述待关联人手的人手检测框之间的第一关联概率之前，所述方法还包括：对所述待检测图像进行人体检测、人手检测以及人体关键点检测，以确定所述待关联人体的人体检测框、所述待关联人手的人手检测框、以及所述待关联人体的关键点。...

【专利技术属性】
技术研发人员：王柏润，张学森，刘春亚，伊帅，
申请(专利权)人：商汤国际私人有限公司，
类型：发明
国别省市：