对包含人像的图像的多人骨骼关键点检测方法及装置制造方法及图纸

本发明专利技术公开了一种对包含人像的图像的多人骨骼关键点检测方法及装置，该方法包括：对原始含人像的RGB图像进行显著性检测，得到图像中各位置的显著性值；根据显著性值对所述RGB图像进行裁剪；对所述裁剪后的图像进行骨骼关键点检测，得到各类关键点位置的分布热图；对所述分布热图根据显著性值进行加权，并根据加权后的分布热图计算出裁剪后图像的骨骼关键点检测结果；最后计算所述原始RGB图像中每个人的骨骼关键点的最终检测结果。本发明专利技术的方法和装置能得到高精度的人体骨骼关键点检测结果。

Key Point Detection Method and Device for Multi-Bone Images Containing Human Images

The invention discloses a method and device for detecting key points of human skeleton in images containing human portraits. The method includes: detecting the saliency of the original RGB image containing human portraits to obtain the saliency values of each position in the image; clipping the RGB image according to the saliency values; detecting the key points of the skeleton in the clipped image to obtain the positions of various key points. Distribution heat map; weighting the distribution heat map according to the saliency value, and calculating the detection results of key bone points in the clipped image based on the weighted distribution heat map; finally calculating the final detection results of key bone points for each person in the original RGB image. The method and device of the invention can obtain high-precision detection results of key points of human skeleton.

【技术实现步骤摘要】
对包含人像的图像的多人骨骼关键点检测方法及装置
本专利技术涉及计算机视觉与数字图像处理领域，尤其是涉及对包含人像的图像进行多人骨骼关键点检测的方法及装置。
技术介绍
对包含人像的图像(如RGB图像)进行人体骨骼关键点检测，是当前计算机视觉领域一个热点研究方向。所检测出的人体骨骼关键点结果可为行为识别、人机交互、电影特效制作等多个领域提供关键信息，具有重要的实用价值。目前主流的人体骨骼关键点检测方法主要分为两种：单人骨骼关键点检测方法和多人骨骼关键点检测方法。单人骨骼关键点检测方法，是指首先对包含人像的图像进行物体检测，得到图像中每个人的矩形边框位置，然后对每个边框内的信息进行独立关键点检测，最后进行整合，以获取图像中全部人的骨骼关键点信息。这种方法严重依赖于物体检测的精度，边框位置及大小的微小变化可能对结果精度有较大影响，并且物体检测阶段效率低，难以达到实时性的要求。多人骨骼关键点检测方法，是指直接在图像中检测出所有可能的人体骨骼关键点，然后利用全局信息对图像中属于同一个人的骨骼关键点进行连接。这种方法可以在不依赖人体边框位置信息的情况下较有效地检测出全部人体骨骼关键点，具有较高的检本文档来自技高网...

【技术保护点】
1.一种对包含人像的图像的多人骨骼关键点检测方法，其特征在于包括如下步骤：S1、对一含人像的原始RGB图像进行图像显著性检测，得到所述原始RGB图像中各位置的显著性值；S2、根据显著性值对所述原始RGB图像进行裁剪，得到裁剪后的图像及裁剪后图像各位置的显著性值；S3、对所述裁剪后的图像进行人体骨骼关键点检测，得到N个关键点位置分布热图；其中，N≥1；S4、对所述分布热图根据所述裁剪后图像各位置的显著性值进行加权，根据加权后的分布热图计算出所述裁剪后图像的骨骼关键点检测结果；S5、计算所述原始RGB图像的骨骼关键点的最终检测结果；最终检测结果包括所述原始RGB图像中的人数及检测到的每个人的骨骼关...

【技术特征摘要】
1.一种对包含人像的图像的多人骨骼关键点检测方法，其特征在于包括如下步骤：S1、对一含人像的原始RGB图像进行图像显著性检测，得到所述原始RGB图像中各位置的显著性值；S2、根据显著性值对所述原始RGB图像进行裁剪，得到裁剪后的图像及裁剪后图像各位置的显著性值；S3、对所述裁剪后的图像进行人体骨骼关键点检测，得到N个关键点位置分布热图；其中，N≥1；S4、对所述分布热图根据所述裁剪后图像各位置的显著性值进行加权，根据加权后的分布热图计算出所述裁剪后图像的骨骼关键点检测结果；S5、计算所述原始RGB图像的骨骼关键点的最终检测结果；最终检测结果包括所述原始RGB图像中的人数及检测到的每个人的骨骼关键点坐标集合。2.如权利要求1所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，步骤S1中对所述初始图像进行显著性检测包括：采用上下文感知方法进行显著性检测,具体包括：S21、将所述RGB图像I0(x,y)转化为Lab颜色空间中的图像I1(x,y)；S22、将图像I1(x,y)切分成N块，分别表示为p1,p2,…,pN，分别计算N个小块两两之间的差异性，其中N取整数，N≥4；S23、对每个小块pi，取前K个与其差异性最小的块，计算单尺度显著性值(K取整数，N≥K≥1)；S24、计算多尺度下显著性平均值，得到所述显著性检测结果S(x,y)。3.如权利要求2所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，S21中，将所述RGB图像I0(x,y)转化为Lab颜色空间中的图像I1(x,y)具体包括：S211、将RGB颜色空间中的图像首先转换到XYZ空间S212、再将XYZ空间中的像素值转化为Lab颜色空间中的像素值其中，根据上述公式#(1)、#(2)、#(3)即可得到所述原始图像I0(x,y)在Lab颜色空间中的图像I1(x,y)。4.如权利要求3所述的对包含人像的图像的多人骨骼关键点检测方法，其特征在于，步骤S22具体包括：对所述得到的图像I1(x,y)首先在水平方向上和竖直方向上每M个像素进行切分(令Lmin表示图像I1(x,y)的短边长度，M取整数，Lmin/2≥M≥2)，得到p1,p2,…,pN共N个小块。分别计算每个小块两两之间在Lab空间中的欧几里得颜色距离dcolor(pi,pj)和空间距离dposition(pi,pj)，得到每个小块两两之间的差异性步骤23具体包括：选取前一定个数的差异性最小的图像块对每个小块pi内所有位置进行显著性度量，采用如下公式根据上述公式#(4)、#(5)可以得到对图像I1(x,y)每M个像素进行切分后，I1...

【专利技术属性】
技术研发人员：王好谦，李萌，张永兵，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东,44