一种基于多粒度级联的人体图像分割方法技术

一种基于多粒度级联的人体图像分割方法，包括：1)收集包含单个人体的图片以及对应的包含17种区域部位像素级标注的分割结果，划分训练集和测试集；2)对训练集中人体图片通过CPM模型计算人体姿态；3)构建多粒度级联的分割网络Finer‑Net，并使用训练集中的人体图片、人体姿态和分割结果进行训练；4)使用测试集的人体图片对Finer‑Net进行测试，得到对应的分割结果。

【技术实现步骤摘要】
一种基于多粒度级联的人体图像分割方法
本专利技术属于计算机视觉领域，针对人体图像分割场景中分割精度不高的问题，提出了一种基于多粒度级联的人体图像分割方法。
技术介绍
人体图像分割指在包含人体的图像中，将与人相关的各个部位分割开来，具体的表现形式是对于图中的每个像素赋予表征区域部位的类别标签或背景标签，如人脸、脖子等。在实际应用中，人体图像分割常常会用于搭配风格和流行学习上，因而分割的类别标签不仅仅局限在身体部位上，也会补充一部分服饰类别。现有的解决人体图像分割的方式主要有两种：(1)基于低级特征的过分割；(2)基于卷积神经网络的语义分割。基于低级特征的过分割需要一些额外的预处理步骤，如模板字典学习，同时易受光照、背景和遮挡的影响。基于卷积神经网络的语义分割起初用于场景语义理解上，比如区分一个场景图片中的建筑物、道路、行人、车辆等。由于人体图像分割更关注于部位的细粒度，基于场景语义分割的卷积模型中的设置步长和池化的策略并不直接适用人体图像分割。从人类观察包含人体的图像的角度来看，人体图像分割应是一个由粗到细的过程。起初，人类仅将图片中的人体和背景区分出来；接着会去关注几个比较大的区域，本文档来自技高网...

【技术保护点】
1.一种基于多粒度级联的人体图像分割方法，包含如下步骤：1)收集包含单个人体的图片以及对应的包含17种区域部位像素级标注的分割结果，划分训练集和测试集；2)对训练集中人体图片通过训练好的CPM模型计算人体姿态；3)构建多粒度级联的分割网络Finer‑Net，Finer‑Net由三个级别的子网络连接构成，通过训练集中的人体图片、人体姿态和分割结果分三个阶段进行增量式训练；4)使用测试集的人体图片对训练后的Finer‑Net进行测试，输入人体图片，得到17种区域部位标签和背景标签的分割结果。

【技术特征摘要】
1.一种基于多粒度级联的人体图像分割方法，包含如下步骤：1)收集包含单个人体的图片以及对应的包含17种区域部位像素级标注的分割结果，划分训练集和测试集；2)对训练集中人体图片通过训练好的CPM模型计算人体姿态；3)构建多粒度级联的分割网络Finer-Net，Finer-Net由三个级别的子网络连接构成，通过训练集中的人体图片、人体姿态和分割结果分三个阶段进行增量式训练；4)使用测试集的人体图片对训练后的Finer-Net进行测试，输入人体图片，得到17种区域部位标签和背景标签的分割结果。2.根据权利要求1所述的一种基于多粒度级联的人体图像分割方法，其特征在于：步骤1)所述的17种区域部位包括人体部位和服饰类别，具体为人脸、头发、帽子、眼镜、脖子、围巾、左臂、右臂、上衣、左腿、右腿、裤子、腰带、包包、左鞋、右鞋。3.根据权利要求1所述的一种基于多粒度级联的人体图像分割方法，其特征在于：步骤2)所述的训练好的CPM模型对于每张人体图片会给出14个关节关键点在图像中的坐标，具体包括头部、颈部、肩部(左/右)、肘部(左/右)、手腕(左/右)、髋部(左/右)、膝部(左/右)、脚踝(左/右)。4.根据权利要求1所述的一种基于多粒度级联的人体图像分割方法，其特征在于：步骤3)所述的三个阶段中的每个阶段都通过增加一个预训过的ResNet-101模块来实现。5.根据权利要求4所述的一种基于多粒度级联的人体图像分割方法，其特征在于：步骤3)所述的三个阶段中的第一个阶段接受...

【专利技术属性】
技术研发人员：宋明黎，雷杰，叶静雯，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33