基于人体拓扑结构对齐的多人姿态估计方法技术

本发明专利技术提供了一种基于人体拓扑结构对齐的多人姿态估计方法。该方法包括：用MS

【技术实现步骤摘要】
基于人体拓扑结构对齐的多人姿态估计方法


[0001]本专利技术涉及人体行为分析
，尤其涉及一种基于人体拓扑结构对齐的多人姿态估计方法。

技术介绍

[0002]近年来,随着信息技术的发展和智能科技的普及,全球科技变革正在进一步推进,云计算、物联网、大数据和人工智能等技术也在飞速发展,其中,人体姿态识别技术已开始在计算机视觉相关领域中广泛应用。
[0003]当前人工智能技术的热点,固定情景下对于人体姿态识别具有十分重要的研究意义,对于我国实现现代化建设具有一定的推动作用,因此加强技术分析研判就显得十分重要。早在上世纪70年代,我国已经开始了对人体行为分析方面的研究,这些研究对于我国人工智能的发展有了较强的推动作用,在特定情景下或者说在比较标准的场景中分析较为简单的姿态和动作已经成为了可能。
[0004]随着我国社会水平的不断提升,人们对于社会生活的质量要求也在不断增加,因此，在实际的生活过程中视频监控已经成为人们不可或缺的一种安全措施,基于视频分析的技术要求也越来越高。例如在智能家装,医疗领域及运动分析等行业中都得到了较为广泛的应用,固态场景下的人体姿态识别在各领域起到的作用显而易见。特别是近年来,我国安保工作的加强,对于大城市人口密集流动以及犯罪分子的甄别等都有较强需求。
[0005]目前，现有技术中还没有一种有效地基于人体拓扑结构对齐的多人姿态估计方法。

技术实现思路

[0006]本专利技术的实施例提供了一种基于人体拓扑结构对齐的多人姿态估计方法，以实现在无监督网络学习框架下可以准确地区分图像中的人体的各个关键点。
[0007]为了实现上述目的，本专利技术采取了如下技术方案。
[0008](和权利要求书相互对应)
[0009]由上述本专利技术的实施例提供的技术方案可以看出，本专利技术在没有标记或者稀疏标记的图像中可以显著提高目标域的性能，在无监督网络学习框架下可以准确地区分人体的各个关键点。
[0010]本专利技术附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0011]为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的
附图。
[0012]图1为本专利技术实施例提供的一种基于人体拓扑结构对齐的应用于图像上的多人姿态估计方法的流程图。
具体实施方式
[0013]下面详细描述本专利技术的实施方式，所述实施方式的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施方式是示例性的，仅用于解释本专利技术，而不能解释为对本专利技术的限制。
[0014]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本专利技术的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。
[0015]本
技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本专利技术所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。
[0016]为便于对本专利技术实施例的理解，下面将结合附图以几个具体实施例为例做进一步的解释说明，且各个实施例并不构成对本专利技术实施例的限定。
[0017]本专利技术实施例提供的一种基于人体拓扑结构对齐的应用于图像上的多人姿态估计方法的流程图如图1所示，该方法包括以下步骤：
[0018]步骤1:通过网络爬虫爬取没有袖子的人体图像，构建SZF(Sleeve
‑
zero Figures,无袖人体图像)数据集。
[0019]步骤2:用HRNet网络对MS
‑
COCO和MPLL数据集的图像样本进行学习得到人体关键点图像，并且用MS
‑
COCO和MPLL数据集为输入训练HRNet网络，从而得到鲁棒的XZZNet网络。
[0020]MS
‑
COCO数据集的全称是Common Objects in Context，是微软团队提供的一个可以用来进行图像识别的数据集，其包含检测(detection),分割(segmentation),关键点(keypoints)等任务。MS
‑
COCO数据集中的图像包含了自然图像以及生活中常见的目标图像，背景比较复杂，目标数量比较多，目标尺寸更小，因此MS
‑
COCO数据集上的任务通常较难实现。此外，MS
‑
COCO数据集中包含91类图像。它的训练集有82,783个图像，验证集有40,504个图像，测试集有40,775个图像。每张图像提供17个人体关键点。
[0021]MPII人体姿态数据集由取自真实世界的带有全身姿态标注的图像组成。大约有25K张图像，40K个对象，其中大约有7K张图像用于测试，剩余的18K用于训练和验证。每张图像提供16个人体关键点。
[0022]步骤3:将SZF数据集输入到XZZNet网络中，XZZNet网络生成候选的没有袖子的人体姿态关键点。
[0023]步骤4:对HRNet网络生成的人体关键点图和XZZNet生成的候选的人体关键点图构
建图模型，进行图匹配，通过监督损失函数不断修正，使其在人体模型识别中对关键点更加敏感，利用最小化损失函数在两个领域上学习泛化的高阶结构不变量表示来帮助判断关键点位置，利用交叉熵损失函数调整XZZNet网络，得到优化的XZZNet网络。
[0024]步骤5：利用优化的XZZNet网络以SZF数据集为输入，生成SZF数据集中的图像对应的关键点检测图像，根据关键点检测图像得到图像中包含人体的各个关键点姿态信息。
[0025]上述步骤1的处理过程具体包括:采用了python爬虫的方式来从网络中获取大量的没有袖子的人体图像。python有强大的爬虫，以及成熟高效的爬虫
‑
远程字典服务分布式策略爬虫框架，方便高效下载网页；多线程、进程模型成熟稳定，多线程或进程会优化程序效率，提升整个系统下载和分析能力。同时python具有非常优秀的第三方包能够模拟用户代理的行为构造合适的请求，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人体拓扑结构对齐的多人姿态估计方法，其特征在于，包括：通过网络爬虫爬取没有袖子的人体图像，构建SZF数据集；用MS
‑
COCO和MPLL数据集为输入训练HRNet网络，得到XZZNet网络；利用HRNet网络对MS
‑
COCO和MPLL数据集的图像样本进行学习得到人体关键点图像；将SZF数据集输入到XZZNet网络中，XZZNet网络生成候选的没有袖子的人体姿态关键点；对HRNet网络生成的人体关键点图和XZZNet生成的候选的人体关键点图进行图匹配，根据图匹配结果利用交叉熵损失函数微调XZZNet网络，得到优化的XZZNet网络；将SZF数据集输入到优化的XZZNet网络中，生成SZF数据集中的图像对应的关键点检测图像，根据关键点检测图像得到图像中包含人体的各个关键点姿态信息。2.根据权利要求1所述的方法，其特征在于，所述的通过网络爬虫爬取没有袖子的人体图像，构建SZF数据集，包括：利用python的requests程序包实现网络爬虫，利用requests程序包调用抓取图片函数获取目标网页地址，循环遍历字典中存入的图片网址，用python代码将抓取的图像重命名后，对图像进行标注，标注完成，将图像和标注文件按照顺序一对一读入保存，构成SZF图像数据集。3.根据权利要求1所述的方法，其特征在于，所述的用MS
‑
COCO和MPLL数据集为输入训练HRNet网络，得到XZZNet网络；利用HRNet网络对MS
‑
COCO和MPLL数据集的图像样本进行学习得到人体关键点图像，包括：对MS
‑
COCO和MPLL数据集中的原始图像进行翻转、裁剪和重塑,以变化后的图像为输入训练HRNet网络，得到鲁棒的XZZNet网络；利用HRNet网络对MS
‑
COCO和MPLL数据集的图像样本进行学习得到人体关键点图，平均变化后的图像生成的热图，每个人体关键点的位置是通过调整最高热值的位置，并在从最高响应到第二高响应的方向上偏移四分之一来预测。4.根据权利要求3所述的方法，其特征在于，利用MS
‑
COCO和MPLL数据集为输入训练HRNet网络时，HRNet网络包含四个阶段，主体为四个并行的子...

【专利技术属性】
技术研发人员：李浥东，郎丛妍，孙鑫雨，冯紫钰，赵治坤，汪敏，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：