一种基于异构图像协同增强的低分辨率人体姿态估计方法技术

本发明专利技术属于人体姿态估计技术领域，公开了一种基于异构图像协同增强的低分辨率人体姿态估计方法，其收集由高、低分辨率人体图像组成异构图像对来构建训练数据集；构建基于跨分辨率异构图像协同增强的低分辨率人体姿态估计网络模型；训练阶段，利用跨分辨率异构图像对训练所述网络模型，得到训练好的模型；测试阶段，使用训练数据集收集过程中得到的高分辨率人体特征库为待检测图像匹配最相关的高分辨率图像，一起输入训练好的网络模型，获得人体姿态估计结果。与传统方法相比，本发明专利技术提出的网络模型能够利用异构的高分辨率人体图像中更丰富、更清晰的信息来引导网络生成高质量的低分辨率图像特征，从而提高低分辨率场景下的人体姿态估计准确性。的人体姿态估计准确性。的人体姿态估计准确性。

【技术实现步骤摘要】
一种基于异构图像协同增强的低分辨率人体姿态估计方法


[0001]本专利技术属于人体姿态估计
，具体涉及一种基于异构图像协同增强的低分辨率人体姿态估计方法。

技术介绍

[0002]人体姿态估计是指通过检测和定位人体上的关键点来重建人体姿态的过程。该任务是计算机视觉领域的重要挑战之一，对于许多计算机视觉应用有着关键性的作用，如动作识别、智能视频监控和人机交互。目前在高分辨率数据的条件下，各种人体姿态估计方法被提出，并取得了不错的效果；然而受限于图像传感器的成像限制、传输限制以及存储限制，现实场景中实际的数据往往是低分辨率的。当图像分辨率降低时，图像信息的丢失会导致现有模型性能骤降，无法满足日益增长的生产和应用需求。
[0003]现有方法大多通过超分辨率技术来提高图像或特征的分辨率并补充丢失的图像信息；如Jie Xu, Yuna Liu等人(Image and Graphics: 11th International Conference, ICIG.2021.)在文献“Tiny Person Pose Estimation via Image and Feature Super Resolution”中通过设计三个超分辨率模块，分别从图像级、特征级、图像
‑
特征联合级对待检测图像进行超分辨率来提高图像的特征质量，并取得了不错的低分辨率人体姿态估计结果，但这不仅会带来巨大的计算开销，而且由于超分辨率方法固有的不适定性问题，使用超分辨率来提高用于人体姿态估计的图像分辨率可能会产生伪影和假纹理，从而导致身体部位错位，以上两个问题限制了低分辨率人体姿态估计的效率和精度。

技术实现思路

[0004]为解决上述技术问题，本专利技术提供了一种基于异构图像协同增强的低分辨率人体姿态估计方法，能够在不依赖超分辨率的情况下提高低分辨率图像特征质量，提高低分辨率人体姿态估计的检测精度。
[0005]本专利技术所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法，包括以下步骤：S1：收集由高分辨率人体图像和低分辨率人体图像组成异构图像对来构建训练数据集；S2：构建基于异构图像协同增强的低分辨率人体姿态估计网络模型；所述网络模型包括骨干网络、姿态信息增强模块、细节信息增强模块和回归层；骨干网络用于提取高分辨率图像和低分辨率图像的多尺度特征；姿态信息增强模块用于为低分辨率图像特征提供关键点级别的语义指导来提高姿态相关的低分辨率图像特征质量；细节信息增强模块用于在高分辨率图像特征和低分辨率图像特征间传输细节信息，构建细节信息增强的低分辨率图像特征；回归层将低分辨率图像的姿态信息增强特征和细节信息增强特征进行融合，并预
测出最终的人体姿态估计结果；S3：训练阶段，利用构建的训练数据集来训练基于异构图像协同增强的低分辨率人体姿态估计网络模型；S4：测试阶段，使用训练数据集收集过程中得到的高分辨率人体特征库为待检测图像匹配最相关的高分辨率图像，一起输入训练好的网络模型，获得人体姿态估计结果。
[0006]进一步地，步骤S1包括如下步骤：S1.1：从现有的人体图像数据集（如COCO数据集）中，收集高、低分辨率人体图像，并使用VGG网络来提取图像特征，并保存为高、低分辨率人体特征库；S1.2：通过计算高、低分辨率图像特征之间的相似度，从而为每一个低分辨率人体图像匹配最相关的高分辨率人体图像，进而构建[低分辨率人体图像ID, 高分辨率人体图像ID]的索引列表用于训练。
[0007]进一步地，所述骨干网络可以为ResNet、HRNet等任一基于CNN的网络，根据骨干网络提取高分辨率图像和低分辨率图像的多尺度特征的位置，将获取的多尺度特征划分为浅层特征、中间层特征和深层特征。
[0008]进一步的，所述姿态信息增强模块由关键点特征提取单元和关键点级特征匹配重组单元组成，关键点特征提取单元将高分辨率图像的深层特征和热图标注处理得到关键点特征，关键点级特征匹配重组单元将关键点特征和低分辨率图像多尺度特征进行特征相似度匹配处理并重组得到姿态信息引导特征，通过将姿态信息引导特征和低分辨率图像特征进行拼接融合，得到姿态信息强化特征。
[0009]进一步的，所述细节信息增强模块由块级特征匹配重组单元和特征对齐单元组成，块级特征匹配重组单元将高、低分辨率图像浅层特征块进行特征相似度匹配处理并重组得到细节信息补充特征，特征对齐单元将细节信息补充特征分布与低分辨率图像特征分布对齐，得到分布对齐的细节信息补充特征，通过将分布对齐的细节信息补充特征和低分辨率图像特征进行拼接融合，得到细节信息强化特征。
[0010]进一步的，在训练阶段，所述姿态信息增强模块执行如下步骤：使用高分辨率图像的热力图标注作为掩码与其深层特征相乘，提取人体关键点特征；通过对关键点特征与低分辨率图像的多尺度融合特征中每个像素位置的特征向量进行相似度匹配，从而得到相似度得分集合，进而筛选出每个像素位置最相关的关键点特征，生成索引图和置信图；利用索引图将每个像素位置与相应的关键点特征关联来获得姿态信息引导特征，并利用置信图对姿态信息引导特征进行加权；将加权后的姿态信息引导特征与低分辨率图像特征融合，提供姿态相关的引导信息，获得姿态信息强化特征。
[0011]进一步的，在训练阶段，所述细节信息增强模块执行如下步骤：将高、低分辨率图像浅层特征统一至相同尺寸后，切割成相同大小的块；在高、低分辨率图像特征块之间进行相似度匹配，为每一个低分辨率图像特征块匹配最相关的高分辨率图像特征块，从而得到对应的索引图和置信图；将高分辨率图像特征块按照索引图来重新排列并合并，从而得到细节信息补充特
征，并利用置信图对细节信息补充特征进行加权；使用权重和偏差初始化为0的零卷积将细节信息补充特征与低分辨率图像浅层特征融合并计算出对应的残差均值和残差标准差；将残差均值和标准差与低分辨率图像浅层特征的均值和标准差相加，将得到的结果应用在细节信息补充特征上，以得到对齐细节信息补充特征；将对齐细节信息补充特征和低分辨率图像浅层特征进行融合，得到细节信息更加丰富的细节信息增强特征。
[0012]进一步的，步骤S4包含如下步骤：输入待检测的低分辨率图像；使用训练数据集收集过程中得到的高分辨率人体特征库为待检测低分辨率图像匹配最相关的高分辨率图像；将获得的高、低分辨率图像对输入到骨干网络，获得多尺度特征；将高分辨率图像的深层特征和标注热力图以及低分辨率图像的多尺度融合特征输入到姿态信息增强模块，获得姿态信息增强特征；将高、低分辨率图像的浅层特征输入到细节信息增强模块，获得细节信息增强特征；将获得的姿态信息增强特征和细节信息增强特征输入到回归层得到预测的人体姿态估计结果。
[0013]本专利技术所述的有益效果为：本专利技术通过探索并构建异构的高、低分辨率人体图像之间的关联关系， 提出了一种无需依赖超分辨率提升特征质量，而是利用异构高分辨率图像来辅助进行低分辨率人体姿态估计的方法；所述方法能够直接利用现有数据集中的高、低分辨率人体图像构建跨分辨率的异构图像对，相比基于超分辨率的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于异构图像协同增强的低分辨率人体姿态估计方法，其特征在于，包括如下步骤：S1：收集由高分辨率人体图像和低分辨率人体图像组成异构图像对来构建训练数据集；S2：构建基于异构图像协同增强的低分辨率人体姿态估计网络模型；所述网络模型包括骨干网络、姿态信息增强模块、细节信息增强模块和回归层；骨干网络用于提取高分辨率图像和低分辨率图像的多尺度特征；姿态信息增强模块用于为低分辨率图像特征提供关键点级别的语义指导来提高姿态相关的低分辨率图像特征质量；细节信息增强模块用于在高分辨率图像特征和低分辨率图像特征间传输细节信息，构建细节信息增强的低分辨率图像特征；回归层将低分辨率图像的姿态信息增强特征和细节信息增强特征进行融合，并预测出最终的人体姿态估计结果；S3：训练阶段，利用构建的训练数据集来训练基于异构图像协同增强的低分辨率人体姿态估计网络模型；S4：测试阶段，使用训练数据集收集过程中得到的高分辨率人体特征库为待检测图像匹配最相关的高分辨率图像，一起输入训练好的网络模型，获得人体姿态估计结果。2.根据权利要求1所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法，其特征在于，步骤S1包括如下步骤：S1.1：从现有的人体图像数据集中，收集高分辨率人体图像和低分辨率人体图像，并使用VGG网络来提取图像特征，并保存为高、低分辨率人体特征库；S1.2：通过计算高、低分辨率图像特征之间的相似度，为每一个低分辨率人体图像匹配最相关的高分辨率人体图像，从而构建[低分辨率人体图像ID, 高分辨率人体图像ID]的索引列表用于训练。3.根据权利要求1所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法，其特征在于，所述骨干网络为基于CNN的网络，根据骨干网络提取高分辨率图像和低分辨率图像的多尺度特征的位置，将获取的多尺度特征划分为浅层特征、中间层特征和深层特征。4.根据权利要求3所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法，其特征在于，所述姿态信息增强模块由关键点特征提取单元和关键点级特征匹配重组单元组成，关键点特征提取单元将高分辨率图像的深层特征和热图标注处理得到关键点特征，关键点级特征匹配重组单元将关键点特征和低分辨率图像多尺度特征进行特征相似度匹配处理并重组得到姿态信息引导特征，通过将姿态信息引导特征和低分辨率图像特征进行拼接融合，得到姿态信息强化特征。5.根据权利要求3所述的一种基于异构图像协同增强的低分辨率人体姿态估计方法，其特征在于，所述细节信息增强模块由块级特征匹配重组单元和特征对齐单元组成，块级特征匹配重组单元将高、低分辨率图像浅层特...

【专利技术属性】
技术研发人员：李泽，张锋，马海龙，刘锦维，陈蕾，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：