用于行人检测和姿态估计的方法和装置制造方法及图纸

本发明专利技术的实施例提供了一种用于行人检测和姿态估计的方法和装置。该方法包括：获取待处理图像；将待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和分别与待处理图像中的至少部分行人中的每个行人相关的行人特征图；将所获得的所有行人特征图和所有关节点特征图结合在一起形成经结合的特征图；以及将经结合的特征图输入第二全卷积网络，以获得至少部分行人中的每个行人的行人位置和关节点位置。根据本发明专利技术实施例的方法和装置使得行人检测的中间结果可以辅助行人姿态的估计并且行人姿态估计的中间结果也可以用于行人检测，因此可以提高行人检测和行人姿态估计的准确度。

Method and device for pedestrian detection and attitude estimation

【技术实现步骤摘要】
用于行人检测和姿态估计的方法和装置
本专利技术涉及计算机领域，更具体地涉及一种用于行人检测和姿态估计的方法和装置。
技术介绍
在监控领域，行人检测(即行人定位)和行人姿态估计具有非常重要的作用。但是，目前的算法对这两个问题都是分开解决的。例如，首先针对视频帧进行行人检测，根据行人检测的中间结果得到每个行人的位置(通常用行人框bounding-box表示)。然后通过对行人框内部的内容进行分析来得出每个行人的关节点(skeleton)数据，即姿态(pose)数据。由于两个问题被拆裂，所以行人检测的中间结果不能用于辅助行人姿态的估计。同样，行人的姿态信息也不能用于行人检测。但事实上，在行人检测过程中，可以依靠可能的姿态信息，例如手部、头部的判断信息来确定是否是行人。另一方面，行人检测的中间结果对于行人姿态的估计也是有帮助的。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种用于行人检测和姿态估计的方法和装置。根据本专利技术一方面，提供了一种用于行人检测和姿态估计的方法。该方法包括：获取待处理图像；将所述待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中本文档来自技高网...

【技术保护点】
一种用于行人检测和姿态估计的方法，包括：获取待处理图像；将所述待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和分别与所述待处理图像中的至少部分行人中的每个行人相关的行人特征图；将所获得的所有行人特征图和所有关节点特征图结合在一起形成经结合的特征图；以及将所述经结合的特征图输入第二全卷积网络，以获得所述至少部分行人中的每个行人的行人位置和关节点位置。

【技术特征摘要】
1.一种用于行人检测和姿态估计的方法，包括：获取待处理图像；将所述待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和分别与所述待处理图像中的至少部分行人中的每个行人相关的行人特征图；将所获得的所有行人特征图和所有关节点特征图结合在一起形成经结合的特征图；以及将所述经结合的特征图输入第二全卷积网络，以获得所述至少部分行人中的每个行人的行人位置和关节点位置。2.如权利要求1所述的方法，其中，所述将所述经结合的特征图输入第二全卷积网络，以获得所述至少部分行人中的每个行人的行人位置和关节点位置包括：将所述经结合的特征图输入所述第二全卷积网络中的预定卷积层，以获得与所述至少部分行人一一相关的整体特征图；以及将所述与所述至少部分行人一一相关的整体特征图输入所述第二全卷积网络中的剩余卷积层，以获得所述至少部分行人中的每个行人的行人位置和关节点位置。3.如权利要求2所述的方法，其中，所述方法进一步包括：获取训练图像，其中，所述训练图像中的每个行人的特征点的位置是已标注好的；至少根据所述训练图像中的特征点生成标注数据；以及利用所述标注数据训练所述第一全卷积网络和所述第二全卷积网络。4.如权利要求3所述的方法，其中，所述标注数据包括与所述训练图像中的行人一一相关的目标整体特征图，所述利用所述标注数据训练所述第一全卷积网络和所述第二全卷积网络包括：以所述与所述训练图像中的行人一一相关的目标整体特征图作为所述第二全卷积网络针对所述训练图像获得的整体特征图的目标值构建损失函数；以及利用所构建的损失函数对所述第一全卷积网络和所述第二全卷积网络中的参数进行训练。5.如权利要求3所述的方法，其中，所述标注数据包括与所述训练图像中的行人一一相关的目标整体特征图、分别与所述训练图像中的每个行人相关的目标行人特征图和分别与所述第一预定数目种类的行人关节点中的每种行人关节点相关的目标关节点特征图，所述利用所述标注数据训练所述第一全卷积网络和所述第二全卷积网络包括：以所述分别与所述训练图像中的每个行人相关的目标行人特征图作为所述第一全卷积网络针对所述训练图像输出的行人特征图的目标值构建第一损失函数，以所述分别与所述第一预定数目种类的行人关节点中的每种行人关节点相关的目标关节点特征图作为所述第一全卷积网络针对所述训练图像输出的关节点特征图的目标值构建第二损失函数，并以所述与所述训练图像中的行人一一相关的目标整体特征图作为所述第二全卷积网络针对所述训练图像获得的整体特征图的目标值构建第三损失函数；以及利用所述第一损失函数、所述第二损失函数和所述第三损失函数对所述第一全卷积网络和所述第二全卷积网络中的参数进行训练。6.如权利要求5所述的方法，其中，所述至少根据所述训练图像中的特征点生成标注数据包括：对于所述第一预定数目种类的行人关节点中的每种行人关节点，生成与该种行人关节点相关的初始关节点特征图；以及对与该种行人关节点相关的初始关节点特征图进行高斯模糊，以获得与该种行人关节点相关的目标关节点特征图。7.如权利要求2所述的方法，其中，所述待处理图像是待处理视频中的当前视频帧，所述方法进一步包括：将针对所述当前视频帧获得的行人特征图、关节点特征图和整体特征图以及针对所述当前视频帧的先前视频帧获得的行人特征图和关节点特征图输入反馈式神经网络，以更新所述至少部分行人中的每个行人的行人位置和关节点位置。8.如权利要求1所述的方法，其中，所述将所述待处理图像输入第一全卷积网络，以获得分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和分别与所述待处理图像中的至少部分行人中的每个行人相关的行人特征图包括：将所述待处理图像输入所述第一全卷积网络，以获得所述分别与第一预定数目种类的行人关节点中的每种行人关节点相关的关节点特征图和第二预定数目的行人特征图；对于所述第二预定数目的行人特征图中的每一个，对该行人特征图的响应值进行累加，以获得累加值；以及从所述第二预定数目的行人特征图中选择累加值大于阈值的行人特征图，以获得所述分别与所述待处理图像中的至少部分行人中的每个行人相关的行人特征图。9.如权利要求1所述的方法，其中，所述分别与所述待处理图像中的至少部分行人中的每个行人相关的行人特征图中的每一个是对与该行人特征图相关的行人进行实例分割获得的掩模区的特征图，所述至少部分行人中的每个行人的行人位置包括该行人的掩模区的具体位置和包围该行人的掩模区的行人框的具体位置。10.如权利要求1所述的方法，其中，所述将所获得的所有行人特征图和所有关节点特征图结合在一起形成经结合的特征图包括：将所述所获得的所有行人特征图和所有关节点特征图以全连接方式连接在一起形成所述经结合的特征图。11.如权利要求1所述的方法，其中，所述获取待处理图像包括：获取初始图像；以及将所述初始图像缩放为具有不同大小的图像并将所述具有不同大小的图像中的每一个分别作为所述待处理图像。12.如权利要求9所述的方法，其中，所述将所述经结合的特征图输入第二全卷积网络，以获得所述至少部分行人中的每个行人的行人位置和关节点位置的步骤包括：利用所述第二全卷积网络进行以下操作：对于每个行人特征图，根据每个关节点特征图，确定与该关节点特征图相关的一种行人关节点中的、在该行人特征图对应的掩模区中出现概率最大的特定行人关节点，并将所述特定行人关节点的位置作为与该行人特征图相关的行人的、与该关节点特征图相关的一种行人关节点的关节点位置。13.一种用于...

【专利技术属性】
技术研发人员：俞刚，彭雨翔，印奇，
申请(专利权)人：北京旷视科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：北京,11