图像分析方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像分析方法及装置、电子设备和存储介质，所述方法包括：对待分析图像进行特征提取，获取所述待分析图像中目标对象的特征信息，所述特征信息包括行为特征及姿态特征；根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，所述关系识别结果包括行为信息以及与行为相关的物体的位置信息中的至少一个。本公开实施例通过图像中目标对象的行为特征以及姿态特征对目标对象进行关系识别，从而提高了关系识别的准确度。

Image analysis methods and devices, electronic devices and storage media

The present disclosure relates to an image analysis method and device, an electronic device and a storage medium. The method includes: extracting features from the analyzed image, obtaining the feature information of the target object in the image to be analyzed, including the behavior characteristics and attitude characteristics; recognizing the relationship between the target object and obtaining the target object according to the feature information. The relationship recognition result includes at least one of the behavior information and the position information of the object related to the behavior. The present disclosure embodiment improves the accuracy of the relationship recognition by recognizing the relationship between the target object in the image through the behavior and attitude characteristics of the target object.

【技术实现步骤摘要】
图像分析方法及装置、电子设备和存储介质
本公开涉及计算机
，尤其涉及一种图像分析方法及装置、电子设备和存储介质。
技术介绍
在图像理解和人机交互等领域，人与物体关系识别和人体姿态估计得到了广泛应用。但是，传统的人与物体关系识别方法仅仅依赖于人的外表特征，识别结果容易受到外表特征变化的影响，而传统的人体姿态估计方法也往往独立地预测每个人体关键点，忽略了关键点之间的位置关系，容易受到遮挡、误检等因素的影响。
技术实现思路
本公开提出了一种图像分析的技术方案。根据本公开的第一方面，提供了一种图像分析方法，所述方法包括：对待分析图像进行特征提取，获取所述待分析图像中目标对象的特征信息，所述特征信息包括行为特征及姿态特征；根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，所述关系识别结果包括行为信息以及与行为相关的物体的位置信息中的至少一个。在一种可能的实现方式中，所述方法还包括：根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，所述姿态估计结果包括所述目标对象的姿态信息。在一种可能的实现方式中，所述关系识别结果包括N级的关系识别结果，所述姿态估计结果包括N级的姿态估计结果，N为大于1的整数，其中，根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，包括：根据所述特征信息，对所述目标对象进行关系识别，得到第一级的关系识别结果；在N等于2的情况下，根据第一级的关系识别结果及第一级的姿态估计结果，对所述目标对象进行关系识别，得到第二级的关系识别结果。在一种可能的实现方式中，根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，还包括：在N大于2的情况下，根据第n-1级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行关系识别，得到第n级的关系识别结果，n为整数且1<n<N；根据第N-1级的关系识别结果以及第N-1级的姿态估计结果，对所述目标对象进行关系识别，得到第N级的关系识别结果。在一种可能的实现方式中，根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，包括：根据第一级的关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到第一级的姿态估计结果；在N等于2的情况下，根据第二级的关系识别结果以及第一级的姿态估计结果，对所述目标对象进行姿态估计，得到第二级的姿态估计结果。在一种可能的实现方式中，根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，还包括：在N大于2的情况下，根据第n级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行姿态估计，得到第n级的姿态估计结果，n为整数且1<n<N；根据第N级的关系识别结果以及第N-1级的姿态估计结果，对所述目标对象进行姿态估计，得到第N级的姿态估计结果。在一种可能的实现方式中，根据第n-1级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行关系识别，得到第n级的关系识别结果，包括：对第n-1级的关系识别结果以及第n-1级的姿态估计结果进行全连接处理，得到第n级的连接特征；对第n级的连接特征进行行为识别处理，得到第n级的行为信息。在一种可能的实现方式中，根据第n-1级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行关系识别，得到第n级的关系识别结果，还包括：根据所述第n级的行为信息，对第n级的连接特征进行关系识别处理，得到第n级的位置信息。在一种可能的实现方式中，所述第n级的关系识别结果还包括第n级的中间关系特征，其中，根据第n-1级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行关系识别，得到第n级的关系识别结果，还包括：对第n-1级的关系识别结果以及第n-1级的姿态估计结果进行全连接及卷积处理，得到第n级的中间关系特征。在一种可能的实现方式中，根据第n级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行姿态估计，得到第n级的姿态估计结果，包括：基于注意力机制，对所述第n级的关系识别结果进行卷积及激活处理，得到第n级的注意力图；对第n级的注意力图及第n-1级的姿态估计结果进行点乘，得到第n级的输入特征；对第n级的输入特征进行姿态估计，得到第n级的姿态信息。在一种可能的实现方式中，所述第n级的姿态估计结果还包括第n级的中间姿态特征，其中，根据第n级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行姿态估计，得到第n级的姿态估计结果，还包括：对第n级的输入特征进行卷积处理，得到第n级的中间姿态特征。在一种可能的实现方式中，所述特征信息还包括外表特征，其中，根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，包括：根据所述外表特征、行为特征及姿态特征，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果。在一种可能的实现方式中，根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，包括：根据所述外表特征、所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果。在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括关系识别网络和姿态估计网络，其中，所述关系识别网络用于对所述特征信息进行关系识别，所述姿态估计网络用于对所述关系识别结果以及所述姿态特征进行姿态估计。在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括N级关系识别网络和N级姿态估计网络，其中，第n级的关系识别网络用于对第n-1级的关系识别结果以及第n-1级的姿态估计结果进行关系识别，第n级的姿态估计网络用于对第n级的关系识别结果以及第n-1级的姿态估计结果进行姿态估计。在一种可能的实现方式中，所述方法通过神经网络实现，所述神经网络包括特征提取网络，所述特征提取网络用于对待分析图像进行特征提取。在一种可能的实现方式中，所述方法还包括：根据预设的训练集，训练所述神经网络。在一种可能的实现方式中，所述行为信息包括所述目标对象当前的行为的置信度。根据本公开的第二方面，提供了一种图像分析装置，包括：特征提取模块，用于对待分析图像进行特征提取，获取所述待分析图像中目标对象的特征信息，所述特征信息包括行为特征及姿态特征；关系识别模块，用于根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，所述关系识别结果包括行为信息以及与行为相关的物体的位置信息中的至少一个。在一种可能的实现方式中，所述装置还包括：第一姿态估计模块，用于根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，所述姿态估计结果包括所述目标对象的姿态信息。在一种可能的实现方式中，所述关系识别结果包括N级的关系识别结果，所述姿态估计结果包括N级的姿态估计结果，N为大于1的整数，其中，所述关系识别模块，包括：第一关系识别子模块，用于根据所述特征信息，对所述目标对象进行关系识别，得到第一级的关系识别结果；第二关系识别子模块，用本文档来自技高网...

【技术保护点】
1.一种图像分析方法，其特征在于，所述方法包括：对待分析图像进行特征提取，获取所述待分析图像中目标对象的特征信息，所述特征信息包括行为特征及姿态特征；根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，所述关系识别结果包括行为信息以及与行为相关的物体的位置信息中的至少一个。

【技术特征摘要】
1.一种图像分析方法，其特征在于，所述方法包括：对待分析图像进行特征提取，获取所述待分析图像中目标对象的特征信息，所述特征信息包括行为特征及姿态特征；根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，所述关系识别结果包括行为信息以及与行为相关的物体的位置信息中的至少一个。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，所述姿态估计结果包括所述目标对象的姿态信息。3.根据权利要求2所述的方法，其特征在于，所述关系识别结果包括N级的关系识别结果，所述姿态估计结果包括N级的姿态估计结果，N为大于1的整数，其中，根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，包括：根据所述特征信息，对所述目标对象进行关系识别，得到第一级的关系识别结果；在N等于2的情况下，根据第一级的关系识别结果及第一级的姿态估计结果，对所述目标对象进行关系识别，得到第二级的关系识别结果。4.根据权利要求3所述的方法，其特征在于，根据所述特征信息，对所述目标对象进行关系识别，得到所述目标对象的关系识别结果，还包括：在N大于2的情况下，根据第n-1级的关系识别结果以及第n-1级的姿态估计结果，对所述目标对象进行关系识别，得到第n级的关系识别结果，n为整数且1<n<N；根据第N-1级的关系识别结果以及第N-1级的姿态估计结果，对所述目标对象进行关系识别，得到第N级的关系识别结果。5.根据权利要求3或4所述的方法，其特征在于，根据所述关系识别结果以及所述姿态特征，对所述目标对象进行姿态估计，得到所述目标对象的姿态估计结果，包括：根据第一级的关系识别结果以及所述姿态特征，对所...

【专利技术属性】
技术研发人员：冯伟，刘文韬，李通，钱晨，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11