多维度身份识别方法、装置、电子设备及程序产品制造方法及图纸

本发明专利技术提供一种多维度身份识别方法、装置、电子设备及程序产品，涉及人工智能技术领域，该方法包括：采集包含待识别对象的视频流数据，基于其中的第一目标图像，提取待识别对象的多维特征信息，根据人脸信息识别待识别对象的身份，若识别失败，基于视频流数据中第一目标图像之前的第二目标图像对待识别对象进行目标追踪，以确定第二目标图像中是否存在包含对待识别对象的身份识别结果的第三目标图像；若不存在，根据身体关键点信息识别待识别对象的身份。通过人脸识别、目标追踪和基于身体关键点的身份识别，既保留了人脸识别的高准确性，又可以在人脸识别失效时，基于身体关键点准确的进行身份识别，实现人脸识别的高准确性和易失效性的平衡。性和易失效性的平衡。性和易失效性的平衡。

【技术实现步骤摘要】
多维度身份识别方法、装置、电子设备及程序产品


[0001]本专利技术涉及人工智能
，尤其涉及一种多维度身份识别方法、装置、电子设备及程序产品。

技术介绍

[0002]人脸识别是一种应用较为广泛的身份识别技术，该方法通过人脸检测、人脸特征提取和人脸相似度对比等方式，可以识别出图像中的人物身份。然而，人脸识别技术存在一定的局限性，在一般性的摄像头监控场景中，人物的移动是比较随意的，容易出现背对摄像头，或者未能拍摄到正面人脸的情况，由于遮挡或拍摄角度等原因，导致图像中的人脸不完整或不清晰时，对图像中人物的身份识别将失效。
[0003]由于单纯的基于人脸识别的身份识别技术存在较多局限性，因此产生了通过人脸以外的信息确定人物身份的方法，例如多特征融合的身份识别方法，提出了通过身高体型和衣着信息进行相似度对比，从而识别人物身份。但现有的多特征融合的身份识别方法，能够提取并融合的特征有限，基于人脸识别的身份识别方式具有高准确性的特点，都同时也易导致身份识别失效，具有易失效性的特点，现有技术无法很好的在二者之间实现平衡。

技术实现思路

[0004]本专利技术提供一种多维度身份识别方法、装置、电子设备及程序产品，用以解决现有技术难以在基于人脸识别的身份识别的高准确率和易失效性之间实现平衡的缺陷。
[0005]本专利技术提供一种多维度身份识别方法，包括：
[0006]采集包含待识别对象的视频流数据；所述视频流数据包括多帧图像；
[0007]基于所述视频流数据中的第一目标图像，提取所述待识别对象的多维特征信息；所述多维特征信息包括人脸信息和身体关键点信息；
[0008]根据所述人脸信息识别所述待识别对象的身份，若识别失败，基于所述视频流数据中的第二目标图像对所述待识别对象进行目标追踪，以确定所述第二目标图像中是否存在包含对所述待识别对象的身份识别结果的第三目标图像；所述第二目标图像是所述视频流数据中位于所述第一目标图像之前的图像；
[0009]若不存在，根据所述身体关键点信息识别所述待识别对象的身份。
[0010]根据本专利技术提供的多维度身份识别方法，所述根据所述身体关键点信息识别所述待识别对象的身份，包括：
[0011]基于所述身体关键点信息，从所述第一目标图像中截取所述待识别对象的身体图像；
[0012]从所述身体图像中提取所述待识别对象的身体特征；
[0013]在所述身体图像中，基于所述身体关键点信息中位于所述待识别对象身体两侧的身体关键点的相对位置，确定所述待识别对象的目标姿态；
[0014]将所述身体特征和所述目标姿态与预设的目标身特征数据库中记录的特征数据
进行匹配，并根据匹配结果识别所述待识别对象的身份。
[0015]根据本专利技术提供的多维度身份识别方法，所述基于所述身体关键点信息，从所述第一目标图像中截取所述待识别对象的身体图像，包括：
[0016]基于所述身体关键点信息，确定各身体关键点在所述第一目标图像中的位置坐标和清晰度；
[0017]获取预设的清晰度筛选阈值，对清晰度小于所述清晰度筛选阈值的身体关键点进行剔除，得到清晰度大于或等于所述清晰度筛选阈值的目标关键点；
[0018]根据各所述目标关键点的位置坐标，计算各所述目标关键点与所述第一目标图像的第一边缘侧的第一距离，以及与所述第一目标图像的第二边缘侧的第二距离；所述第一边缘侧与所述第二边缘侧是所述第一目标图像的两相邻且垂直的边缘侧；
[0019]根据所述第一距离和所述第二距离，区分所述第一目标图像中的人物前景图像和背景图像；
[0020]从所述人物前景图像中截取所述待识别对象的身体图像。
[0021]根据本专利技术提供的多维度身份识别方法，所述基于所述视频流数据中的第二目标图像对所述待识别对象进行目标追踪，以确定所述第二目标图像中是否存在包含对所述待识别对象的身份识别结果的第三目标图像，包括：
[0022]从所述视频流数据中，获取所述第一目标图像之前的各第二目标图像；
[0023]将所述第一目标图像作为当前图像，从各所述第二目标图像中获取所述当前图像的前一帧图像作为第三目标图像；
[0024]在所述当前图像中生成所述待识别对象的第一位置框，并生成所述第三目标图像中各人物对象的第二位置框；
[0025]计算所述第一位置框与各所述第二位置框的第一重叠度，根据所述第一重叠度确定所述待识别对象在各所述第二位置框中对应的第一目标框，以对所述待识别对象进行目标追踪；
[0026]基于所述第一目标框，确定所述第三目标图像中是否包含对所述待识别对象的身份识别结果；
[0027]若不包含，将所述第三目标图像作为所述当前图像，返回并执行所述从各所述第二目标图像中获取所述当前图像的前一帧图像作为第三目标图像的步骤，直到所述第三目标图像中包含对所述待识别对象的身份识别结果，或者，所述第三目标图像是所述第二目标图像中的最后一帧图像为止。
[0028]根据本专利技术提供的多维度身份识别方法，所述第一目标图像中包括多个待识别对象，所述计算所述第一位置框与各所述第二位置框的重叠度之前，还包括：
[0029]基于所述第一目标图像中各所述待识别对象对应的第一位置框，计算各所述第一位置框两两之间的第二重叠度；
[0030]基于所述第三目标图像中各人物对象对应的第二位置框，计算各所述第二位置框两两之间的第三重叠度；
[0031]根据所述第二重叠度，对各所述第一位置框中重叠度大于预设的重叠度阈值的第二目标框进行剔除；
[0032]根据所述第三重叠度，对各所述第二位置框中重叠度大于所述重叠度阈值的第三
目标框进行剔除。
[0033]根据本专利技术提供的多维度身份识别方法，所述根据所述人脸信息成功识别所述待识别对象的身份之后，还包括：
[0034]若识别成功，从所述第一目标图像中提取所述待识别对象的第一身体特征数据；
[0035]基于对所述待识别对象的身份识别结果对所述第一身体特征数据进行标注，并将标注后的第一身体特征数据发送至预设的目标特征数据库中；
[0036]若识别失败，且所述第二目标图像中存在包含对所述待识别对象的身份识别结果的第三目标图像，从所述第三目标图像中提取所述待识别对象的第二身体特征数据；
[0037]基于所述第二目标图像中对所述待识别对象的身份识别结果对所述第二身体特征数据进行标注，并将标注后的第二身体特征数据发送至所述目标特征数据库中；
[0038]从所述目标特征数据库中随机选取一人物对象作为目标人物对象，并获取所述目标人物对象对应的第一目标特征数据；
[0039]基于所述第第一目标特征数据构建样本数据集，并利用所述样本数据集对预设的多维身份识别模型中的身体特征识别模型进行迭代训练，以更新所述身体特征识别模型的模型参数；其中，所述多维身份识别模型还包括人脸识别模型和目标追踪模型。
[0040]根据本专利技术提供的多维度身份本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多维度身份识别方法，其特征在于，包括：采集包含待识别对象的视频流数据；所述视频流数据包括多帧图像；基于所述视频流数据中的第一目标图像，提取所述待识别对象的多维特征信息；所述多维特征信息包括人脸信息和身体关键点信息；根据所述人脸信息识别所述待识别对象的身份，若识别失败，基于所述视频流数据中的第二目标图像对所述待识别对象进行目标追踪，以确定所述第二目标图像中是否存在包含对所述待识别对象的身份识别结果的第三目标图像；所述第二目标图像是所述视频流数据中位于所述第一目标图像之前的图像；若不存在，根据所述身体关键点信息识别所述待识别对象的身份。2.根据权利要求1所述的多维度身份识别方法，其特征在于，所述根据所述身体关键点信息识别所述待识别对象的身份，包括：基于所述身体关键点信息，从所述第一目标图像中截取所述待识别对象的身体图像；从所述身体图像中提取所述待识别对象的身体特征；在所述身体图像中，基于所述身体关键点信息中位于所述待识别对象身体两侧的身体关键点的相对位置，确定所述待识别对象的目标姿态；将所述身体特征和所述目标姿态与预设的目标身特征数据库中记录的特征数据进行匹配，并根据匹配结果识别所述待识别对象的身份。3.根据权利要求2所述的多维度身份识别方法，其特征在于，所述基于所述身体关键点信息，从所述第一目标图像中截取所述待识别对象的身体图像，包括：基于所述身体关键点信息，确定各身体关键点在所述第一目标图像中的位置坐标和清晰度；获取预设的清晰度筛选阈值，对清晰度小于所述清晰度筛选阈值的身体关键点进行剔除，得到清晰度大于或等于所述清晰度筛选阈值的目标关键点；根据各所述目标关键点的位置坐标，计算各所述目标关键点与所述第一目标图像的第一边缘侧的第一距离，以及与所述第一目标图像的第二边缘侧的第二距离；所述第一边缘侧与所述第二边缘侧是所述第一目标图像的两相邻且垂直的边缘侧；根据所述第一距离和所述第二距离，区分所述第一目标图像中的人物前景图像和背景图像；从所述人物前景图像中截取所述待识别对象的身体图像。4.根据权利要求1所述的多维度身份识别方法，其特征在于，所述基于所述视频流数据中的第二目标图像对所述待识别对象进行目标追踪，以确定所述第二目标图像中是否存在包含对所述待识别对象的身份识别结果的第三目标图像，包括：从所述视频流数据中，获取所述第一目标图像之前的各第二目标图像；将所述第一目标图像作为当前图像，从各所述第二目标图像中获取所述当前图像的前一帧图像作为第三目标图像；在所述当前图像中生成所述待识别对象的第一位置框，并生成所述第三目标图像中各人物对象的第二位置框；计算所述第一位置框与各所述第二位置框的第一重叠度，根据所述第一重叠度确定所述待识别对象在各所述第二位置框中对应的第一目标框，以对所述待识别对象进行目标追
踪；基于所述第一目标框，确定所述第三目标图像中是否包含对所述待识别对象的身份识别结果；若不包含，将所述第三目标图像作为所述当前图像，返回并执行所述从各所述第二目标图像中获取所述当前图像的前一帧图像作为第三目标图像的步骤，直到所述第三目标图像中包含对所述待识别对象的身份识别结果，或者，所述第三目标图像是所述第二目标图像中的最后一帧图像为止。5.根据权利要求4所述的多维度身份识别方法，其特征在于，所述第一目标图像中包括多个待识别对象，所述计算所述第一位置框与各所述第二位置框的重叠度之前，还包括：基于所述第一目标图像中各所述待识别对象对应的第一位置框，计算各所述第一位置框两两之间的第二重叠度；基于...

【专利技术属性】
技术研发人员：张瀚，张璐，毕旻，张亚楠，董慧妍，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：