视频主体人物的识别方法、装置、设备及可读存储介质制造方法及图纸

本申请公开了一种视频主体人物的识别方法、装置、设备及可读存储介质，涉及多媒体技术领域。该方法包括：从目标视频中获取n帧视频图像帧，n≥2；对n帧视频图像帧进行人脸识别，人物身份信息；对n帧视频图像帧进行行人检测，得到人物形体特征，其中包括匹配有人物身份信息的第一形体特征和未匹配有人物身份信息的第二形体特征；根据第一形体特征对第二形体特征进行再识别，并结合再识别结果确定视频主体人物。通过匹配有人物身份信息的第一形体特征对未匹配有人物身份信息的第二形体特征进行再识别，避免无法在视频图像帧中对视频主体人物进行准确识别的问题，提高了视频主体人物的识别准确率。

Recognition method, device, equipment and readable storage medium of video subject

【技术实现步骤摘要】
视频主体人物的识别方法、装置、设备及可读存储介质
本申请实施例涉及多媒体
，特别涉及一种视频主体人物的识别方法、装置、设备及可读存储介质。
技术介绍
人物识别是一种对图像中的人物进行识别的技术，通常该人物识别技术应用于对视频中的人物进行识别中。可选地，通过对视频中的关键帧进行人物识别，并结合所有关键帧的识别结果可以得到该视频的主体人物(也即在关键帧中出现次数最多的人物)。相关技术中，在对关键帧进行获取后，对该关键帧进行人脸检测，确定人脸在该关键帧中的区域后，对该区域内的人脸特征进行提取并识别后，确定该人脸对应的身份。然而，由于在关键帧中，通常会出现背影、侧脸等主体人物出现的方式，主体人物的人脸无法准确地被识别，从而实际主体人物在出现次数的统计上误差较大，主体人物的识别准确度较低。
技术实现思路
本申请实施例提供了一种视频主体人物的识别方法、装置、设备及可读存储介质，可以解决实际主体人物在出现次数的统计上误差较大，主体人物的识别准确度较低的问题。所述技术方案如下：一方面，提供了一种视频主体人物的识别方法，所述方法包括：从目标视频中获取n帧视频图像帧，所述n帧视频图像帧用于对所述目标视频的所述视频主体人物进行确定，n≥2；对所述n帧视频图像帧进行人脸识别，得到所述n帧视频图像帧中的人物身份信息；对所述n帧视频图像帧进行行人检测，得到所述n帧视频图像帧中的人物形体特征，所述人物形体特征中包括匹配有所述人物身份信息的第一形体特征和未匹配有所述人物身份信息的第二形体特征；根据所述第一形体特征对所述第二形体特征进行所述人物身份信息的再识别，并结合再识别结果确定所述目标视频的所述视频主体人物。另一方面，提供了一种视频主体人物的识别装置，所述装置包括：获取模块，用于从目标视频中获取n帧视频图像帧，所述n帧视频图像帧用于对所述目标视频的所述视频主体人物进行确定，n≥2；识别模块，用于对所述n帧视频图像帧进行人脸识别，得到所述n帧视频图像帧中的人物身份信息；提取模块，用于对所述n帧视频图像帧进行行人检测，得到所述n帧视频图像帧中的人物形体特征，所述人物形体特征中包括匹配有所述人物身份信息的第一形体特征和未匹配有所述人物身份信息的第二形体特征；所述识别模块，还用于根据所述第一形体特征对所述第二形体特征进行所述人物身份信息的再识别；确定模块，用于结合再识别结果确定所述目标视频的所述视频主体人物。另一方面，提供了计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中所述的视频主体人物的识别方法。另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现如上述本申请实施例中所述的视频主体人物的识别方法。另一方面，提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得计算机执行如上述本申请实施例中所述的视频主体人物的识别方法。本申请实施例提供的技术方案带来的有益效果至少包括:在对视频中的视频图像帧进行人脸识别后，再对该视频图像帧进行行人检测，并通过匹配有人物身份信息的第一形体特征对未匹配有人物身份信息的第二形体特征进行再识别，避免由于视频图像帧中的视频主体人物在视频图像帧中所展示的身体区域为侧身、背影时，无法在视频图像帧中对视频主体人物进行准确识别，导致视频主体人物的识别准确度较低的问题，提高了视频主体人物的识别准确率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个示例性的实施例提供的人脸关键点标识结果的示意图；图2是本申请一个示例性实施例提供的视频主体人物的识别方法的流程图；图3是基于图2示出的实施例提供的MTCNN模型的级联结构示意图；图4是基于图2示出的实施例提供的根据图像构建图像金字塔的示意图；图5是基于图2示出的实施例提供的对人脸区域进行校正的示意图；图6是基于图2示出的实施例提供的对人脸识别模型进行训练测试的过程示意图；图7是基于图2示出的实施例提供的CSP检测器的整体结构示意图；图8是本申请另一个示例性实施例提供的视频主体人物的识别方法的流程图；图9是基于图8示出的实施例提供的HPM模型的结构示意图；图10是基于图8示出的实施例提供的通过人脸识别和行人检测确定人物区域框对应的人物身份信息的过程示意图；图11是本申请另一个示例性实施例提供的视频主体人物的识别方法的流程图；图12是基于图11示出的实施例提供的视频推荐过程示意图；图13是本申请一个示例性实施例提供的视频主体人物的识别方法中所应用的神经网络模型的整体架构图；图14是本申请一个示例性实施例提供的视频主体人物的识别装置的结构框图；图15是本申请另一个示例性实施例提供的视频主体人物的识别装置的结构框图；图16是本申请一个示例性的实施例提供的服务器的结构框图。具体实施方式为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。首先，对本申请实施例中涉及的名词进行简单介绍：人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。其中，计算机视觉技术(ComputerVision，CV)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维本文档来自技高网...

【技术保护点】
1.一种视频主体人物的识别方法，其特征在于，所述方法包括：/n从目标视频中获取n帧视频图像帧，所述n帧视频图像帧用于对所述目标视频的所述视频主体人物进行确定，n≥2；/n对所述n帧视频图像帧进行人脸识别，得到所述n帧视频图像帧中的人物身份信息；/n对所述n帧视频图像帧进行行人检测，得到所述n帧视频图像帧中的人物形体特征，所述人物形体特征中包括匹配有所述人物身份信息的第一形体特征和未匹配有所述人物身份信息的第二形体特征；/n根据所述第一形体特征对所述第二形体特征进行所述人物身份信息的再识别，并结合再识别结果确定所述目标视频的所述视频主体人物。/n

【技术特征摘要】
1.一种视频主体人物的识别方法，其特征在于，所述方法包括：
从目标视频中获取n帧视频图像帧，所述n帧视频图像帧用于对所述目标视频的所述视频主体人物进行确定，n≥2；
对所述n帧视频图像帧进行人脸识别，得到所述n帧视频图像帧中的人物身份信息；
对所述n帧视频图像帧进行行人检测，得到所述n帧视频图像帧中的人物形体特征，所述人物形体特征中包括匹配有所述人物身份信息的第一形体特征和未匹配有所述人物身份信息的第二形体特征；
根据所述第一形体特征对所述第二形体特征进行所述人物身份信息的再识别，并结合再识别结果确定所述目标视频的所述视频主体人物。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一形体特征对所述第二形体特征进行所述人物身份信息的再识别，包括：
对所述第一形体特征和所述第二形体特征进行比对；
当所述第一形体特征和所述第二形体特征之间的相似度大于相似度要求时，将所述第一形体特征对应的所述人物身份信息确定为所述第二形体特征对应的所述人物身份信息。


3.根据权利要求2所述的方法，其特征在于，所述结合再识别结果确定所述目标视频的所述视频主体人物，包括：
根据所述第一形体特征对应的所述人物身份信息和所述再识别结果对应的所述人物身份信息，确定所述人物身份信息在所述n帧视频图像帧中被识别得到的出现次数；
将所述出现次数最多的所述人物身份信息作为所述目标视频的所述视频主体人物。


4.根据权利要求1至3任一所述的方法，其特征在于，所述对所述n帧视频图像帧进行人脸识别，得到所述n帧视频图像帧中的人物身份信息，包括：
对所述n帧视频图像帧进行人脸检测，得到所述n帧视频图像帧中的人脸区域；
对所述人脸区域进行所述人脸识别，得到所述人脸区域对应的所述人物身份信息。


5.根据权利要求4所述的方法，其特征在于，所述对所述人脸区域进行所述人脸识别，得到所述人脸区域对应的所述人物身份信息，包括：
提取所述人脸区域中的第一人脸特征；
将所述第一人脸特征与人脸特征库中的第二人脸特征进行比对，得到所述人脸区域对应的所述人物身份信息，其中，所述人脸特征库中的所述第二人脸特征标注有所述人物身份信息。


6.根据权利要求4所述的方法，其特征在于，所述对所述n帧视频图像帧进行行人检测，得到所述n帧视频图像帧中的人物形体特征，还包括：
对所述n帧视频图像帧进行所述行人检测，得到所述n帧视频图像帧中的人物区域框；
对所述人物区域框进行形体特征的提取，得到所述n帧视频图像帧中的所述人物形体特征。


7.根据权利要求6所述的方法，其特征在于，所述对所述人物区域框进行形体特征的提取之前，还包括：
将所述n帧视频图像帧中的所述人脸区域与所述人物区域框进行匹配，得到第一匹配关系；
...

【专利技术属性】
技术研发人员：郑茂，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44