最优帧提取方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种最优帧提取方法、装置及电子设备。该方法通过获取包含同一个行人目标的多个视频帧图片，对多个视频帧图片进行关键点检测，再根据关键点集合，对多个视频帧图片进行最优帧提取，剔除存在较多遮挡的视频帧图片，最终得到最优帧候选集；本发明专利技术能够运用到实际场景的行人目标跟踪中，解决行人目标跟踪中由于目标遮挡导致图片质量低，进而产生行人目标跟踪匹配错误的问题，便于更加精确地实现行人目标跟踪。行人目标跟踪。行人目标跟踪。

【技术实现步骤摘要】
最优帧提取方法、装置及电子设备


[0001]本专利技术涉及图像识别
，尤其涉及一种最优帧提取方法、装置及电子设备。

技术介绍

[0002]在智能交通、安防等领域常需要人工智能算法来对监控视频中的目标进行结构化处理。在对每一帧的目标进行检测出后，再对每一个目标进行多帧之间的关联，以一个id作为该目标的唯一标识。然后，需要从该目标的跟踪序列图像中选择一个作为最优帧。目前大部分最优帧提取方法都是以目标检测出来框的置信度作为主要参考，缺乏以图像本身质量（是否失真、模糊、输出的图是否可用）、目标在框中的完整程度、目标是否被其他目标遮挡等因素综合考虑。在真实场景下，由于视频场景可能较为复杂，比如存在行人之间遮挡，物品对行人的遮挡等情况，因此现有的最优帧提取方法提取出来的最优帧可能存在遮挡导致图片质量低，无法精确实现行人目标跟踪。

技术实现思路

[0003]本专利技术的目的在于提供一种最优帧提取方法、、装置及电子设备，以解决现有的最优帧选择方法提取出来的最优帧可能存在遮挡导致图片质量低，无法精确实现行人目标跟踪的问题。
[000本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种最优帧提取方法，其特征在于，包括：获取包含同一个行人目标的多个视频帧图片；对所述多个视频帧图片进行关键点检测，得到关键点集合；分别在多个视频帧图片中，将所述关键点集合中的关键点按照预设的连接方式进行连接；计算相互连接的两个关键点之间的距离以及两个关键点的置信度得分；判断相互连接的两个关键点之间的距离是否小于设定阈值；如果相互连接的两个关键点之间的距离大于或等于设定阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果相互连接的两个关键点之间的距离小于设定阈值，判断两个关键点置信度得分是否小于置信度得分阈值；如果两个关键点置信度得分大于或等于置信度得分阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果两个关键点置信度得分小于置信度得分阈值，判定所述两个关键点被遮挡；判断被遮挡的关键点个数是否大于预设阈值；如果被遮挡的关键点个数大于预设阈值，剔除所述视频帧图片；如果被遮挡的关键点个数小于或者等于预设阈值，将所述视频帧图片作为最优帧候选集。2.如权利要求1所述的最优帧提取方法，其特征在于，对所述多个视频帧图片进行关键点检测，得到关键点集合，包括：将所述视频帧图片向外扩展预设比例的像素；将扩展后的视频帧图片输入STN网络进行仿射变换；将仿射变换得到的数据输入沙漏网络进行关键点提取，得到关键点坐标；将所述关键点坐标输入SDTN进行反向坐标变换，得到关键点候选集；将所述关键点候选集输入poseNMS进行关键点候选集筛选，得到关键点集合。3.如权利要求1所述的最优帧提取方法，其特征在于，获取包含同一个行人目标的多个视频帧图片之前，所述方法包括：获取原始视频帧图片；对所述原始视频帧图片进行数据预处理；其中，所述数据预处理包括：对所述原始视频帧图片进行缩放、颜色通道转换、维度转换、标准化和归一化操作处理；对数据预处理后的原始视频帧图片中的行人目标进行检测，得到行人目标框；对不同原始视频帧图片中同一个行人目标的行人目标框进行关联，得到包含同一个行人目标的多个视频帧图片。4.如权利要求3所述的最优帧提取方法，其特征在于，对数据预处理后的原始视频帧图片中的行人目标进行检测，得到行人目标框，包括：通过模型预测得到特征图上每个位置可能存在的目标与锚框之...

【专利技术属性】
技术研发人员：熊肖一，闾凡兵，吴婷，
申请(专利权)人：长沙海信智能系统研究院有限公司，
类型：发明
国别省市：