本发明专利技术提供一种最优帧提取方法、装置及电子设备。该方法通过获取包含同一个行人目标的多个视频帧图片，对多个视频帧图片进行关键点检测，再根据关键点集合，对多个视频帧图片进行最优帧提取，剔除存在较多遮挡的视频帧图片，最终得到最优帧候选集；本发明专利技术能够运用到实际场景的行人目标跟踪中，解决行人目标跟踪中由于目标遮挡导致图片质量低，进而产生行人目标跟踪匹配错误的问题，便于更加精确地实现行人目标跟踪。行人目标跟踪。行人目标跟踪。
【技术实现步骤摘要】
最优帧提取方法、装置及电子设备
[0001]本专利技术涉及图像识别
，尤其涉及一种最优帧提取方法、装置及电子设备。
技术介绍
[0002]在智能交通、安防等领域常需要人工智能算法来对监控视频中的目标进行结构化处理。在对每一帧的目标进行检测出后，再对每一个目标进行多帧之间的关联，以一个id作为该目标的唯一标识。然后，需要从该目标的跟踪序列图像中选择一个作为最优帧。目前大部分最优帧提取方法都是以目标检测出来框的置信度作为主要参考，缺乏以图像本身质量（是否失真、模糊、输出的图是否可用）、目标在框中的完整程度、目标是否被其他目标遮挡等因素综合考虑。在真实场景下，由于视频场景可能较为复杂，比如存在行人之间遮挡，物品对行人的遮挡等情况，因此现有的最优帧提取方法提取出来的最优帧可能存在遮挡导致图片质量低，无法精确实现行人目标跟踪。
技术实现思路
[0003]本专利技术的目的在于提供一种最优帧提取方法、、装置及电子设备，以解决现有的最优帧选择方法提取出来的最优帧可能存在遮挡导致图片质量低，无法精确实现行人目标跟踪的问题。
[0004]第一方面，本专利技术提供一种最优帧提取方法，包括：获取包含同一个行人目标的多个视频帧图片；对所述多个视频帧图片进行关键点检测，得到关键点集合；分别在多个视频帧图片中，将所述关键点集合中的关键点按照预设的连接方式进行连接；计算相互连接的两个关键点之间的距离以及两个关键点的置信度得分；判断相互连接的两个关键点之间的距离是否小于设定阈值；如果相互连接的两个关键点之间的距离大于或等于设定阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果相互连接的两个关键点之间的距离小于设定阈值，判断两个关键点置信度得分是否小于置信度得分阈值；如果两个关键点置信度得分大于或等于置信度得分阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果两个关键点置信度得分小于置信度得分阈值，判定所述两个关键点被遮挡；判断被遮挡的关键点个数是否大于预设阈值；如果被遮挡的关键点个数大于预设阈值，剔除所述视频帧图片；如果被遮挡的关键点个数小于或者等于预设阈值，将所述视频帧图片作为最优帧候选集。
[0005]进一步地，对所述多个视频帧图片进行关键点检测，得到关键点集合，包括：
将所述视频帧图片向外扩展预设比例的像素；将扩展后的视频帧图片输入STN网络进行仿射变换；将仿射变换得到的数据输入沙漏网络进行关键点提取，得到关键点坐标；将所述关键点坐标输入SDTN进行反向坐标变换，得到关键点候选集；将所述关键点候选集输入poseNMS进行关键点候选集筛选，得到关键点集合。
[0006]进一步地，获取包含同一个行人目标的多个视频帧图片之前，所述方法包括：获取原始视频帧图片；对所述原始视频帧图片进行数据预处理；其中，所述数据预处理包括：对所述原始视频帧图片进行缩放、颜色通道转换、维度转换、标准化和归一化操作处理；对数据预处理后的原始视频帧图片中的行人目标进行检测，得到行人目标框；对不同原始视频帧图片中同一个行人目标的行人目标框进行关联，得到包含同一个行人目标的多个视频帧图片。
[0007]进一步地，对数据预处理后的原始视频帧图片中的行人目标进行检测，得到行人目标框，包括：通过模型预测得到特征图上每个位置可能存在的目标与锚框之间的偏移量与缩放比例；根据所述偏移量与缩放比例，通过回归得到特征图与数据预处理后的原始视频帧图片对应位置上的坐标框；通过非极大值抑制去除坐标框中多余的低分检测框，得到所述行人目标框。
[0008]进一步地，对不同原始视频帧图片中同一个行人目标的行人目标框进行关联，得到包含同一个行人目标的多个视频帧图片，包括：将检测框与通过卡尔曼滤波更新状态后的行人目标框，通过级联匹配、匈牙利算法、iou匹配算法进行匹配；如果所述检测框没有匹配到行人目标框，根据所述检测框创建新的跟踪对象；如果所述检测框匹配到行人目标框，根据所述检测框更新历史行人目标框，最终得到包含同一个行人目标的多个视频帧图片。
[0009]进一步地，所述置信度得分阈值设置为0.8；关键点个数的预设阈值设置为6个。
[0010]第二方面，本专利技术提供一种最优帧提取装置，包括：获取单元，用于获取包含同一个行人目标的多个视频帧图片；关键点检测单元，用于对所述多个视频帧图片进行关键点检测，得到关键点集合；最优帧提取单元，分别在多个视频帧图片中，将所述关键点集合中的关键点按照预设的连接方式进行连接；计算相互连接的两个关键点之间的距离以及两个关键点的置信度得分；判断相互连接的两个关键点之间的距离是否小于设定阈值；如果相互连接的两个关键点之间的距离大于或等于设定阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果相互连接的两个关键点之间的距离小于设定阈值，判断两个关键点置信度得分是否小于置信度得分阈值；如果两个关键点置信度得分大于或等于置信度得分阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果两个关键点置信度得分小于置信度得分阈值，判定所述两个关键点被遮挡；判断被遮挡的关键点个数是否大于预设阈值；如果被遮挡的关键点个数大于预设阈值，剔除所述视频帧图片；
如果被遮挡的关键点个数小于或者等于预设阈值，将所述视频帧图片作为最优帧候选集。
[0011]第三方面，本专利技术提供一种电子设备，包括：存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行以上所述方法。
[0012]本专利技术的有益效果：本专利技术提供的一种最优帧提取方法、装置及电子设备，通过获取包含同一个行人目标的多个视频帧图片，对多个视频帧图片进行关键点检测，再根据关键点集合，对多个视频帧图片进行最优帧提取，剔除存在较多遮挡的视频帧图片，最终得到最优帧候选集；本专利技术能够运用到实际场景的行人目标跟踪中，解决了行人目标跟踪中由于目标遮挡导致图片质量低，进而产生行人目标跟踪匹配错误的问题，便于更加精确地实现行人目标跟踪。
附图说明
[0013]为了能更进一步了解本专利技术的特征以及
技术实现思路
，请参阅以下有关本专利技术的详细说明与附图，然而附图仅提供参考与说明用，并非用来对本专利技术加以限制。
[0014]附图中，图1为本专利技术的最优帧提取方法的基本流程图；图2为本专利技术的最优帧提取方法的具体流程图；图3为获取包含同一个行人目标的多个视频帧图片之前步骤的流程图；图4为目标检测得到行人检测框的示意图；图5为对目标进行跟踪后得到的一系列图片的示意图；图6为本专利技术的最优帧提取方法关键点检测的流程图；图7为本专利技术的最优帧提取方法关键点检测的示意图；图8为本专利技术的最优帧提取方法在躯干和肢体提取的关键点位置示意图；图9为本专利技术的最优帧提取装置的示意图；图10为本专利技术的电子设备的示意图。
具体实施方式
[0015]请参阅图1和图2，本专利技术实施例提供一种最优帧提取方法，包括如下步骤：S101，获取包含同一个行人目标的多个视频帧图片。
[0016]在本实施例中，请参阅图本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种最优帧提取方法，其特征在于，包括：获取包含同一个行人目标的多个视频帧图片；对所述多个视频帧图片进行关键点检测，得到关键点集合；分别在多个视频帧图片中，将所述关键点集合中的关键点按照预设的连接方式进行连接；计算相互连接的两个关键点之间的距离以及两个关键点的置信度得分；判断相互连接的两个关键点之间的距离是否小于设定阈值；如果相互连接的两个关键点之间的距离大于或等于设定阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果相互连接的两个关键点之间的距离小于设定阈值，判断两个关键点置信度得分是否小于置信度得分阈值；如果两个关键点置信度得分大于或等于置信度得分阈值，判定所述两个关键点未被遮挡，将所述视频帧图片作为最优帧候选集；如果两个关键点置信度得分小于置信度得分阈值，判定所述两个关键点被遮挡；判断被遮挡的关键点个数是否大于预设阈值；如果被遮挡的关键点个数大于预设阈值，剔除所述视频帧图片；如果被遮挡的关键点个数小于或者等于预设阈值，将所述视频帧图片作为最优帧候选集。2.如权利要求1所述的最优帧提取方法，其特征在于，对所述多个视频帧图片进行关键点检测，得到关键点集合，包括：将所述视频帧图片向外扩展预设比例的像素；将扩展后的视频帧图片输入STN网络进行仿射变换；将仿射变换得到的数据输入沙漏网络进行关键点提取，得到关键点坐标；将所述关键点坐标输入SDTN进行反向坐标变换，得到关键点候选集；将所述关键点候选集输入poseNMS进行关键点候选集筛选，得到关键点集合。3.如权利要求1所述的最优帧提取方法，其特征在于，获取包含同一个行人目标的多个视频帧图片之前，所述方法包括：获取原始视频帧图片；对所述原始视频帧图片进行数据预处理；其中，所述数据预处理包括：对所述原始视频帧图片进行缩放、颜色通道转换、维度转换、标准化和归一化操作处理；对数据预处理后的原始视频帧图片中的行人目标进行检测，得到行人目标框；对不同原始视频帧图片中同一个行人目标的行人目标框进行关联，得到包含同一个行人目标的多个视频帧图片。4.如权利要求3所述的最优帧提取方法，其特征在于，对数据预处理后的原始视频帧图片中的行人目标进行检测，得到行人目标框，包括：通过模型预测得到特征图上每个位置可能存在的目标与锚框之...
【专利技术属性】
技术研发人员：熊肖一，闾凡兵，吴婷，
申请(专利权)人：长沙海信智能系统研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。