一种考虑低置信度检测结果的手势跟踪方法及系统技术方案

本发明专利技术公开了一种考虑低置信度检测结果的手势跟踪方法，包括：对接收的视频帧图像进行目标检测，得到手势的检测框及其置信度分数，并按置信度分数分为高置信度检测框和低置信度检测框；预测接收的视频帧图像中当前视频帧中的手势在下一帧图像中的新位置，得到预测框；将高置信度检测框与预测框进行关联，采用IoU算法计算两者的相似度，并采用匹配算法进行匹配；将未匹配的低置信度检测框和预测框进行关联，再次进行相似度计算和匹配，得到匹配成功的低置信度检测框；输出含有所有高置信度检测框和匹配成功的低置信度检测框的视频帧图像。本方法能够减少包括手部遮挡、运动模糊和手较小等困难情况下模型出现的漏检问题，提高了准确度和流畅性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉和手势识别，具体涉及一种考虑低置信度检测结果的手势跟踪方法及系统。

技术介绍

1、手势跟踪是一种基于计算机视觉和人工智能技术的交互方式，旨在捕捉和识别手势动作，将其转化为数字信号，并识别其意图，以实现人机交互。

2、在现有流行的方法中，深度学习被广泛使用。按照手势跟踪的匹配方式不同，将手势跟踪方法分为基于关键部位匹配的手势跟踪方法和基于检测框匹配的手势跟踪方法。

3、基于关键部位匹配的手势跟踪方法，在当手部姿态发生变化时，对于手掌的检测和手指关键点检测会实时更新，并匹配到手势模板中，从而实现对动态手势的跟踪。专利cn112183424a提供一种基于视频的实时手部追踪方法和系统，该方法通过检测手掌进而对手指关键点检测，以获取手部姿态信息，最后通过手势匹配识别出手部姿态，匹配前后帧之间手部关键部位的相似度，从而实现了对手部的实时有效追踪。不过该类方法主要有以下缺点：(1)对光照和背景的敏感性：在不同的光照条件下，如明暗、颜色、方向等，手势的识别和跟踪效果可能会受到影响，此外，背景的复杂度也会对手势识别产生干扰，如本文档来自技高网...

【技术保护点】

1.一种考虑低置信度检测结果的手势跟踪方法，其特征在于，包括：

2.根据权利要求1所述的一种考虑低置信度检测结果的手势跟踪方法，其特征在于，所述IoU算法具体为：所述检测框和所述预测框的交集面积与所述检测框和所述预测框的并集面积的比值。

3.根据权利要求1所述的一种考虑低置信度检测结果的手势跟踪方法，其特征在于，所述的目标检测，通过CenterNet、单阶段目标检测器RetinaNet或YOLO系列检测器实现。

4.根据权利要求1所述的一种考虑低置信度检测结果的手势跟踪方法，其特征在于，使用包括卡尔曼滤波、单目标跟踪或基于transformer的检测器...

【技术特征摘要】

1.一种考虑低置信度检测结果的手势跟踪方法，其特征在于，包括：

2.根据权利要求1所述的一种考虑低置信度检测结果的手势跟踪方法，其特征在于，所述iou算法具体为：所述检测框和所述预测框的交集面积与所述检测框和所述预测框的并集面积的比值。

3.根据权利要求1所述的一种考虑低置信度检测结果的手势跟踪方法，其特征在于，所述的目标检测，通过centernet、单阶段目标检测器retinanet或yolo系列检测器实现。

4.根据权利要求1所述的一种考虑低置信度检测结果的手势跟踪方法，其特征在于，使用包括卡尔曼滤波、单目标跟踪或基于transformer的检测器中的一种对接收的视频帧图像进行预测。

5.根据权利要求1...

【专利技术属性】
技术研发人员：张祥伟，姜雨萱，
申请(专利权)人：东风汽车集团股份有限公司，
类型：发明
国别省市：