基于视觉的移动视体静态中小尺度目标识别方法技术

本发明专利技术公开了基于视觉的移动视体静态中小尺度目标识别方法，包括如下步骤：步骤S1：获取边界框信息；步骤S2：创建边界框对象集合；步骤S3：维护对象的短期记忆状态；步骤S4：当对象存在短期记忆时，将对象的置信度评分值与展示阈值比较，若置信度评分值大于等于展示阈值，则准备展示对象的识别结果；步骤S5：当对象不存在短期记忆时，将对象的置信度评分值与静态阈值比较，若置信度评分值大于等于静态阈值，则准备展示对象的识别结果；步骤S6：展示满足条件的对象的边界框；步骤S7：更新所有具有短期记忆的对象的展示阈值。

Vision based static small and medium-sized target recognition method for moving visual objects

【技术实现步骤摘要】
基于视觉的移动视体静态中小尺度目标识别方法
本专利技术涉及图像处理和计算机视觉技术，尤其是涉及了基于视觉的移动视体静态中小尺度目标识别方法。
技术介绍
随着机器学习发展和硬件计算能力增强，基于图像的实时目标检测算法发展迅速。其中以Faster-RCNN、YOLO、SSD为代表的方法旨在识别数据集中多种类型物体并标注其在视场中位置，这些方法在该领域取得了突破性进展。基于图像的目标检测是机器人等移动视体感知、认知环境的主要途径之一。当视体(传感器)在环境中移动时，某些场景(家庭环境)中存在较多中小尺寸的静态目标，目标识别系统在识别它们时获得的信息往往不只单帧图片，而是视体具有微小位置变化的图片序列。上述方法在此类环境中确已具有一定检测识别能力，但识别的准确性、鲁棒性距离实际应用依然存在较大差距，其效果不足主要体现在移动过程中检测结果跳变剧烈、识别评分不稳定和存在误检几方面。
技术实现思路
为解决现有技术的不足，提高识别的准确性、鲁棒性，避免检测结果跳变剧烈、识别评分不稳定和误检，本专利技术采用如下的技术方案：基于视觉的移动视体静态中小尺度目标识别方法，包括如下步骤：步骤S1：获取边界框信息，包括边界框个数、边界框坐标、边界框类别、置信度评分值；步骤S2：创建边界框对象集合，用于储存和维护所述边界框信息；步骤S3：维护所述对象的短期记忆状态；步骤S4：当所述对象存在短期记忆时，将所述对象的置信度评分值与展示阈值比较，若所述置信度评分值大于等于所述展示阈值，则准备展示所述对象的识别结果；所述展示阈值是具有短期记忆的所述对象达到展示条件的置信度评分下限值；步骤S5：当所述对象不存在短期记忆时，将所述对象的所述置信度评分值与静态阈值比较，若所述置信度评分值大于等于所述静态阈值，则准备展示所述对象的识别结果；所述静态阈值是无短期记忆的所述对象达到展示条件的置信度评分下限值；步骤S6：展示满足条件的所述对象的边界框；步骤S7：更新所有具有短期记忆的所述对象的展示阈值。所述步骤S2，包括如下步骤：步骤S2-1：以每个边界框为元素，创建边界框的集合；步骤S2-2：差集扩充集合，将当前帧的边界框的集合与先前边界框的集合求差集，将所述差集增加到先前边界框的集合中，为扩充后的集合的元素创建不带短期记忆的对象；所述不带短期记忆的对象用于记录边界框的信息和边界框连续检测数、连续失检数；步骤S2-3：为所述对象更新连续检测数、连续失检数，当所述对象由最近帧引入当前集合时，将所述连续检测数、所述连续失检数置零；当所述对象不由最近帧引入当前集合时，若最近帧识别到所述对象，则连续检测数加一，连续失检数置零，若最近帧未检测到所述对象，则连续检测数置零，连续失检数加一；步骤S2-4：若所述连续失检数大于等于某一数值时，将所述对象删除，精简集合中的多余元素，所述某一数值是2以上的整数。所述步骤S2-3，所述识别，是通过所述边界框类别和所述边界框坐标，建立的相邻帧边界框之间的映射关系实现的。融合多帧边界框以提升目标识别稳定性。所述步骤S3，包括如下步骤：步骤S3-1：对未创建短期记忆的所述对象进行判定，如所述对象的连续检测数大于等于某一数值，则对所述对象创建短期记忆，所述某一数值是2以上的整数，所述创建短期记忆是对所述对象创建先验知识队列，重设连续失检数；在步骤S3-2：对已创建短期记忆的所述对象进行判定，如所述对象的连续失检数大于等于某一数值，则遗忘短期记忆，所述某一数值是2以上的整数，所述遗忘短期记忆是删除所述对象的所述先验知识队列。所述静态阈值取值范围在0.65-0.8之间。所述步骤S7，包括如下步骤：步骤S7-1：将具有短期记忆的所述对象的置信度评分值置入所述先验知识队列，保存最近帧边界框的顶点坐标；步骤S7-2：所述先验知识队列包括qa队列、qb队列，所述qa队列用于保存与学习阈值比较后的所述对象的历史置信度评分值，当所述对象的置信度评分值大于等于所述学习阈值时，将所述置信度评分值加入所述qa队列，当所述对象的置信度评分值小于所述学习阈值时，将0值加入所述qa队列，所述学习阈值是当前对象达到作为后续对象的先验知识的置信度评分值下限值；所述qb队列用于保存历史置信度评分值与展示阈值比较后的置信度评分值；当所述历史置信度评分值大于等于展示阈值时，将所述历史置信度评分值加入所述qb队列，当所述历史置信度评分值小于展示阈值时，将0值加入所述qb队列；步骤S7-3：通过动态阈值法更新所述对象的展示阈值，对所述对象的置信度评分值使用时序相关权重进行分配，使算法能基于先前识别数据和时间权重参数调整展示阈值。所述步骤S7-2，在与所述展示阈值比较之前，对所述历史置信度评分值进行滤波处理，所述滤波处理是对随时间剧烈变化的所述置信度评分值采用可变滑动窗口均值算法进行平滑操作，避免所述置信度评分值波动过大而影响所述对象的识别结果；所述步骤S7-3，所述动态阈值法，是将所述qb队列中的置信度评分值作为输入数据，设计基于时间序列呈等比数列衰减的指数滤波核，建立展示阈值与所述输入数据的负相关关系，并设定展示阈值的控制范围，相关表达式如下：所述threshold是展示阈值，所述c是动态阈值的最大值，所述表示卷积项，所述norm是归一化参数，所述a是指数滤波核，所述s是输入数据，所述i是所述qb队列中历史置信度评分值序列数；所述展示阈值的范围在[(c-scope)，c]之间，所述归一化参数用于将所述卷积项的取值范围限定在(0，scope)之间，所述scope表示所述展示阈值的调节范围宽度。本专利技术的优势和有益效果在于：本专利技术通过映射关系融合了多帧边界框以提升目标识别稳定性，通过滤波处理避免了置信度评分值波动过大而影响识别结果，通过动态阈值法更新展示阈值使展示结果更准确，通过视体移动中产生的冗余信息较好的解决了检测结果跳变剧烈和识别评分不稳定问题，避免了误检，提高了鲁棒性，提升单帧图片中的目标检测能力。附图说明图1是本专利技术的流程图。图2是本专利技术中维护边界框对象集合元素的流程图。图3是本专利技术中维护对象短期记忆状态的流程图。图4是本专利技术中动态阈值法更新展示阈值的流程图。图5是本专利技术中实际检测评分曲线与动态实时展示阈值变化曲线的对比图。图6是本专利技术中实际检测结果按时序排列的视频帧。具体实施方式以下结合附图和具体实施例对本专利技术作具体的介绍。如图1所示，基于视觉的移动视体静态中小尺度目标识别方法，包括如下步骤：步骤S1：从基础识别算法获取所需相应数据，包括图像视场内标注出的边界框信息，包括边界框个数、各个边界框坐标、边界框对应目标类别、置信度评分值；将这些数据作为多帧融合算法的输入，所述置信度评分值是使用单帧目标检测算法检测时算法输出的对应所述边界框的检测评分值；步骤S2本文档来自技高网...

【技术保护点】
1.基于视觉的移动视体静态中小尺度目标识别方法，其特征在于，包括如下步骤：/n步骤S1：获取边界框信息，包括边界框个数、边界框坐标、边界框类别、置信度评分值；/n步骤S2：创建边界框对象集合，用于储存和维护所述边界框信息；/n步骤S3：维护所述对象的短期记忆状态；/n步骤S4：当所述对象存在短期记忆时，将所述对象的置信度评分值与展示阈值比较，若所述置信度评分值大于等于所述展示阈值，则准备展示所述对象的识别结果；所述展示阈值是具有短期记忆的所述对象达到展示条件的置信度评分下限值；/n步骤S5：当所述对象不存在短期记忆时，将所述对象的所述置信度评分值与静态阈值比较，若所述置信度评分值大于等于所述静态阈值，则准备展示所述对象的识别结果；所述静态阈值是无短期记忆的所述对象达到展示条件的置信度评分下限值；/n步骤S6：展示满足条件的所述对象的边界框；/n步骤S7：更新所有具有短期记忆的所述对象的展示阈值。/n

【技术特征摘要】
1.基于视觉的移动视体静态中小尺度目标识别方法，其特征在于，包括如下步骤：
步骤S1：获取边界框信息，包括边界框个数、边界框坐标、边界框类别、置信度评分值；
步骤S2：创建边界框对象集合，用于储存和维护所述边界框信息；
步骤S3：维护所述对象的短期记忆状态；
步骤S4：当所述对象存在短期记忆时，将所述对象的置信度评分值与展示阈值比较，若所述置信度评分值大于等于所述展示阈值，则准备展示所述对象的识别结果；所述展示阈值是具有短期记忆的所述对象达到展示条件的置信度评分下限值；
步骤S5：当所述对象不存在短期记忆时，将所述对象的所述置信度评分值与静态阈值比较，若所述置信度评分值大于等于所述静态阈值，则准备展示所述对象的识别结果；所述静态阈值是无短期记忆的所述对象达到展示条件的置信度评分下限值；
步骤S6：展示满足条件的所述对象的边界框；
步骤S7：更新所有具有短期记忆的所述对象的展示阈值。


2.根据权利要求1所述的基于视觉的移动视体静态中小尺度目标识别方法，其特征在于，所述步骤S2，包括如下步骤：
步骤S2-1：以每个边界框为元素，创建边界框的集合；
步骤S2-2：差集扩充集合，将当前帧的边界框的集合与先前边界框的集合求差集，将所述差集增加到先前边界框的集合中，为扩充后的集合的元素创建不带短期记忆的对象；所述不带短期记忆的对象用于记录边界框的信息和边界框连续检测数、连续失检数；
步骤S2-3：为所述对象更新连续检测数、连续失检数，当所述对象由最近帧引入当前集合时，将所述连续检测数、所述连续失检数置零；当所述对象不由最近帧引入当前集合时，若最近帧识别到所述对象，则连续检测数加一，连续失检数置零，若最近帧未检测到所述对象，则连续检测数置零，连续失检数加一；
步骤S2-4：若所述连续失检数大于等于某一数值时，将所述对象删除，所述某一数值是2以上的整数。


3.根据权利要求2所述的基于视觉的移动视体静态中小尺度目标识别方法，其特征在于，所述步骤S2-3，所述识别，是通过所述边界框类别和所述边界框坐标，建立的相邻帧边界框之间的映射关系实现的。


4.根据权利要求2所述的基于视觉的移动视体静态中小尺度目标识别方法，其特征在于，所述步骤S3，包括如下步骤：
步骤S3-1：对未创建短期记忆的所述对象进行判定，如所述对象的连续检测数大于等于某一数值，则对所述对象创建短期记忆，所述某一数值是2以上的整数，所述创建短期记忆是对所述对象创建先验知识队列，重设连续失检数；
在步骤S3-2：对已创建...

【专利技术属性】
技术研发人员：王滔，胡纪远，朱世强，祝义朋，张雲策，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33