本发明专利技术公开了一种基于视频的小目标识别方法、系统、电子设备及存储介质，包括：设置结构相似度阈值，根据结构相似度将视频帧分成多组；对每组视频帧进行目标检测，在同一组中依次对相邻的两张图片检测出的目标位置计算交并比，并将交并比最大的看作同一目标，将同一目标在所有帧上的位置信息取并集得到一个位置框，使所有位置信息都在位置框之内，利用该位置框对分组中的每一帧图片进行截取，得到多张低分辨率图片；对每个目标的多张低分辨率图片通过超分辨算法得到一张高分辨率图片；对生成的高分辨率图片通过目标识别算法识别出目标的类别。本发明专利技术能够在浮点运算量提升不多的前提下，大幅提高模糊视频目标检测识别的准确率。率。率。
【技术实现步骤摘要】
基于视频的小目标识别方法、系统、电子设备及存储介质
[0001]本专利技术小目标检测识别
，具体涉及一种基于视频的小目标识别方法、系统、电子设备及存储介质。
技术介绍
[0002]随着深度学习的不断发展，对交通标志进行检测识别已成为当前自动驾驶领域的趋势之一，由于车端算力有限，且所用摄像头不够清晰，因此常常出现交通标志识别不准的情况。为解决视频图像不清晰的问题，常用超分辨率算法来提升图像质量，超分辨率是通过硬件或软件的方法提高原有图像的分辨率，超分辨率的核心思想就是用时间带宽(获取同一场景的多帧图像序列)换取空间分辨率，实现时间分辨率向空间分辨率的转换。
[0003]在行业内，交通标志的检测识别方法主要有两种：第一种是端到端的检测识别方式，这种方式在输出目标位置信息的同时输出目标的类别信息，虽然该方式速度更快，但检测识别不准确，在行业内使用较少。第二种是采用两段式的检测识别算法，第一段使用目标检测算法，它用于检测目标在图片中的位置，第二段使用目标识别算法，它对目标检测算法框出位置的局部图片进行识别，从而得到目标类别信息，此方法相较第一种方法速度稍慢，但准确率有所提升，在行业内使用较多。由于直接对模糊图像进行目标检测识别效果很差，行业内通常对模糊图像进行超分辨后再进行目标检测和目标识别。然而超分辨率计算开销过大，且超分辨后生成图像很大，会使后续目标检测和目标识别的计算量也极具上升。因此，行业内急需一种在计算量提升不大的前提下，尽可能提升模糊目标检测识别精度的算法。
[0004]如专利文献CN201510672286.2（一种基于超分辨率重建的无人机视频小目标检测方法）。上述专利将视频中的一帧作为参考帧，随后的三帧进行像素位移估计，然后利用这四帧图像生成一张高分辨率目标图像，再将目标图像分割成多个目标区域块，对每个目标区域块进行检测及识别。由于利用固定帧数生成图片，若临近帧间区别很大，会导致超分辨不准，且该方法需对整张图片进行超分辨，计算开销较大。
[0005]因此，有必要开发一种新的基于视频的小目标识别方法、系统、电子设备及存储介质。
技术实现思路
[0006]本专利技术的目的在于提供一种基于视频的小目标识别方法、系统、电子设备及存储介质，能在浮点运算量提升不多的前提下，大幅提高模糊视频目标检测识别的准确率。
[0007]本专利技术所述的一种基于视频的小目标识别方法，包括以下步骤：设置结构相似度阈值，根据结构相似度将视频帧分成多组；对每组视频帧进行目标检测，在同一组中依次对相邻的两张图片检测出的目标位置计算交并比，并将交并比最大的看作同一目标，将同一目标在所有帧上的位置信息取并集得到一个位置框，使所有位置信息都在位置框之内，利用该位置框对分组中的每一帧图
片进行截取，得到多张低分辨率图片；对每个目标的多张低分辨率图片通过超分辨算法得到一张高分辨率图片；对生成的高分辨率图片通过目标识别算法识别出目标的类别。
[0008]可选地，据结构相似度将视频帧分成多组，具体为：S11.选取第一帧作为前帧，第二帧作为后帧；S12.计算后帧和前帧的结构相似度，若前帧和后帧的结构相似度大于结构相似度阈值，则将后帧向后移动，重复执行步骤S12，直至前帧和后帧的结构相似度小于等于结构相似度阈值，此时将前帧和后帧之间的所有帧作为一个分组；S13.将前帧设置为后帧所在位置，将后帧位置向后移动一帧，继续重复执行步骤S12和步骤S13，直至后帧位于视频的最后一帧，此时完成了视频的分组。
[0009]可选地，将同一目标在所有帧上的位置信息取并集得到一个位置框，具体为：将同一目标的位置存入同一队列中；根据生成的目标位置队列，遍历整个队列生成一个能让队列中所有目标位置都是其子集的位置框。
[0010]第二方面，本专利技术所述的一种基于视频的小目标识别系统，包括似度检测模块、目标检测模块、超分辨率模块和目标识别模块；所述似度检测模块根据结构相似度将视频帧分成多组，完成分组后将每个分组传入目标检测模块；所述目标检测模块对每组视频帧进行目标检测，在同一组中依次对相邻的两张图片检测出的目标位置计算交并比，并将交并比最大的看作同一目标，将同一目标在所有帧上的位置信息取并集得到一个位置框，使所有位置信息都在位置框之内，利用该位置框对分组中的每一帧图片进行截取，得到多张低分辨率图片，该目标识别模块与似度检测模块连接；超分辨率模块对每个目标的多张低分辨率图片通过超分辨算法得到一张高分辨率图片，该超分辨率模块与目标检测模块连接；目标识别模块对生成的高分辨率图片通过目标识别算法识别出目标的类别，该目标识别模块与超分辨率模块连接。
[0011]第三方面，本专利技术所述的一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本专利技术所述的基于视频的小目标识别方法的步骤。
[0012]第四方面，本专利技术所述的一种存储介质，其上存储有计算机程序，所述计算机程序被调用时能实现如本专利技术所述的基于视频的小目标识别方法的步骤。
[0013]本专利技术具有以下优点：本专利技术利用图像相似度（如结构相似度）对帧进行分组，实现了对帧进行自动分组，之后通过目标检测算法确定要超分辨的目标位置，通过对目标位置进行分析得到要超分辨率的位置框，通过此方法极大减少了后面超分辨算法的运算量。通过对多张低分辨率目标图像进行超分辨得到高分辨目标图像，从而提升了目标的清晰度。之后，将高分辨目标图像输入目标检测算法中，得到最终的目标分类。综上，该方法能够
在浮点运算量提升不多的前提下，大幅提高模糊视频目标检测识别的准确率，能够有效解决此场景下传统小目标检测识别方法精度不高的问题。
附图说明
[0014]图1是基于视频的小目标识别流程图；图2是基于结构相似度的视频分组方法的流程图；图3是基于结构相似度分组的过程图；图4是目标队列生成过程图；图5是位置框确定及目标低分辨率图像生成过程图；图6是超分辨率过程图；图7是系统框图。
具体实施方式
[0015]以下将结合附图对本专利技术进行详细的说明。
[0016]如图1所示，本实施例中，一种基于视频的小目标识别方法，包括以下步骤：首先，设置结构相似度阈值，然后如图3所示，根据结构相似度将视频帧分成多组，分组的具体步骤如图2所示。对每组视频帧进行目标检测，在同一组中依次对相邻的两张图片检测出的目标位置计算交并比，并将交并比最大的看作同一目标，将同一目标在所有帧上的位置信息取并集得到一个位置框，使所有位置信息都在位置框之内，利用该位置框对分组中的每一帧图片进行截取，得到多张低分辨率图片，具体如图4和图5所示。对每个目标的多张低分辨率图片通过超分辨算法得到一张高分辨率图片，具体如图6所示。最后对生成的高分辨率图片通过目标识别算法识别出目标的类别。
[0017]本实施例中，利用图像相似度对帧进行分组，实现了对帧进行自动分组，之后通过目标检测算法确定要超分辨的目标位置，通过对目标位置进行分析得到要超本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于视频的小目标识别方法，其特征在于，包括以下步骤：设置结构相似度阈值，根据结构相似度将视频帧分成多组；对每组视频帧进行目标检测，在同一组中依次对相邻的两张图片检测出的目标位置计算交并比，并将交并比最大的看作同一目标，将同一目标在所有帧上的位置信息取并集得到一个位置框，使所有位置信息都在位置框之内，利用该位置框对分组中的每一帧图片进行截取，得到多张低分辨率图片；对每个目标的多张低分辨率图片通过超分辨算法得到一张高分辨率图片；对生成的高分辨率图片通过目标识别算法识别出目标的类别。2.根据权利要求1所述的基于视频的小目标识别方法，其特征在于：据结构相似度将视频帧分成多组，具体为：S11.选取第一帧作为前帧，第二帧作为后帧；S12.计算后帧和前帧的结构相似度，若前帧和后帧的结构相似度大于结构相似度阈值，则将后帧向后移动，重复执行步骤S12，直至前帧和后帧的结构相似度小于等于结构相似度阈值，此时将前帧和后帧之间的所有帧作为一个分组；S13.将前帧设置为后帧所在位置，将后帧位置向后移动一帧，继续重复执行步骤S12和步骤S13，直至后帧位于视频的最后一帧，此时完成了视频的分组。3.根据权利要求1或2所述的基于视频的小目标识别方法，其特征在于：将同一目标在所有帧上的位置信息取并集得到一个位置框，具体为：将同一目标的位置存入同一队列中；根据生成的目标位置队列，遍历整个队列生成一个能让队列中所有目标位置都是其子集的位置框。4.一种基于视频的小目标识别系统，其特征在于，包括似度检测模块、目标检测模块、超分辨率模块和目标识别模块；所述似度检测模块根据结构相似度将视频帧分成多组，完成分组后将每个分组传入目标检测模块；所述目标检测模块对每组视频帧进行目标检测，在同一组中依次对相邻的两张图片检测出的目标位置计算交并比，并将交并比最大的...
【专利技术属性】
技术研发人员：张国杰，李昌，刘巍，王浩，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。