一种基于ST-SIN的视频物体检测方法及系统技术方案

本申请提供了一种基于ST‑SIN的视频物体检测方法，包括：利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；对各个空间特征图进行LSTM算法处理得到时间‑空间特征图；对时间‑空间特征图进行RPN算法处理得到各个ROI对应的时间‑空间特征图；对各个ROI对应的时间‑空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量；将各个ROI一维特征向量进行SIN网络处理得到各个ROI的类别及对应的框的坐标。该方法还获取了各帧图片中对应感受野的时间特征，提高了视频物体检测的准确度。本申请还提供一种基于ST‑SIN的视频物体检测系统，计算机及计算机可读存储介质，均具有上述有益效果。

A Video Object Detection Method and System Based on ST-SIN

This application provides a video object detection method based on ST SIN, which includes: convoluting and pooling the original frames of video using FCN algorithm to obtain corresponding spatial feature maps; LSTM algorithm to process each spatial feature map to obtain temporal spatial feature maps; RPN algorithm to process the temporal spatial feature maps to obtain the corresponding temporal spatial features of each ROI. Fig. Pooling the time and space feature maps corresponding to each ROI and processing the full connection layer to obtain the corresponding one-dimensional feature vectors of ROI, and processing the one-dimensional feature vectors of each ROI by SIN network to get the coordinates of the categories and corresponding frames of each ROI. The method also obtains the temporal characteristics of the corresponding receptive fields in each frame, which improves the accuracy of video object detection. The application also provides a video object detection system based on ST SIN, computer and computer readable storage media, all of which have the above beneficial effects.

【技术实现步骤摘要】
一种基于ST-SIN的视频物体检测方法及系统
本申请涉及计算机视觉领域，特别涉及一种基于ST-SIN的视频物体检测方法、系统、计算机及计算机可读存储介质。
技术介绍
计算机视觉在当今科技发展中占有重要意义，图像和视频检测更是被用到各行各业中，如安防，自动驾驶，医疗成像中。因此不断地追求检测的精度有着十分重要的意义。目前，视频物体检测的相关技术只在乎物体的空间特征信息，而忽略了其他信息的运用，结果导致视频物体检测的准确度不高。因此，如何提高视频物体检测的准确度是本领域技术人员需要解决的技术问题。
技术实现思路
本申请的目的是提供一种基于ST-SIN的视频物体检测方法、系统、计算机及计算机可读存储介质，能够提高视频物体检测的准确度。为解决上述技术问题，本申请提供一种基于ST-SIN的视频物体检测方法，包括：利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；对各个所述空间特征图进行LSTM算法处理得到时间-空间特征图；对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图；对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量；将各个所述ROI一维特征向量进行SIN网络处理得到各个所述ROI的类别及对应的框的坐标。优选地，该视频物体检测方法还包括：对各帧所述原图进行池化处理和全连接层处理获取对应的背景一维特征向量。优选地，对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图之后，还包括：利用各个所述ROI对应的时间-空间特征图获取各个所述ROI之间的物体关系信息。优选地，对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量之后，还包括：将各个所述ROI一维特征向量、所述背景一维特征向量和所述物体关系信息进行所述SIN网络处理得到各个所述ROI的类别及对应的框的坐标。本申请还提供一种基于ST-SIN的视频物体检测系统，包括：空间特征图获取模块，用于利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；LSTM算法处理模块，用于对各个所述空间特征图进行LSTM算法处理得到时间-空间特征图；RPN算法处理模块，用于对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图；ROI一维特征向量获取模块，用于对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量；SIN网络处理模块，用于将各个所述ROI一维特征向量进行SIN网络处理得到各个所述ROI的类别及对应的框的坐标。优选地，该视频物体检测系统，还包括：背景一维特征向量获取模块，用于对各帧所述原图进行池化处理和全连接层处理获取对应的背景一维特征向量。优选地，该视频物体检测系统，还包括：物体关系信息获取模块，用于利用各个所述ROI对应的时间-空间特征图获取各个所述ROI之间的物体关系信息。优选地，该视频物体检测系统，还包括：SIN网络集成处理模块，用于将各个所述ROI一维特征向量、所述背景一维特征向量和所述物体关系信息进行所述SIN网络处理得到各个所述ROI的类别及对应的框的坐标。本申请还提供一种计算机，包括：存储器和处理器；其中，所述存储器用于存储计算机程序，所述处理器用于执行所述计算机程序时实现上述所述的基于ST-SIN的视频物体检测方法的步骤。本申请还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述所述的基于ST-SIN的视频物体检测方法的步骤。本申请所提供的一种基于ST-SIN的视频物体检测方法，包括：利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；对各个所述空间特征图进行LSTM算法处理得到时间-空间特征图；对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图；对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量；将各个所述ROI一维特征向量进行SIN网络处理得到各个所述ROI的类别及对应的框的坐标。该方法先是获取视频的各帧原图的空间特征图，然后利用LSTM算法处理各个所述空间特征图进行得到时间-空间特征图，再对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图，接着对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量，最后将各个所述ROI一维特征向量进行SIN网络处理得到各个所述ROI的类别及对应的框的坐标。可见，该方法除了获取了物体的空间特征，还获取了各帧图片中对应感受野的时间特征，提高了视频物体检测的准确度。本申请还提供一种基于ST-SIN的视频物体检测系统，计算机及计算机可读存储介质，均具有上述有益效果，在此不再赘述。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例所提供的一种基于ST-SIN的视频物体检测方法的流程图；图2为本申请实施例所提供的FCN算法的流程图；图3为本申请实施例所提供的使用ZF网络实现FCN算法的模型；图4为本申请实施例所提供的STFCN算法的流程图；图5为本申请实施例所提供的图模型结构示意图；图6为本申请实施例所提供的SIN网络结构示意图；图7为本申请实施例所提供的SIN网络获取和处理信息的结构示意图；图8为本申请实施例所提供的一种基于ST-SIN的完整视频物体检测方法流程图；图9为本申请实施例所提供的一种基于ST-SIN的视频物体检测系统的结构框图。具体实施方式本申请的核心是提供一种基于ST-SIN的视频物体检测方法，能够提高视频物体检测的准确度。本申请的另一核心是提供一种基于ST-SIN的视频物体检测系统、计算机及计算机可读存储介质。为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。目前，对于视频物体检测的相关技术只在乎物体的空间特征信息，而忽略了其他信息的运用，结果导致视频物体检测的准确度不高。本申请实施例除了获取了物体的空间特征，还获取了各帧图片中对应感受野的时间特征，提高了视频物体检测的准确度。具体请参考图1，图1为本申请实施例所提供的一种基于ST-SIN的视频物体检测方法的流程图，该基于ST-SIN的视频物体检测方法具体包括：S101、利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；STFCN算法(频语义分割的时空域FCN算法)是一种同时包含时间和空间特征的视频语义分割的方法。STFCN算法包含三个部分，首先用FCN算法提取空间特征，然后用LSTM算法提取图片中各个感受本文档来自技高网...

【技术保护点】
1.一种基于ST‑SIN的视频物体检测方法，其特征在于，包括：利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；对各个所述空间特征图进行LSTM算法处理得到时间‑空间特征图；对所述时间‑空间特征图进行RPN算法处理得到各个ROI对应的时间‑空间特征图；对各个所述ROI对应的时间‑空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量；将各个所述ROI一维特征向量进行SIN网络处理得到各个所述ROI的类别及对应的框的坐标。

【技术特征摘要】
1.一种基于ST-SIN的视频物体检测方法，其特征在于，包括：利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；对各个所述空间特征图进行LSTM算法处理得到时间-空间特征图；对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图；对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量；将各个所述ROI一维特征向量进行SIN网络处理得到各个所述ROI的类别及对应的框的坐标。2.根据权利要求1所述的视频物体检测方法，其特征在于，还包括：对各帧所述原图进行池化处理和全连接层处理获取对应的背景一维特征向量。3.根据权利要求1所述的视频物体检测方法，其特征在于，对所述时间-空间特征图进行RPN算法处理得到各个ROI对应的时间-空间特征图之后，还包括：利用各个所述ROI对应的时间-空间特征图获取各个所述ROI之间的物体关系信息。4.根据权利要求3所述的视频物体检测方法，其特征在于，对各个所述ROI对应的时间-空间特征图依次进行池化处理和全连接层处理获取对应的ROI一维特征向量之后，还包括：将各个所述ROI一维特征向量、所述背景一维特征向量和所述物体关系信息进行所述SIN网络处理得到各个所述ROI的类别及对应的框的坐标。5.一种基于ST-SIN的视频物体检测系统，其特征在于，包括：空间特征图获取模块，用于利用FCN算法对视频的各帧原图进行卷积和池化处理获取对应的空间特征图；LSTM算法处理模块，用于对各个所述空间特征图进...

【专利技术属性】
技术研发人员：黄国恒，朱俊文，邓桂扬，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44