基于视频小样本的瞬时目标识别方法技术

本发明专利技术基于视频小样本的瞬时目标识别方法包括：从包含目标一个历史视频样本中提取出连续图像信息；根据所包含的目标像素占整张图像像素的比例，将每帧样本的连续图像分别分割成

【技术实现步骤摘要】
基于视频小样本的瞬时目标识别方法


[0001]本专利技术属于人工智能技术目标识别领域，具体涉及一种基于视频小样本的瞬时目标识别方法
。

技术介绍

[0002]近年来，高速摄像机在科研，军事测试以及工业生产评估等领域的应用逐渐普及，相比起一般摄像机每秒拍摄二十四帧左右的效率，高速摄像机每秒则可以达到一千至一万帧，某些军方专用的高速摄像机甚至可以达到每秒一百万至一千万帧，帧数越高，在拍摄高速运动物体的运动轨迹时，更利于捕捉现实生活中人类肉眼无法看清的瞬间动态过程，因此高速摄像机就可以实现在极短时间内对高速目标的快速
、
多次采样
。
相比之下，高速摄像机的优势显而易见，特别是在军事领域，对于捕捉一些出现在摄像画面中的低空快
、
隐
、
小目标，都可以通过高速摄像机拍摄之后进一步利用目标识别算法来实现对捕捉目标的告警提示
。
随着人工智能深度学习的大规模发展与应用，依赖于大量标签数据训练的有监督学习在视频目标识别领域被广泛应用，例如
Fast
‑
RCNN、YOLO
系列等深度学习模型，都取得了显著的成就
。
但在军事领域，由于行业特殊性，往往不能获取到足够数量的带标签数据来支撑深度学习神经网络模型的训练，同时在军事领域对于目标识别并告警的需求通常需要具备较强时效性，有时甚至是毫秒级别的瞬时目标识别任务，目前的目标识别方法大部分都是基于极大数据样本量，但在军事领域大多采用帧间差分法
>、
背景差分法等方法对目标进行识别，此类方法的技术要点是提取目标轮廓特征，但其受背景环境影响较大，且往往无法适应动态背景的目标识别，在真实应用场景中的适应性及鲁棒性较差
。
本专利提出的基于少量标签视频样本的小样本学习及瞬时目标识别方法可以针对性地兼容解决样本量以及适应性
、
鲁棒性问题，因此，一种可以基于少量标签视频样本的小样本学习及瞬时目标识别方法是解决人工智能在某些军事任务上不能真正发挥作用的问题关键之一
。

技术实现思路

[0003]本申请的专利技术目的是针对上述的现有技术问题，而提供一种基于视频小样本的瞬时目标识别方法
。
本申请针对小样本视频的瞬时目标识别与告警可获得良好的算法性能，实现了基于单视频小样本的目标数据集扩充，基于算法并行调用的瞬时目标识别，提高了算法泛化性以及目标告警提示的时效性
。
[0004]为实现上述目的，本专利技术采用以下技术方案：
[0005]本专利技术的一种基于视频小样本的瞬时目标识别方法，其中：它包括以下步骤：
[0006](
一
)、
从包含目标的一个历史视频样本中提取出至少
125
帧样本的连续图像信息；
[0007](
二
)、
根据上述每帧图像信息中所包含的目标像素占整张图像像素的比例，设计滑窗的大小，保证目标在滑窗内是完整的，根据滑窗的大小，将上述每帧样本的连续图像分别分割成
n
个相同的小图像；
[0008](
三
)、
根据步骤
(
二
)
分割出的小图像，将上述包含目标的小图像列入正样本集，将
上述不包含目标的小图像列入负样本集，正样本集和负样本集共同形成供神经网络训练的目标数据集；
[0009](
四
)、
将步骤
(
三
)
的正样本集进行扩充，使得正样本集的数量与负样本集的数量的比例至少为2：3，将负样本集和扩充后的正样本集共同形成供神经网络训练的目标数据集，将上述目标数据集输入到二分类神经网络模型中进行预训练，调整二分类神经网络模型的权重参数，当二分类神经网络模型的损失函数值大于阈值时，重复步骤
(
一
)
，采取增大上述帧样本的方式继续训练二分类神经网络模型，同时迭代计算二分类神经网络模型的损失函数值；当二分类神经网络模型的损失函数值小于或等于阈值时，证明二分类神经网络模型达到了拟合状态，保存此时对应的二分类神经网络模型的权重参数，将当前的二分类神经网络模型作为最终的二分类神经网络模型；
[0010](
五
)、
将最终的二分类神经网络模型部署到
tf
‑
serving
服务器中，并行开启多个目标识别线程，每个目标识别线程部署一个二分类神经网络模型；
[0011](
六
)、
从实时视频信号中提取出一帧图像信息，利用步骤
(
二
)
的滑窗尺寸，将上述一帧图像信息分割成
n
个小图像，将上述
n
个小图像分别分配给多个目标识别线程的二分类神经网络模型进行图像分类，一旦其中二个或二个以上的目标识别线程中的二分类神经网络模型发出正样本信号，或者其中一个目标识别线程中的二分类神经网络模型发出二个或二个以上的正样本信号，即刻进行目标报警；否则，持续监听直至结束后退出
。
[0012]本专利技术的一种基于视频小样本的瞬时目标识别方法，其中：在步骤
(
二
)
和步骤
(
六
)
中，用以下步骤对每一帧图像进行分割：
[0013](a)、
将目标框定在一个矩形中，上述矩形像素大小为
w
×
h
，设定滑窗的长为
w
′
≈w+
ξ
，宽为
h
′
≈h+
ξ
，其中
ξ
设定为5个像素；
[0014](b)、
取出每一帧图像，根据上述滑窗尺寸和设定的相邻小图像之间的重叠率
(iou)
，重叠率为相邻小图像之间的重叠比例，将每一帧图像从上到下和从左到右分割并保存成总数为
n
个相同尺寸大小的小图像样本
p
i
，形成样本集
P
＝
{p1,p2......p
N
}
；
[0015]用公式
(1)
表示
[0016]n
＝
(W*H)/(w
’
*h
’
*iou2)
‑‑‑‑‑
公式
(1)
[0017]其中：
w
’
为滑窗的宽度；
h
’
为滑窗的长度；
iou
为重叠率；
W
为每帧图像的宽度；
H
为每帧图像的长度；
n
为每帧图像分割成的小图像的总数
。
[0018]本专利技术的一种基于视频小样本的瞬时本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于视频小样本的瞬时目标识别方法，其特征在于：它包括以下步骤：
(
一
)、
从包含目标的一个历史视频样本中提取出至少
125
帧样本的连续图像信息；
(
二
)、
根据上述每帧图像信息中所包含的目标像素占整张图像像素的比例，设计滑窗的大小，保证目标在滑窗内是完整的，根据滑窗的大小，将上述每帧样本的连续图像分别分割成
n
个相同的小图像；
(
三
)、
根据步骤
(
二
)
分割出的小图像，将上述包含目标的小图像列入正样本集，将上述不包含目标的小图像列入负样本集，正样本集和负样本集共同形成供神经网络训练的目标数据集；
(
四
)、
将步骤
(
三
)
的正样本集进行扩充，使得正样本集的数量与负样本集的数量的比例至少为2：3，将负样本集和扩充后的正样本集共同形成供神经网络训练的目标数据集，将上述目标数据集输入到二分类神经网络模型中进行预训练，调整二分类神经网络模型的权重参数，当二分类神经网络模型的损失函数值大于阈值时，重复步骤
(
一
)
，采取增大上述帧样本的方式继续训练二分类神经网络模型，同时迭代计算二分类神经网络模型的损失函数值；当二分类神经网络模型的损失函数值小于或等于阈值时，证明二分类神经网络模型达到了拟合状态，保存此时对应的二分类神经网络模型的权重参数，将当前的二分类神经网络模型作为最终的二分类神经网络模型；
(
五
)、
将最终的二分类神经网络模型部署到
tf
‑
serving
服务器中，并行开启多个目标识别线程，每个目标识别线程部署一个二分类神经网络模型；
(
六
)、
从实时视频信号中提取出一帧图像信息，利用步骤
(
二
)
的滑窗尺寸，将上述一帧图像信息分割成
n
个小图像，将上述
n
个小图像分别分配给多个目标识别线程的二分类神经网络模型进行图像分类，一旦其中二个或二个以上的目标识别线程中的二分类神经网络模型发出正样本信号，或者其中一个目标识别线程中的二分类神经网络模型发出二个或二个以上的正样本信号，即刻进行目标报警；否则，持续监听直至结束后退出
。2.
根据权利要求1所述的基于视频小样本的瞬时目标识别方法，其特征在于：在步骤
(
二
)
和步骤
(
六
)
中，用以下步骤对每一帧图像进行分割：
(a)、
将目标框定在一个矩形中，上述矩形像素大小为
w
×
h
，设定滑窗的长为
w
′
≈w+
ξ
，宽为
h
′
≈h+
ξ
，其中
ξ
设定为5个像素；
(b)、
取出每一帧图像，根据上述滑窗尺寸和设定的相邻小图像之间的重叠率
(iou)

【专利技术属性】
技术研发人员：刘升艳，
申请(专利权)人：昆明船舶设备研究试验中心中国船舶集团有限公司七五，
类型：发明
国别省市：