一种用于卷积神经网络的灰度图像序列特征提取方法技术

本发明专利技术公开了一种用于卷积神经网络的灰度图像序列特征提取方法。包括如下步骤：a.对灰度图像序列的第k帧及之前n

【技术实现步骤摘要】
一种用于卷积神经网络的灰度图像序列特征提取方法


[0001]本专利技术涉及视频图像处理
，具体涉及一种用于卷积神经网络的灰度图像序列特征提取方法。

技术介绍

[0002]由于卷积神经网络的深度学习技术在图像分类、目标检测领域性能优异，国内外各科研机构提出了多重神经网络模型架构，其中负责特征提取的中间层的设计是卷积神经网络模型取得优异性能的关键。
[0003]目前在提取本帧图像的特征提取方面，主要通过逐层2D卷积、池化等操作完成，而在如何提取时域上的帧序列的图像特征方面，主要通过3D卷积进行。但是，对于探测得到的灰度图像来说，如何有效提取时域上帧序列的变化特征并与空间特征进行融合，是提升卷积神经网络模型在视频的帧序列上目标检测性能的关键。
[0004]同时，现有的卷积神经网络在使用卷积核对特征进行提取时，由于训练时的图像、视频都是正常的图像视频，只能够获取到关注于形态、结构特征的卷积核，而对于红外等手段获得的灰度图像来说，仅关注形态、结构特征是不足的，因为这类手段的感知本质是通过感知被测物体的热辐射从而获得灰度图像，当被测物体的能量不断变化时，比如物体突然被点燃、加热、着火或由于其移动导致反射太阳光情况不短变化、穿越云雾等情况，传统仅仅关注于形态、结构特征的卷积核的特征提取就不够准确全面，目标检测效果也不理想。

技术实现思路

[0005]为了解决
技术介绍
中提出的问题，本专利技术给出了一种用于卷积神经网络的灰度图像序列特征提取方法。
[0006]一种用于卷积神经网络的灰度图像序列特征提取方法，包括如下步骤：a.对灰度图像序列的第k帧及之前n
‑
1帧，共n帧灰度图像各自进行图像滤波，得到n个滤波图像；b.对n个滤波图像进行特征提取。
[0007]进一步地，步骤a中，进行图像滤波的方法为：a1：对于n帧灰度图像中的坐标为(x0,y0)的像素，以(x0,y0)为中心，选择其周边j
×
j大小的邻域作为处理范围，j为奇数，该范围记为Ω，求取Ω内所有像素的原始灰度值的均值，然后将该均值赋值给(x0,y0)，作为(x0,y0)的新的灰度值，(x0,y0)代表的像素为n帧灰度图像中的任一像素；a2：对于n帧灰度图像中的任一帧图像的最外圈像素来说，首先需要在最外圈像素的外侧补充宽度为(j
‑
1)/2的灰度值为0的像素，然后按a1所述的方法进行(x0,y0)灰度值的重新赋值。
[0008]进一步地，所述的邻域大小为3
×
3或5
×
5或7
×
7或9
×
9。
[0009]进一步地，在步骤b中对滤波图像进行特征提取时，对n个滤波图像进行时域上的特征提取，形成时域特征图。
[0010]进一步地，在步骤b中对滤波图像进行特征提取时，还对第k帧图像进行空域上的梯度特征提取，得到空域梯度特征图。
[0011]进一步地，时域特征图包括时域方差特征图、时域峰度特征图、时域斜度特征图。
[0012]进一步地，所述的时域方差特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的方差特征，得到时域方差特征图的步骤如下：首先，记第k
‑
n+1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n+1
(x0,y0)、f
k
‑
n+2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值E(x0,y0)，随后，根据E(x0,y0)求取方差D(x0,y0)，
[0013]最终，将D(x0,y0)作为时域方差特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的方差特征组成的时域方差特征图。
[0014]进一步地，所述的时域峰度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的峰度特征，得到时域峰度特征图的步骤如下：首先，记第k
‑
n+1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n+1
(x0,y0)、f
k
‑
n+2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值E(x0,y0)，随后，根据E(x0,y0)求取峰度K(x0,y0)，)，最终，将K(x0,y0)作为时域峰度特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的峰度特征组成的时域峰度特征图。
[0015]进一步地，所述的时域斜度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的斜度特征，得到时域斜度特征图的步骤如下：首先，记第k
‑
n+1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n+1
(x0,y0)、f
k
‑
n+2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值E(x0,y0)，随后，根据E(x0,y0)求取斜度S(x0,y0)，)，最终，将K(x0,y0)作为时域峰度特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的峰度特征组成的时域峰度特征图。
[0016]进一步地，所述的空域梯度特征图的求取方法为：对于任一帧的最外圈像素，首先在最外圈像素外侧补充宽度为1个像素的一圈像素作为补充像素，补充像素的灰度值一致；对于任一帧的除补充像素外的任一像素(x0,y0)，记其灰度值为f(x0,y0)，(x0,y0)与周围8个像素的灰度值的差的绝对值记为其在某个方向上的梯度，得到8幅梯度特征图。
[0017]记(x0,y0)左上的像素坐标为(x0‑
1,y0‑
1)，其灰度记为f(x0‑
1,y0‑
1)。
[0018]记(x0,y0)上方的像素坐标为(x0,y0‑
1)，其灰度记为f(x0,y0‑
1)。
[0019]记(x0,y0)右上的像素坐标为(x0+1,y0‑
1)，其灰度记为f(x0+1,y0‑
1)。
[0020]记(x0,y0)右方的像素坐标为(x0+1,y0)，其灰度记为f(x0+1,y0)。
[0021]记(x0,y0)右下方的像素坐标为(x0+1,y0+1)，其灰度记为f(x0+1,y0+1)。
[0022]记(x0,y0)下方的像素坐标为(x0,y0+1)，其灰本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：包括如下步骤：a.对灰度图像序列的第k帧及之前n
‑
1帧，共n帧灰度图像各自进行图像滤波，得到n个滤波图像；b.对n个滤波图像进行特征提取。2.如权利要求1所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：步骤a中，进行图像滤波的方法为：a1：对于n帧灰度图像中的坐标为(x0,y0)的像素，以(x0,y0)为中心，选择其周边j
×
j大小的邻域作为处理范围，j为奇数，该范围记为Ω，求取Ω内所有像素的原始灰度值的均值，然后将该均值赋值给(x0,y0)，作为(x0,y0)的新的灰度值，(x0,y0)代表的像素为n帧灰度图像中的任一像素；a2：对于n帧灰度图像中的任一帧图像的最外圈像素来说，首先需要在最外圈像素的外侧补充宽度为(j
‑
1)/2的灰度值为0的像素，然后按a1所述的方法进行(x0,y0)灰度值的重新赋值。3.如权利要求2所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：所述的邻域大小为3
×
3或5
×
5或7
×
7或9
×
9。4.如权利要求1所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：在步骤b中对滤波图像进行特征提取时，对n个滤波图像进行时域上的特征提取，形成时域特征图。5.如权利要求1所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：在步骤b中对滤波图像进行特征提取时，还对第k帧图像进行空域上的梯度特征提取，得到空域梯度特征图。6.如权利要求4所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：时域特征图包括时域方差特征图、时域峰度特征图、时域斜度特征图。7.如权利要求6所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：所述的时域方差特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的方差特征，得到时域方差特征图的步骤如下：首先，记第k
‑
n+1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为f
k
‑
n+1
(x0,y0)、f
k
‑
n+2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值E(x0,y0)，随后，根据E(x0,y0)求取方差D(x0,y0)，)，最终，将D(x0,y0)作为时域方差特征图中的(x0,y0)的值，从而得到所有像素在灰度图像序列中的方差特征组成的时域方差特征图。8.如权利要求6所述的一种用于卷积神经网络的灰度图像序列特征提取方法，其特征在于：所述的时域峰度特征图用于表征同一个像素(x0,y0)在当前帧，即第k帧，及之前n
‑
1帧的灰度图像序列中的峰度特征，得到时域峰度特征图的步骤如下：首先，记第k
‑
n+1帧开始至k的共n帧灰度图像序列中的同一像素(x0,y0)的灰度值为
f
k
‑
n+1
(x0,y0)、f
k
‑
n+2
(x0,y0)、
……
、f
k
(x0,y0)；其次，求取(x0,y0)在n帧灰度图像序列中的灰度平均值E(x0,y0)，随后，根据E(x0,y0)求取峰度K(x0,y0)，)，最终，将K(x0,y0)作为...

【专利技术属性】
技术研发人员：张新潮，张同贺，段萌，牛英宇，王明昌，王杏涛，庄旭阳，丁晓彤，
申请(专利权)人：中国空空导弹研究院，
类型：发明
国别省市：