一种无人值守系统及其基于光流的监控方法技术方案

本发明专利技术公开了一种无人值守系统及其基于光流的监控方法，包括获取无人值守系统以预设的固定频率拍摄的图像，对图像进行预处理，按照图像帧的捕获时间选取连续三帧图像；将预处理后的三帧图像输入预设的光流估计模型，估计当前帧到下一帧的光流图；获取相机内参，根据光流图和相机内参估计得到场景流图；根据图像帧的捕获时间获取当前帧到下一帧的时间差，根据场景流图以及当前帧到下一帧的时间差，逐像素得到逐像素的运动速度；根据逐像素的运动速度和预设的速度阈值进行连通区域划分和标记，得到运动目标和运动速度。可以更精细地侦察运动目标，并获取丰富的信息，泛化能力更强。泛化能力更强。泛化能力更强。

【技术实现步骤摘要】
一种无人值守系统及其基于光流的监控方法


[0001]本专利技术属于计算机
，特别是涉及一种无人值守系统及其基于光流的监控方法。

技术介绍

[0002]随着各个行业的自动化发展，无人值守系统在民事和军事领域中均具有广泛的应用。目前的无人值守系统通常采用可见光相机、红外相机等，通过构建目标检测模型来对目标进行定位并识别。
[0003]现有技术方案的缺点：第一、现有的目标检测模型通常是通过有监督的深度学习构建，其建立的知识库使其只能识别所见过的物种类别，对于未学习过的类别、或经过伪装、或经过烟雾遮挡的物体不具备检测能力。因此，针对这些场景，基于目标检测神经网络模型的无人值守系统将会失效。第二、仅使用目标检测模型的无人值守系统能力十分有限，其仅能获得目标类别及在图片中的位置，无法估计目标在真实世界中处于的位置以及运动速度，难以判断其危险程度。因此，亟需提供一种更加有效和完备的无人值守系统以及监控方法。

技术实现思路

[0004]针对以上技术问题，本专利技术提供一种无人值守系统及其基于光流的监控方法，适用于复杂环境，识别的粒度更细，提供的信息更丰富，性价比更高。
[0005]本专利技术解决其技术问题采用的技术方案是：
[0006]一种无人值守系统中基于光流的监控方法，方法包括以下步骤：
[0007]步骤S100：获取无人值守系统以预设的固定频率拍摄的图像，对图像进行预处理，按照图像帧的捕获时间选取连续三帧图像；
[0008]步骤S200：将预处理后的三帧图像输入预设的光流估计模型，估计当前帧到下一帧的光流图；
[0009]步骤S300：获取相机内参，根据光流图和相机内参估计得到场景流图；
[0010]步骤S400：根据图像帧的捕获时间获取当前帧到下一帧的时间差，根据场景流图以及当前帧到下一帧的时间差，逐像素得到逐像素的运动速度；
[0011]步骤S500：根据逐像素的运动速度和预设的速度阈值进行连通区域划分和标记，得到运动目标和运动速度。
[0012]优选地，预处理为对图像帧统一裁剪成固定尺寸W
×
H，其中，W代表裁剪后图像宽的像素数，H代表裁剪后图像高的像素数。
[0013]优选地，预设的光流估计模型包括编码模块、注意力模块和迭代更新模块，编码模块包括特征编码器和上下文编码器，特征编码器和上下文编码器均由卷积网络构成，注意力模块包括时间注意力聚集器和空间注意力聚集器，迭代更新模块由GRU构成。
[0014]优选地，连续三幅图像帧为前一帧、当前帧和后一帧，分别命名为帧I
t
‑1、帧I
t
和帧
I
t+1
，步骤S200包括：
[0015]步骤S210：帧I
t
‑1、帧I
t
和帧I
t+1
分别经过特征编码器和上下文编码器提取到每一帧对应得特征张量和上下文张量；
[0016]步骤S220：对帧I
t
‑1和帧I
t
的特征张量进行相关度计算，对得到的运动相关张量进行卷积运算编码，得到帧I
t
‑1的运动特征对帧I
t
和帧I
t+1
的特征张量进行相关性计算，对得到的运动相关张量和GRU模块上次迭代出的光流进行卷积运算编码，得到帧I
t
的运动特征Mt
raw
；
[0017]步骤S230：将帧I
t
‑1和帧I
t
的上下文张量f
t
‑1,f
t
输入时间注意力聚集器计算互注意力系数作为时间注意力系数α
temporal
，根据时间注意力系数对前一帧I
t
‑1的运动特征进行时间维度的聚集，得到时间相关特征
[0018]步骤S240：将帧t的上下文张量复制2次，并输入空间注意力聚集器计算自注意力系数作为空间注意力系数α
spatial
，根据空间注意力系数对当前帧t的运动特征进行空间维度的聚集，得到空间相关特征
[0019]步骤S250：将当前帧t的上下文张量、运动特征时间相关特征空间相关特征输入迭代更新模块，通过一系列的GRU模块更新光流，得到当前帧I
t
到下一帧I
t+1
的原始分辨率为W
×
H的光流图。
[0020]优选地，步骤S230具体为：
[0021][0022][0023]其中，指当前帧I
t
和前一帧I
t
‑1时间相关性矩阵第i行j列处的相关性系数值，f
t；(i)
是当前帧I
t
上下文张量的第i列向量，f
t
‑
1；(j)
是前一帧I
t
‑1上下文张量的第j列向量，D
c
是指上下文张量的特征维度，W
q
是指第一可训练的查询矩阵，W
k
是指第一可训练的键矩阵；为所得时间相关特征的第i列向量，是指当前帧运动特征的第i列向量，是指归一化后的(i,j)处的时间相关性系数，指前一帧运动特征的第j列向量，W
v
是指第一可训练的值矩阵，N为矩阵的总列数；
[0024]步骤S240具体为：
[0025][0026][0027]其中，指当前帧I
t
空间相关性矩阵第i行j列处的相关性系数值，f
t；(i)
是当前帧I
t
上下文张量的第i列向量，D
c
是指上下文张量的特征维度，W
q
′
是指第二可训练的查询矩阵，W
k
′
是指第二可训练的键矩阵；为所得空间相关特征的第i列向量，
是指当前帧运动特征的第i列向量，是指归一化后的(i,j)处的空间相关性系数，W
v
′
是指第二可训练的值矩阵，N为矩阵的总列数。
[0028]优选地，步骤S400具体为：
[0029][0030]其中，为当前帧I
t
上的任意像素点p的运动速度，Δt为当前帧到下一帧的时间差，为帧I
t+1
的像素点p的深度，为帧I
t
的像素点p的深度。
[0031]优选地，步骤S500包括：
[0032]步骤S510：比较逐像素的运动速度和预设的速度阈值，保留速度图中运动速度大于预设的速度阈值的像素；
[0033]步骤S520：按照预设的分段原则对速度进行分段，构造不同层次的连通区域，将速度差值在预设范围内的连通区域视作整体，输出连通区域作为运动目标，将连通区域的平均速度作为运动速度。
[0034]一种无人值守系统，包括轮式移动机器人，标准可见光相机和计算平台，标准可见光相机设置于轮式移动机器人上，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人值守系统中基于光流的监控方法，其特征在于，所述方法包括以下步骤：步骤S100：获取无人值守系统以预设的固定频率拍摄的图像，对所述图像进行预处理，按照图像帧的捕获时间选取连续三帧图像；步骤S200：将预处理后的三帧图像输入预设的光流估计模型，估计当前帧到下一帧的光流图；步骤S300：获取相机内参，根据所述光流图和相机内参估计得到场景流图；步骤S400：根据图像帧的捕获时间获取当前帧到下一帧的时间差，根据所述场景流图以及所述当前帧到下一帧的时间差，逐像素得到逐像素的运动速度；步骤S500：根据所述逐像素的运动速度和预设的速度阈值进行连通区域划分和标记，得到运动目标和运动速度。2.根据权利要求1所述的方法，其特征在于，预处理为对图像帧统一裁剪成固定尺寸W
×
H，其中，W代表裁剪后图像宽的像素数，H代表裁剪后图像高的像素数。3.根据权利要求2所述的方法，其特征在于，所述预设的光流估计模型包括编码模块、注意力模块和迭代更新模块，所述编码模块包括特征编码器和上下文编码器，所述特征编码器和所述上下文编码器均由卷积网络构成，所述注意力模块包括时间注意力聚集器和空间注意力聚集器，所述迭代更新模块由GRU构成。4.根据权利要求3所述的方法，其特征在于，连续三幅图像帧为前一帧、当前帧和后一帧，分别命名为帧I
t
‑1、帧I
t
和帧I
t+1
，步骤S200包括：步骤S210：所述帧I
t
‑1、所述帧I
t
和所述帧I
t+1
分别经过所述特征编码器和所述上下文编码器提取到每一帧对应得特征张量和上下文张量；步骤S220：对所述帧I
t
‑1和所述帧I
t
的特征张量进行相关度计算，对得到的运动相关张量进行卷积运算编码，得到所述帧I
t
‑1的运动特征对所述帧I
t
和所述帧I
t+1
的特征张量进行相关性计算，对得到的运动相关张量和所述GRU模块上次迭代出的光流进行卷积运算编码，得到所述帧I
t
的运动特征步骤S230：将所述帧I
t
‑1和所述帧I
t
的上下文张量f
t
‑1,f
t
输入所述时间注意力聚集器计算互注意力系数作为时间注意力系数α
temporal
，根据所述时间注意力系数对所述前一帧I
t
‑1的运动特征进行时间维度的聚集，得到时间相关特征步骤S240：将所述帧I
t
的上下文张量复制2次，并输入所述空间注意力聚集器计算自注意力系数作为空间注意力系数α
spatial
，根据所述空间注意力系数对所述当前帧t的运动特征进行空间维度的聚集，得到空间相关特征步骤S250：将所述当前帧I
t
的上下文张量、所述运动特...

【专利技术属性】
技术研发人员：于扬，王波，张壹帆，卢盖，吴思凯，储星星，胡德文，
申请(专利权)人：中国人民解放军国防科技大学，
类型：发明
国别省市：