基于红外光和可见光融合的行为识别方法及终端设备技术

本申请适用于行为识别技术领域，提供了一种基于红外光和可见光融合的行为识别方法及终端设备，其中，方法包括：获取待识别的至少一个已配准图像组，已配准图像组包括已配准的一张可见光图像和一张红外光图像；针对每个已配准图像组，对已配准图像组中的可见光图像进行去噪处理，得到可见光图像的去噪图像；将已配准图像组中的红外光图像与可见光图像的去噪图像进行融合，得到已配准图像组在预设约束条件下的融合图像；在预设约束条件下，融合图像与红外光图像的像素差异最小，且融合图像与去噪图像的梯度差异最小；基于所有已配准图像组在预设约束条件下的融合图像，确定已配准图像组中的目标对象的行为类别。该方案可以提高行为识别的准确度。为识别的准确度。为识别的准确度。

【技术实现步骤摘要】
基于红外光和可见光融合的行为识别方法及终端设备


[0001]本申请属于行为识别
，尤其涉及一种基于红外光和可见光融合的行为识别方法及终端设备。

技术介绍

[0002]动物行为是指在外界环境的刺激下动物所表现出的适应于环境的动作，动物的行为可能会对其自身的繁殖或其它动物的行为产生一定影响，因此，研究动物行为有助于了解动物的行为特点或需求等，可以辅助动物看护员实现对动物的管理。研究动物行为的基础是对动物的行为进行准确识别。
[0003]传统的行为识别方法是，通过非接触式红外光摄像机采集包含动物热辐射信息的红外光图像，或者通过可见光摄像装置采集包含物体外观信息的可见光图像，再单独基于红外光图像对动物行为进行识别，或者单独基于可见光图像进对动物行为进行识别，该行为识别方式的行为识别准确率较低。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种基于红外光和可见光融合的行为识别方法及终端设备，以解决现有行为识别方法的行为识别准确度较低的技术问题。
[0005]第一方面，本申请实施例提供一种基于红外光和可见光融合的行为识别方法，包括：获取待识别的至少一个已配准图像组；所述已配准图像组包括已配准的一张可见光图像和一张红外光图像；针对每个所述已配准图像组，对所述已配准图像组中的可见光图像进行去噪处理，得到所述可见光图像的去噪图像；将所述红外光图像与所述去噪图像进行融合，得到所述已配准图像组在预设约束条件下的融合图像；在所述预设约束条件下，所述融合图像与所述红外光图像的像素差异最小，且所述融合图像与所述去噪图像的梯度差异最小；基于所有所述已配准图像组在预设约束条件下的融合图像，确定所述已配准图像组中的目标对象的行为类别。
[0006]在第一方面的一种可选的实现方式中，所述对所述已配准图像组中的可见光图像进行去噪处理，得到所述可见光图像的去噪图像，包括：基于所述可见光图像中各个像素的灰度值，采用第一梯度函数确定所述可见光图像中各个像素的水平二阶梯度和垂直二阶梯度；所述第一梯度函数为：VIS
h(i)
=[1/2(vis
i
‑
vis
r(i)
)+1/2(vis
i
‑
vis
l(i)
)]2；VIS
v(i)
=[1/2(vis
i
‑
vis
b(i)
)+1/2(vis
i
‑
vis
o(i)
)]2；其中，VIS
h(i)
为所述可见光图像中第i个像素的水平二阶梯度，VIS
v(i)
为所述可见光图像中第i个像素的垂直二阶梯度，vis
i
为所述可见光图像中第i个像素的灰度值，vis
r(i)
为位于所述第i个像素右侧且与所述第i个像素相邻的像素的灰度值，vis
l(i)
为位于所述第i个像素左侧且与所述第i个像素相邻的像素的灰度值，vis
b(i)
为位于所述第i个像素下方且与所述第i个像素相邻的像素的灰度值，vis
o(i)
为位于所述第i个像素上方且与所述第i个像素相邻的像素的灰度值；针对所述可见光图像中的每个像素，对所述像素的所述水平二阶梯度与所述垂直二阶梯度之和进行开二次方运算，得到所述像素的综合梯度；将所述可见光图像中所有像素的所述综合梯度之和确定为去噪调节因子；基于所述可见光图像的列向量、所述去噪调节因子及预设正则化权重，采用预设去噪函数确定所述去噪图像的列向量；所述预设去噪函数为：DeN=Vis+λ*DeN
vis
；其中，DeN为所述去噪图像的列向量，Vis为所述可见光图像的列向量，λ为所述预设正则化权重，DeN
vis
为所述去噪调节因子。
[0007]在第一方面的一种可选的实现方式中，所述将所述红外光图像与所述去噪图像进行融合，得到所述已配准图像组在预设约束条件下的融合图像，包括：基于所述红外光图像的列向量和所述去噪图像的列向量，采用预设约束函数确定所述融合图像的待调节列向量；所述预设约束函数为：；其中，MIX
*
为所述融合图像的待调节列向量，InF为所述红外光图像的列向量，
▽
MIX
*
为所述融合图像的梯度向量，DeN
*
为所述去噪图像的列向量，||MIX
*
‑
InF||2用于表示MIX
*
‑
InF的L2范数，||
▽
MIX
*
‑ꢀ
DeN
*
||1用于表示
▽
MIX
*
‑ꢀ
DeN
*
的L1范数，λ为预设正则化权重；所述融合图像的梯度向量中的每个元素的值均通过以下公式确定得到：MIX
*1
=[1/2(MIX
*i
‑
MIX
*r(i)
)+1/2(MIX
*i
‑
MIX
*l(i)
)]2；MIX
*2
=[1/2(MIX
*i
‑
MIX
*b(i)
)+1/2(MIX
*i
‑
MIX
*o(i)
)]2；；其中，MIX
*i
为所述融合图像的待调节列向量中第i个元素对应的像素的灰度值，MIX
*r(i)
为位于所述第i个元素对应的像素右侧且与所述第i个元素对应的像素相邻的像素的灰度值，MIX
*l(i)
为位于所述第i个元素对应的像素左侧且与所述第i个元素对应的像素相邻的像素的灰度值，MIX
*b(i)
为位于所述第i个元素对应的像素下方且与所述第i个元素对应的像素相邻的像素的灰度值，MIX
*o(i)
为位于所述第i个元素对应的像素上方且与所述第i个元素对应的像素相邻的像素的灰度值；对所述融合图像的待调节列向量进行标准化处理，得到所述融合图像的列向量。
[0008]在第一方面的一种可选的实现方式中，所述对所述融合图像的待调节列向量进行标准化处理，得到所述融合图像的列向量，包括：基于预设标准化公式对所述融合图像的待调节列向量进行标准化处理，得到所述融合图像的列向量；所述预设标准化公式为：
；其中，MIX
*i
为所述融合图像的待调节列向量中第i个元素对应的像素的灰度值，MIX
i
为所述融合图像的列向量中第i个元素对应的像素的灰度值。
[0009]在第一方面的一种可选的实现方式中，所述基于所有所述已配准图像组在预设约束条件下的融合图像，确定所述已配准图像组中的目标对象的行为类别，包括：将所有所述融合图像导入至上下文注意力网络中，得到所述已配准图像组中的目标对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于红外光和可见光融合的行为识别方法，其特征在于，包括：获取待识别的至少一个已配准图像组；所述已配准图像组包括已配准的一张可见光图像和一张红外光图像；针对每个所述已配准图像组，对所述已配准图像组中的可见光图像进行去噪处理，得到所述可见光图像的去噪图像；将所述红外光图像与所述去噪图像进行融合，得到所述已配准图像组在预设约束条件下的融合图像；在所述预设约束条件下，所述融合图像与所述红外光图像的像素差异最小，且所述融合图像与所述去噪图像的梯度差异最小；基于所有所述已配准图像组在预设约束条件下的融合图像，确定所述已配准图像组中的目标对象的行为类别。2.根据权利要求1所述的行为识别方法，其特征在于，所述对所述已配准图像组中的可见光图像进行去噪处理，得到所述可见光图像的去噪图像，包括：基于所述可见光图像中各个像素的灰度值，采用第一梯度函数确定所述可见光图像中各个像素的水平二阶梯度和垂直二阶梯度；所述第一梯度函数为：VIS
h(i)
=[1/2(vis
i
‑
vis
r(i)
)+1/2(vis
i
‑
vis
l(i)
)]2；VIS
v(i)
=[1/2(vis
i
‑
vis
b(i)
)+1/2(vis
i
‑
vis
o(i)
)]2；其中，VIS
h(i)
为所述可见光图像中第i个像素的水平二阶梯度，VIS
v(i)
为所述可见光图像中第i个像素的垂直二阶梯度，vis
i
为所述可见光图像中第i个像素的灰度值，vis
r(i)
为位于所述第i个像素右侧且与所述第i个像素相邻的像素的灰度值，vis
l(i)
为位于所述第i个像素左侧且与所述第i个像素相邻的像素的灰度值，vis
b(i)
为位于所述第i个像素下方且与所述第i个像素相邻的像素的灰度值，vis
o(i)
为位于所述第i个像素上方且与所述第i个像素相邻的像素的灰度值；针对所述可见光图像中的每个像素，对所述像素的所述水平二阶梯度与所述垂直二阶梯度之和进行开二次方运算，得到所述像素的综合梯度；将所述可见光图像中所有像素的所述综合梯度之和确定为去噪调节因子；基于所述可见光图像的列向量、所述去噪调节因子及预设正则化权重，采用预设去噪函数确定所述去噪图像的列向量；所述预设去噪函数为：DeN=Vis+λ*DeN
vis
；其中，DeN为所述去噪图像的列向量，Vis为所述可见光图像的列向量，λ为所述预设正则化权重，DeN
vis
为所述去噪调节因子。3.根据权利要求1所述的行为识别方法，其特征在于，所述将所述红外光图像与所述去噪图像进行融合，得到所述已配准图像组在预设约束条件下的融合图像，包括：基于所述红外光图像的列向量和所述去噪图像的列向量，采用预设约束函数确定所述融合图像的待调节列向量；所述预设约束函数为：；其中，MIX
*
为所述融合图像的待调节列向量，InF为所述红外光图像的列向量，
▽
MIX
*
为所述融合图像的梯度向量，DeN
*
为所述去噪图像的列向量，||MIX
*
‑
InF||2用于表示MIX
*
‑
InF的L2范数，||
▽
MIX
*
‑ꢀ
DeN
*
||1用于表示
▽
MIX

【专利技术属性】
技术研发人员：李月忠，
申请(专利权)人：天津瑞津智能科技有限公司，
类型：发明
国别省市：