【技术实现步骤摘要】
基于着色的红外视频行为识别方法、系统和电子设备
[0001]本专利技术属于人工智能、计算机视觉
，涉及一种行为识别方法，尤其涉及一种基于着色的红外视频行为识别方法、系统和电子设备。
技术介绍
[0002]行为识别主要是对特定场景下视频中的人类进行检测与跟踪，对其做出的行为动作进行识别、理解与分类。与传统行为识别技术研究的关键问题相比，本专利技术提出的场景是在红外摄像机范围内，对行人的运动行为进行识别并分类。随着红外监控的高频使用，红外视频凭借对光照条件变化和阴影具有鲁棒性的特点，在居民生活区的安全监控、生物医学等方面做出了突出贡献（授权公开号为CN111160181B的中国专利技术专利：一种基于红外视频图像的小目标检测方法），并逐渐引起了广大研究者的关注。但是，一方面，红外视频接收物体反射的红外光波，除了人体外还有其他物体对红外光波的反射率也较高；另一方面，红外图像作为单通道图像缺乏色彩信息；此外，红外图像与可见光图像特征不完全对齐，无法联合模型学习特征。
[0003]由于行为识别算法在可见光数据上已经较为成熟...
【技术保护点】
【技术特征摘要】
1.一种基于着色的红外视频行为识别方法，其特征在于，包括以下步骤：步骤1，预处理红外视频，获得随机裁剪的红外图像，并提取红外图像中的运动特征，将红外图像由RGB颜色空间转换至CIE Lab颜色空间；步骤2，建立颜色通道选择网络，颜色通道选择网络的处理过程为：对CIE Lab颜色空间下的图像序列依次进行通道分离、通道复制、通道组合操作，选取若干种通道组合加权融合得到融合后的图像，即为外观信息A；步骤3，建立颜色通道增强网络，颜色通道增强网络的处理过程为：对随机裁减后的红外图像进行图像分割处理，将背景与人物实例分离，根据亮度通道对色度信息进行预测，分别对完整图像和实例着色，并利用浅层网络学习融合权重，将背景着色图与实例着色图按学习融合权重融合，融合后的图像即为外观信息B；步骤4，构建一个三分支的网络模型，第一个分支为步骤1的运动特征提取分支，第二分支为步骤2中的颜色通道选择网络，第三分支为步骤3中的颜色通道增强网络，第一分支直接输出运动特征，将第二和第三分支的输出分别输入到特征提取器中，得到与外观信息A和外观信息B对应的外观特征A和外观特征B；步骤5，将步骤4中的外观特征A、外观特征B和运动特征分别输入到分类器中，其输出作为基于D
‑
S证据理论多分类融合决策算法中的三个证据，通过算法中意见生成和融合，得到每个类别的最优结果。2.如权利要求1所述的一种基于着色的红外视频行为识别方法，其特征在于：步骤1中，将图像从RGB颜色空间转换至XYZ颜色空间，然后再向CIE Lab颜色空间转换，实现色度与亮度分离，即，其中为视频序列，上标表示其所属颜色空间；转换公式如下：下：下：下：下：下：其中，分别代表RGB、XYZ、Lab颜色空间的各通道数值；从RGB颜色空间到XYZ颜色空间仅需经过一个线性的变换矩阵，而XYZ颜色空间到CIE Lab空间是一个非线性过程，是对应的非线性转换公式；、、表示同样照明条件下
一个完全漫反射体表面的三刺激值，、、是将三刺激值做归一化处理。3.如权利要求1所述的一种基于着色的红外视频行为识别方法，其特征在于：步骤2的具体实现方式如下；步骤2.1，将CIE Lab颜色空间中的红外图像序列进行通道分离，分别得到代表亮度的L通道和代表色度的a、b通道的红外图像序列、、，在保留L通道信息的情况下进行重新组合，在Lab空间中得到多种通道形式；步骤2.2，分别将多种通道组合融合后的图像送入在ImageNet上预训练的Inception
‑
V1模型进行识别，准确率最高的若干个通道形式，将它们进行加权融合，得到融合后的图像。4.如权利要求1所述的一种基于着色的红外视频行为识别方法，其特征在于：步骤3中，针对CIE Lab颜色空间下的图像，采用Mask R
‑
CNN或YOLO模型将人体实例对象检测出来，并通过边界框标注；利用着色网络，通过亮度通道信息预测色度通道信息，得到补充了缺失色度细节信息的红外图像，然后分别对整个图像和实例进行着色，获得全景着色图和实例着色图，其中i为实例的索引，L表示亮度，a、b表示色度。5.如权利要求4所述的一种基于着色的红外视频行为识别方法，其特征在于：步骤3中，将实例...
【专利技术属性】
技术研发人员：钟忺，刘炳义，李伟，郑晓燕，黄文心，王正，
申请(专利权)人：武汉大水云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。