图像识别方法、装置、电子设备及可读存储介质制造方法及图纸

本发明专利技术公开了一种图像识别方法、装置、电子设备及可读存储介质。该图像识别方法包括：基于当前帧图像的类型，通过卷积神经网络确定当前帧图像的第一特征图；确定当前帧图像之前的关键帧图像的第二特征图；对第一特征图和第二特征图进行特征对齐，得到第一对齐特征图；融合第一特征图和第一对齐特征图，得到第一融合特征图；基于第一融合特征图，识别当前帧图像中的内容。这样，可以在特征对齐的基础上再融合当前帧图像中的特征进行图像识别，使得进行图像识别的特征数量增加，在特征数量增加的基础上进行图像识别能够提高图像识别的准确性。

【技术实现步骤摘要】
图像识别方法、装置、电子设备及可读存储介质
本申请涉及图像处理领域，具体涉及一种图像识别方法、装置、电子设备及可读存储介质。
技术介绍
现有的图像检测与分割技术的进步都是基于图片层面上的，如何高效地解决基于视频的检测与分割由于两点原因仍然是一个富有挑战性的问题。第一，基于图片的检测与分割模型一般计算量和参数量都很大，直接将这个模型逐帧地应用到视频中会产生巨大的计算量；第二，视频中的物体会存在一些运动模糊、失焦和罕见姿势的问题。为了解决上述存在的问题，现有技术通常是在视频中选取一些稀疏的关键帧，剩余的其他帧当作非关键帧，然后只在这些关键帧上提取特征，其他非关键帧就利用光流网络输出的光流来将附近的关键帧特征给映射和对齐过来，作为非关键的特征，因为光流网络的计算量是小于整个特征提取网络的，从而能够有效降低计算量且能够提高图像处理的精度。但是，现有技术中的光流网络是用来捕捉两张图片之间像素的对应点然后输出相应的偏移量的，直接将光流网络用在具有更抽象的语义信息的特征层面上会很难找到两个高层次特征在空间上的对应性和偏移量，导致图像识别的精度本文档来自技高网...

【技术保护点】
1.一种图像识别方法，包括：/n确定当前帧图像的类型；/n基于所述类型，通过卷积神经网络确定当前帧图像用于参与特征对齐及融合的第一特征图；/n确定所述当前帧图像之前的关键帧图像的第二特征图；/n对所述第一特征图和所述第二特征图进行特征对齐，得到第一对齐特征图；/n融合所述第一特征图和所述第一对齐特征图，得到第一融合特征图；/n基于所述第一融合特征图，识别所述当前帧图像中的内容。/n

【技术特征摘要】
1.一种图像识别方法，包括：
确定当前帧图像的类型；
基于所述类型，通过卷积神经网络确定当前帧图像用于参与特征对齐及融合的第一特征图；
确定所述当前帧图像之前的关键帧图像的第二特征图；
对所述第一特征图和所述第二特征图进行特征对齐，得到第一对齐特征图；
融合所述第一特征图和所述第一对齐特征图，得到第一融合特征图；
基于所述第一融合特征图，识别所述当前帧图像中的内容。


2.根据权利要求1所述的方法，所述基于所述类型，通过卷积神经网络确定当前帧图像用于参与融合的第一特征图，包括：
若所述当前帧图像的类型为关键帧图像，基于所述卷积神经网络中具有第一预设层数的卷积层确定所述当前帧图像的第一浅层特征图；
基于所述卷积神经网络中具有第二预设层数的卷积层确定所述当前帧图像的第一高层特征图，其中，所述第一预设层数小于所述第二预设层数；
基于所述第一浅层特征图与所述第二高层特征图确定当前帧图像用于参与融合的第一特征图。


3.如权利要求1所述的方法，所述确定所述当前帧图像之前的关键帧图像的第二特征图，包括：
若所述当前帧图像的类型为关键帧图像，从缓存中读取所述当前帧图像之前的前一关键帧图像的第二特征图，所述第二特征图是基于所述当前帧图像之前的前一关键帧图像的第二浅层特征图和第二高层特征图确定的。


4.如权利要求1所述的方法，所述基于所述类型，通过卷积神经网络确定当前帧图像用于参与融合的第一特征图，包括：
若所述当前帧图像的类型为非关键帧图像，基于所述卷积神经网络中具有所述第一预设层数的卷积层确定所述当前帧图像的第三浅层特征图；
将所述第三浅层特征图通过空间变换网络进行空间变换，得到第一变换特征图；
基于所述第一变换特征图确定所述第一特征图。


5.如权利要求4所述的方法，所述确定所述当前帧图像之前的关键帧图像的第二特征图，包括：
若所述当前帧图像的类型为非关键帧图像，从缓存中读取所述当前帧图像之前的前一关键帧图像的第二特征图；所述第二特征图是基于所述当前帧图像之前的前一关键帧图像的用于参与融合的第三特征图与所述当前帧图像之前的前二关键帧图像的用于参与融合的第四特征图确定的。


6.如权利要求1-5任一项所述的方...

【专利技术属性】
技术研发人员：郭超旭，张骞，王国利，黄畅，
申请(专利权)人：南京地平线机器人技术有限公司，
类型：发明
国别省市：江苏;32