图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：对第一色彩图像进行目标特征提取处理，获得目标对象的目标特征信息；将第一时刻获取的动态视觉信息输入第一特征提取网络，获得第一特征图；根据目标特征信息和第一特征图，确定目标对象在第一时刻的位置信息。根据本公开的实施例的图像处理方法，可利用获取频率较高的动态视觉信息获得第一特征图，并基于第一特征图来确定目标对象在获取到动态视觉信息的第一时刻的位置信息。由于动态视觉信息的频率高于色彩图像的获取频率，可通过第一特征图确定两帧色彩图像之间的时间段中的多个时刻的位置信息，有助于对运动物体的运动轨迹或动作进行跟踪。动物体的运动轨迹或动作进行跟踪。动物体的运动轨迹或动作进行跟踪。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

技术介绍

[0002]在相关技术中，相机或摄像头采集图像或视频帧的帧频不高，在对高速运动的目标进行跟踪时，目标在两帧之间的时间段中的动作难以被跟踪，进而导致遗漏目标的动作或轨迹，使得跟踪效果不佳。

技术实现思路

[0003]本公开提出了一种图像处理方法及装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种图像处理方法，包括：对第一时间段内获取的预设场景的第一色彩图像中的目标区域进行目标特征提取处理，获得所述第一色彩图像中目标对象的目标特征信息；将所述第一时间段内的第一时刻获取的所述预设场景的动态视觉信息输入第一特征提取网络，获得与所述第一时刻的动态视觉信息对应的第一特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过第二特征提取网络训练的，所述第二特征提取网络用于提取色彩图像的特征图；根据所述目标特征信息和所述第一特征图，确定所述目标对象在所述第一时刻的位置信息，其中，所述目标对象为所述预设场景中的任意对象。
[0005]在一种可能的实现方式中，根据所述目标特征信息和所述第一特征图，确定所述目标对象在所述第一时刻的位置信息，包括：根据所述目标特征信息确定卷积核参数；根据所述卷积核参数对所述第一特征图进行卷积处理，得到所述目标特征信息与所述第一特征图之间的相关热力图；根据所述相关热力图，确定所述目标对象在所述第一时刻的位置信息。
[0006]在一种可能的实现方式中，所述方法还包括：对所述第一特征图进行解码处理，获得第一时刻的第二色彩图像。
[0007]在一种可能的实现方式中，所述方法还包括：根据所述位置信息，对所述第二色彩图像中的目标对象进行分割处理，获得所述目标对象的分割掩码图。
[0008]在一种可能的实现方式中，对预设场景的第一时间段内的第一色彩图像中的目标区域进行目标特征提取处理，获得所述第一色彩图像中目标对象的目标特征信息，包括：对所述第一色彩图像进行目标检测处理，获得所述目标对象所在的目标区域；对所述目标区域进行目标特征提取处理，获得所述目标特征信息。
[0009]在一种可能的实现方式中，所述方法还包括：通过预训练的第二特征提取网络对样本场景的样本色彩图像进行特征提取处理，获得第一样本特征图；通过第一特征提取网络对所述样本场景的样本动态视觉信息进行特征提取处理，获得第二样本特征图，其中，所述样本动态视觉信息与所述样本色彩图像同时获取；根据所述第一样本特征图和所述第二
样本特征图，确定第一特征提取网络的网络损失；根据所述网络损失，训练所述第一特征提取网络。
[0010]在一种可能的实现方式中，所述第一特征提取网络包括脉冲神经网络，所述第二特征提取网络包括卷积神经网络。
[0011]根据本公开的一方面，提供了一种图像处理装置，包括：目标特征信息提取模块，用于对第一时间段内获取的预设场景的第一色彩图像中的目标区域进行目标特征提取处理，获得所述第一色彩图像中目标对象的目标特征信息；特征图提取模块，用于将所述第一时间段内的第一时刻获取的所述预设场景的动态视觉信息输入第一特征提取网络，获得与所述第一时刻的动态视觉信息对应的第一特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过第二特征提取网络训练的，所述第二特征提取网络用于提取色彩图像的特征图；位置信息确定模块，用于根据所述目标特征信息和所述第一特征图，确定所述目标对象在所述第一时刻的位置信息，其中，所述目标对象为所述预设场景中的任意对象。
[0012]在一种可能的实现方式中，所述位置信息确定模块进一步用于：根据所述目标特征信息确定卷积核参数；根据所述卷积核参数对所述第一特征图进行卷积处理，得到所述目标特征信息与所述第一特征图之间的相关热力图；根据所述相关热力图，确定所述目标对象在所述第一时刻的位置信息。
[0013]在一种可能的实现方式中，所述装置还包括：解码模块，用于对所述第一特征图进行解码处理，获得第一时刻的第二色彩图像。
[0014]在一种可能的实现方式中，所述装置还包括：分割模块，用于根据所述位置信息，对所述第二色彩图像中的目标对象进行分割处理，获得所述目标对象的分割掩码图。
[0015]在一种可能的实现方式中，所述目标特征信息提取模块进一步用于：对所述第一色彩图像进行目标检测处理，获得所述目标对象所在的目标区域；对所述目标区域进行目标特征提取处理，获得所述目标特征信息。
[0016]在一种可能的实现方式中，所述装置还包括：训练模块，用于通过预训练的第二特征提取网络对样本场景的样本色彩图像进行特征提取处理，获得第一样本特征图；通过第一特征提取网络对所述样本场景的样本动态视觉信息进行特征提取处理，获得第二样本特征图，其中，所述样本动态视觉信息与所述样本色彩图像同时获取；根据所述第一样本特征图和所述第二样本特征图，确定第一特征提取网络的网络损失；根据所述网络损失，训练所述第一特征提取网络。
[0017]在一种可能的实现方式中，所述第一特征提取网络包括脉冲神经网络，所述第二特征提取网络包括卷积神经网络。
[0018]根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0019]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0020]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将
变得清楚。
附图说明
[0021]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0022]图1示出根据本公开实施例的图像处理方法的流程图；
[0023]图2示出根据本公开实施例的相关热力图的示意图；
[0024]图3示出根据本公开的实施例的分割网络的示意图；
[0025]图4示出根据本公开的实施例的图像处理方法的应用示意图；
[0026]图5示出根据本公开的实施例的图像处理装置的框图；
[0027]图6示出根据本公开的实施例的电子装置的框图；
[0028]图7示出根据本公开的实施例的电子装置的框图。
具体实施方式
[0029]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0030]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：对第一时间段内获取的预设场景的第一色彩图像中的目标区域进行目标特征提取处理，获得所述第一色彩图像中目标对象的目标特征信息；将所述第一时间段内的第一时刻获取的所述预设场景的动态视觉信息输入第一特征提取网络，获得与所述第一时刻的动态视觉信息对应的第一特征图，其中，动态视觉信息的获取频率高于色彩图像的获取频率，所述第一特征提取网络是通过第二特征提取网络训练的，所述第二特征提取网络用于提取色彩图像的特征图；根据所述目标特征信息和所述第一特征图，确定所述目标对象在所述第一时刻的位置信息，其中，所述目标对象为所述预设场景中的任意对象。2.根据权利要求1所述的方法，其特征在于，根据所述目标特征信息和所述第一特征图，确定所述目标对象在所述第一时刻的位置信息，包括：根据所述目标特征信息确定卷积核参数；根据所述卷积核参数对所述第一特征图进行卷积处理，得到所述目标特征信息与所述第一特征图之间的相关热力图；根据所述相关热力图，确定所述目标对象在所述第一时刻的位置信息。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：对所述第一特征图进行解码处理，获得第一时刻的第二色彩图像。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：根据所述位置信息，对所述第二色彩图像中的目标对象进行分割处理，获得所述目标对象的分割掩码图。5.根据权利要求1所述的方法，其特征在于，对预设场景的第一时间段内的第一色彩图像中的目标区域进行目标特征提取处理，获得所述第一色彩图像中目标对象的目标特征信息，包括：对所述第一色彩图像进行目标检测处理，获得所述目标对象所在的目标区域；对所述目标区域进行目标特征提取处理，获得所述目标特征信息。6.根据权利要求1所述的...

【专利技术属性】
技术研发人员：施路平，杨哲宇，赵蓉，
申请(专利权)人：清华大学，
类型：发明
国别省市：