图像处理方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种图像处理方法及装置、电子设备和存储介质，所述方法包括：确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；将第一注意力信息和第一色彩图像输入第一特征提取网络，获得第一特征信息；将第一时刻的动态视觉信息输入第二特征提取网络，获得的第二特征信息；根据第一特征信息和第二特征信息，获得目标对象在第一时刻的位置信息。根据本公开的实施例的图像处理方法，动态视觉信息的拍摄频率高于色彩图像的拍摄频率，可获取到色彩图像的拍摄间隔中的动态视觉信息，从而确定拍摄间隔中多个时刻的位置信息，使得位置信息的获取频率提高，有助于对运动对象的运动轨迹或动作进行追踪，提升追踪效果。果。果。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质


[0001]本公开涉及计算机
，尤其涉及一种图像处理方法及装置、电子设备和存储介质。

技术介绍

[0002]在相关技术中，相机或摄像头采集图像或视频帧的帧频不高，在一定时间段内采集到的视频帧的数量有限，如果拍摄的目标对象速度较快，则在两个视频帧之间的时间间隔中，难以拍摄到目标对象，也难以确定目标对象的位姿，导致遗漏目标对象的动作或轨迹。

技术实现思路

[0003]本公开提出了一种图像处理方法及装置、电子设备和存储介质。
[0004]根据本公开的一方面，提供了一种图像处理方法，包括：确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；将所述第一色彩图像以及所述第一注意力信息输入第一特征提取网络，获得所述第一色彩图像的第一特征信息；将第一时间段内的第一时刻获取的所述目标对象的动态视觉信息输入第二特征提取网络，获得与所述动态视觉信息对应的第二特征信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息。
[0005]在一种可能的实现方式中，根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息，包括：将所述第一特征信息和所述第二特征信息进行加权求和，获得第三特征信息；确定所述第三特征信息的第二注意力信息；根据所述第二注意力信息，确定所述目标对象在所述第一时刻的位置信息。
[0006]在一种可能的实现方式中，根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息，包括：将所述第一特征信息和所述第二特征信息进行加权求和，获得第四特征信息；对所述第四特征信息进行卡尔曼滤波处理，获得所述目标对象在所述第一时刻的位置信息。
[0007]在一种可能的实现方式中，确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息，包括：对所述第一色彩图像进行注意力自编码处理，获得所述第一注意力信息。
[0008]在一种可能的实现方式中，确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息，包括：对所述第一色彩图像和所述目标对象在第二时刻的位置信息进行注意力自编码处理，获得所述第一注意力信息，其中，所述第二时刻为获取到与所述第一色彩图像相邻的前一个动态视觉信息的时刻。
[0009]在一种可能的实现方式中，所述第一特征提取网络包括卷积神经网络，所述第二特征提取网络包括脉冲神经网络。
[0010]根据本公开的一方面，提供了一种图像处理装置，包括：注意力确定模块，用于确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；第一特征信息获取模块，用于将所述第一色彩图像以及所述第一注意力信息输入第一特征提取网络，获得所述第一色彩图像的第一特征信息；第二特征信息获取模块，用于将第一时间段内的第一时刻获取的所述目标对象的动态视觉信息输入第二特征提取网络，获得与所述动态视觉信息对应的第二特征信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；位置信息确定模块，用于根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息。
[0011]在一种可能的实现方式中，所述位置信息确定模块进一步用于：将所述第一特征信息和所述第二特征信息进行加权求和，获得第三特征信息；确定所述第三特征信息的第二注意力信息；根据所述第二注意力信息，确定所述目标对象在所述第一时刻的位置信息。
[0012]在一种可能的实现方式中，所述位置信息确定模块进一步用于：将所述第一特征信息和所述第二特征信息进行加权求和，获得第四特征信息；对所述第四特征信息进行卡尔曼滤波处理，获得所述目标对象在所述第一时刻的位置信息。
[0013]在一种可能的实现方式中，所述注意力确定模块进一步用于：对所述第一色彩图像进行注意力自编码处理，获得所述第一注意力信息。
[0014]在一种可能的实现方式中，所述注意力确定模块进一步用于：对所述第一色彩图像和所述目标对象在第二时刻的位置信息进行注意力自编码处理，获得所述第一注意力信息，其中，所述第二时刻为获取到与所述第一色彩图像相邻的前一个动态视觉信息的时刻。
[0015]在一种可能的实现方式中，所述第一特征提取网络包括卷积神经网络，所述第二特征提取网络包括脉冲神经网络。
[0016]根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。
[0017]根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
[0019]此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。
[0020]图1示出根据本公开实施例的图像处理方法的流程图；
[0021]图2示出根据本公开的实施例的图像处理方法应用示意图；
[0022]图3示出根据本公开的实施例的图像处理方法应用示意图；
[0023]图4示出根据本公开的实施例的图像处理装置的框图；
[0024]图5示出根据本公开的实施例的电子装置的框图；
[0025]图6示出根据本公开的实施例的电子装置的框图。
具体实施方式
[0026]以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
[0027]在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
[0028]本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
[0029]另外，为了更好地说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
[0030]图1示出根据本公开实施例的图像处理方法的流程图，如图1所示，所述图像处理方法包括：
[0031]在步骤S11中，确定第一时间段内获取的第一色彩图像中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息；将所述第一色彩图像以及所述第一注意力信息输入第一特征提取网络，获得所述第一色彩图像的第一特征信息；将第一时间段内的第一时刻获取的所述目标对象的动态视觉信息输入第二特征提取网络，获得与所述动态视觉信息对应的第二特征信息，其中，动态视觉信息的获取频率高于色彩图像的获取频率；根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息。2.根据权利要求1所述的方法，其特征在于，根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息，包括：将所述第一特征信息和所述第二特征信息进行加权求和，获得第三特征信息；确定所述第三特征信息的第二注意力信息；根据所述第二注意力信息，确定所述目标对象在所述第一时刻的位置信息。3.根据权利要求1所述的方法，其特征在于，根据所述第一特征信息和所述第二特征信息，获得所述目标对象在所述第一时刻的位置信息，包括：将所述第一特征信息和所述第二特征信息进行加权求和，获得第四特征信息；对所述第四特征信息进行卡尔曼滤波处理，获得所述目标对象在所述第一时刻的位置信息。4.根据权利要求1所述的方法，其特征在于，确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息，包括：对所述第一色彩图像进行注意力自编码处理，获得所述第一注意力信息。5.根据权利要求1所述的方法，其特征在于，确定第一时间段内获取的第一色彩图像中的目标对象的第一注意力信息，包括：对所述第一色彩图像和所述目标对象在第二时刻的位置信息...

【专利技术属性】
技术研发人员：赵蓉，施路平，杨哲宇，王韬毅，
申请(专利权)人：清华大学，
类型：发明
国别省市：