【技术实现步骤摘要】
本申请涉及数字图像信号处理，尤其涉及一种事件图像的处理方法、处理模型的训练方法和相关设备。
技术介绍
1、事件相机(event-based camera)是一种新型的仿生异步传感器，不同于传统相机拍摄得到的瞬间静态图像，事件相机拍摄的是“事件”，“事件”可以简单理解为“像素亮度的变化”，即事件相机输出的是像素亮度的变化情况。
2、相关技术中，为实现对事件图像的识别，需要基于大量的事件图像训练集和验证集(统称为“事件图像数据集”)对预先构建的模型进行重新训练。然而，受限于事件相机的工作原理和输出特性，事件图像数据集的数量通常十分有限，因此，训练得到的模型无法很好地对事件图像中的目标物体进行识别，进而使得模型输出的目标物体对应的识别结果的准确度差。
技术实现思路
1、本申请实施例的主要目的在于提出一种事件图像的处理方法、处理模型的训练方法和相关设备，旨在提高对事件图像中的目标物体识别的准确度。
2、为实现上述目的，本申请实施例的第一方面提出了一种事件图像的处理方法，方法包括：
3、获取事件图像，并将事件图像输入预先训练好的事件图像处理模型中；
4、提取事件图像中的事件特征，并将事件特征输入编码器中进行多个不同尺度下地编码处理，输出多个不同尺度下的中间特征；
5、对最后一个尺度下输出的中间特征进行残差处理，得到目标语义特征，并将目标语义特征和各个中间特征输入亮度解码器中进行对应尺度下的解码处理，输出多个不同尺度下的亮度特征；p>
6、将目标语义特征和各个亮度特征输入颜色解码器中进行对应尺度下的解码处理，输出多个不同尺度下的颜色特征；
7、拼接预设尺度下的亮度特征和颜色特征，输出事件图像对应的目标颜色图像；
8、对目标颜色图像中的目标物体进行识别，得到目标识别结果。
9、在一些实施例中，事件图像包括正事件图像和负事件图像；
10、提取事件图像中的事件特征，包括：
11、对正事件图像进行特征提取，得到多个正事件特征，并对负事件图像进行特征提取，得到多个负事件特征；
12、融合正事件特征和负事件特征，得到事件特征。
13、在一些实施例中，中间特征包括第一中间特征和第二中间特征；
14、将目标语义特征和各个中间特征输入亮度解码器中进行对应尺度下的解码处理，输出多个不同尺度下的亮度特征，包括：
15、基于亮度解码器对目标语义特征进行反卷积处理，得到初始第一亮度特征；
16、基于相应尺度下的第一中间特征，对初始第一亮度特征进行解码处理，得到第一亮度特征；
17、对第一亮度特征进行反卷积处理，得到初始第二亮度特征；
18、基于相应尺度下的第二中间特征，对初始第二亮度特征进行解码处理，得到第二亮度特征。
19、在一些实施例中，基于相应尺度下的第一中间特征，对初始第一亮度特征进行解码处理，得到第一亮度特征，包括：
20、将初始第一亮度特征和相应尺度下的第一中间特征和进行拼接，并基于事件图像处理模型的注意力模块对拼接后的结果进行处理，得到第一子特征；
21、分别对第一子特征进行全局平均池化处理和激活处理后的结果相加，并计算相加后的结果与第一子特征的同或结果，得到更新后的第一子特征；
22、叠加更新后的第一子特征和初始第一亮度特征，得到第一亮度特征。
23、在一些实施例中，将目标语义特征和各个亮度特征输入颜色解码器中进行对应尺度下的解码处理，输出多个不同尺度下的颜色特征，包括：
24、基于颜色解码器对目标语义特征进行反卷积处理，得到初始第一颜色特征；
25、基于相应尺度下的第一亮度特征，对初始第一颜色特征进行解码处理，得到第一颜色特征；
26、对第一颜色特征进行反卷积处理，得到初始第二颜色特征；
27、基于相应尺度下的第二亮度特征，对初始第二颜色特征进行解码处理，得到第二颜色特征。
28、在一些实施例中，基于相应尺度下的第一亮度特征，对初始第一颜色特征进行解码处理，得到第一颜色特征，包括：
29、对相应尺度下叠加的第一亮度特征和初始第一颜色特征进行逆卷积处理，得到逆卷积结果；
30、对逆卷积结果进行正则化处理得到正则化结果，对正则化结果进行激活处理得到第一颜色特征。
31、为实现上述目的，本申请实施例的第二方面提出了一种处理模型的训练方法，方法包括：
32、获取样本事件图像，并将样本事件图像输入初始的事件图像处理模型中；
33、提取样本事件图像中的样本事件特征，并将样本事件特征输入编码器中进行多个不同尺度下地编码处理，输出多个不同尺度下的样本中间特征；
34、对最后一个卷积层输出的样本中间特征进行残差处理，得到样本语义特征，并将样本语义特征和各个样本中间特征输入亮度解码器中进行对应尺度下的解码处理，输出多个不同尺度下的样本亮度特征；
35、将样本语义特征和各个样本亮度特征输入颜色解码器中进行对应尺度下的解码处理，输出多个不同尺度下的样本颜色特征；
36、拼接预设尺度下的样本亮度特征和样本颜色特征，输出样本事件图像对应的样本颜色图像，并对样本颜色图像中的样本物体进行识别，得到样本识别结果；
37、基于样本识别结果计算得到样本损失值，并基于样本损失值对事件图像处理模型的模型参数进行调整，得到训练后的事件图像处理模型。
38、在一些实施例中，拼接预设尺度下的样本亮度特征和样本颜色特征，输出样本事件图像对应的样本颜色图像，包括：
39、拼接预设尺度下的样本亮度特征和样本颜色特征，得到lab颜色空间下的样本颜色图像；
40、对样本颜色图像进行非线性转换处理，得到rgb颜色空间下更新后的样本颜色图像。
41、在一些实施例中，基于样本识别结果计算得到样本损失值，包括：
42、获取样本事件图像对应的样本验证图像，其中，样本事件图像和样本验证图像中包括同一样本物体；
43、对样本验证图像中的样本物体进行识别，得到样本验证结果，并对比样本识别结果和样本验证结果之间的差异，得到交叉熵损失值；
44、对样本颜色图像进行特征提取操作，得到第一语义特征，并对样本验证图像进行特征提取操作，得到第二语义特征；
45、对比第一语义特征和第二语义特征之间的差异，得到语义对齐损失值；
46、对第一语义特征和第二语义特征进行对数运算处理，得到对比学习损失值；
47、叠加交叉熵损失值、语义对齐损失值和对比学习损失值，得到样本损失值。
48、为实现上述目的，本申请实施例的第三方面提出了一种事件图像的处理装置，装置包括：
49、获取模块，用于获取事件图像，并将事件图像输入预先训练好的事件图像处理模型中；...
【技术保护点】
1.一种事件图像的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述事件图像包括正事件图像和负事件图像；
3.根据权利要求1所述的方法，其特征在于，所述中间特征包括第一中间特征和第二中间特征；
4.根据权利要求3所述的方法，其特征在于，所述基于相应尺度下的所述第一中间特征，对所述初始第一亮度特征进行解码处理，得到第一亮度特征，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述目标语义特征和各个所述亮度特征输入颜色解码器中进行对应尺度下的解码处理，输出多个不同尺度下的颜色特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于相应尺度下的所述第一亮度特征，对所述初始第一颜色特征进行解码处理，得到第一颜色特征，包括：
7.一种处理模型的训练方法，其特征在于，所述方法包括：
8.根据权利要求7所述的方法，其特征在于，所述拼接各尺度下的所述样本亮度特征和所述样本颜色特征，输出所述样本事件图像对应的样本颜色图像，包括：
9.根据权利要求7所述的
10.一种事件图像的处理装置，其特征在于，所述装置包括：
11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的事件图像的处理方法或实现权利要求7至9任一项所述的处理模型的训练方法。
12.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的事件图像的处理方法或实现权利要求7至9任一项所述的处理模型的训练方法。
...【技术特征摘要】
1.一种事件图像的处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述事件图像包括正事件图像和负事件图像；
3.根据权利要求1所述的方法，其特征在于，所述中间特征包括第一中间特征和第二中间特征；
4.根据权利要求3所述的方法，其特征在于，所述基于相应尺度下的所述第一中间特征，对所述初始第一亮度特征进行解码处理，得到第一亮度特征，包括：
5.根据权利要求3所述的方法，其特征在于，所述将所述目标语义特征和各个所述亮度特征输入颜色解码器中进行对应尺度下的解码处理，输出多个不同尺度下的颜色特征，包括：
6.根据权利要求5所述的方法，其特征在于，所述基于相应尺度下的所述第一亮度特征，对所述初始第一颜色特征进行解码处理，得到第一颜色特征，包括：
7.一种处理模型的训练方法，其特征在于，所述方法包...
【专利技术属性】
技术研发人员：梁权民，杨飞雕，吴泽斌，周晖晖，田永鸿，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。