一种目标对象识别方法及电子设备技术

本发明专利技术公开了一种目标对象识别方法及电子设备，用于增强训练数据的丰富性，提高目标在夜间场景下的识别效果。该方法包括：获取包含目标对象的待识别图像序列；将所述待识别图像序列输入到特征提取网络，输出所述待识别图像序列包含的目标对象的对象特征；其中所述特征提取网络的训练集包括多个训练对象分别对应的图像序列集合，所述图像序列集合中的图像序列包括多个图像对，所述图像对包含两个图像，其中一个图像是对另一个图像进行转换得到的，所述图像对包含的两个图像的图像类型不相同；对所述待识别图像序列包含的目标对象的对象特征进行识别，确定所述目标对象的识别结果。果。果。

【技术实现步骤摘要】
一种目标对象识别方法及电子设备


[0001]本专利技术涉及目标识别
，特别涉及一种目标对象识别方法及电子设备。

技术介绍

[0002]随着深度学习技术的进展，近年来目标识别也取得了长足的进展，但是目标识别例如人脸识别对待识别图像的要求较高，需要进行近距离识别才能保证识别结果的准确性，并且，对于目标在图像中的大小也有较高的要求。
[0003]目前虽然也存在目标识别技术可以一定程度上规避上述缺点，但是目前的目标识别技术强依赖与纹理特征，在夜间场景下识别效果不佳，在运用上具有局限性。

技术实现思路

[0004]本专利技术提供一种目标对象识别方法及电子设备，用于通过将可见光图像转换为红外图像或将红外图像转换为可见光图像的方式，增强训练数据的丰富性，提高目标在夜间场景下的识别效果。
[0005]第一方面，本专利技术实施例提供的一种目标对象识别方法，包括：
[0006]获取包含目标对象的待识别图像序列；
[0007]将所述待识别图像序列输入到特征提取网络，输出所述待识别图像序列包含的目标对象的对象特征；其中所述特征提取网络的训练集包括多个训练对象分别对应的图像序列集合，所述图像序列集合中的图像序列包括多个图像对，所述图像对包含两个图像，其中一个图像是对另一个图像进行转换得到的，所述图像对包含的两个图像的图像类型不相同；
[0008]对所述待识别图像序列包含的目标对象的对象特征进行识别，确定所述目标对象的识别结果。
[0009]本专利技术通过在特征提取网络的训练阶段，将可见光图像转换为红外图像或将红外图像转换为可见光图像的方式，实现红外和可见光的互搜，增强训练数据的丰富性，由于在训练阶段，因此并不会增加推理阶段对目标对象识别产生的耗时，能够在不增加耗时的情况下提高目标在夜间场景下的识别效果。
[0010]作为一种可选的实施方式，所述图像对包括原始图像和对所述原始图像进行转换得到的图像；通过如下方式确定所述图像对：
[0011]若确定所述原始图像为可见光图像，则将所述可见光图像转换为红外图像，根据所述可见光图像和转换的红外图像，确定图像对；
[0012]若确定所述原始图像为红外图像，则将所述红外图像转换为可见光图像，根据所述红外图像和转换的可见光图像，确定图像对。
[0013]作为一种可选的实施方式，
[0014]若确定所述原始图像为可见光图像，则利用第一转换网络将所述可见光图像转换为红外图像，若确定所述原始图像为红外图像，则利用第二转换网络将所述红外图像转换
为可见光图像；
[0015]其中，所述第一转换网络和所述第二转换网络是基于样本集进行训练得到的，所述样本集包括多个样本对，所述第一转换网络和所述第二转换网络的训练过程包括：
[0016]若所述样本对包含的图像为可见光图像，则将所述样本对输入第一转换网络，输出红外样本对；将所述红外样本对输入第二转换网络，输出重建样本对；利用所述样本对和所述重建样本对确定的重建损失值，对第一转换网络和第二转换网络进行训练；
[0017]若所述样本对包含的图像为红外图像，则将所述样本对输入第二转换网络，输出可见光样本对；将所述可见光样本对输入第一转换网络，输出重建样本对；利用所述样本对和所述重建样本对确定的重建损失值，对第一转换网络和第二转换网络进行训练。
[0018]作为一种可选的实施方式，所述样本对包括相邻帧图像；光流表征相邻帧图像的帧间差异信息；还包括：
[0019]若所述样本对包含的图像为可见光图像，则确定所述样本对的第一光流，以及所述红外样本对的第二光流，其中根据第一光流和第二光流确定的帧间差异损失值，对第一转换网络和第二转换网络进行训练；
[0020]若所述样本对包含的图像为红外图像，则确定所述样本对的第三光流，以及所述可见光样本对的第四光流，其中根据第三光流和第四光流确定的帧间差异损失值，对第一转换网络和第二转换网络进行训练。
[0021]作为一种可选的实施方式，还包括：
[0022]若所述样本对包含的图像为可见光图像，则根据红外样本对和预先获取的真实红外图像确定的判别分类损失值，以及重建样本对和预先获取的真实可见光图像确定的判别分类损失值，对第一转换网络和第二转换网络进行训练；
[0023]若所述样本对包含的图像为红外图像，则根据可见光样本对和预先获取的真实可见光图像确定的判别分类损失值，以及重建样本对和预先获取的真实红外图像确定的判别分类损失值，对第一转换网络和第二转换网络进行训练。
[0024]作为一种可选的实施方式，所述特征提取网络包括骨干网络、第一提取网络和第二提取网络；
[0025]所述将所述待识别图像序列输入到特征提取网络，输出所述待识别图像序列包含的目标对象的对象特征，包括：
[0026]将所述待识别图像序列输入到所述骨干网络，输出对应的图像语义特征；
[0027]将所述图像语义特征输入到第一提取网络，输出第一特征，并将所述图像语义特征输入到第二提取网络，输出第二特征；其中所述第一特征表征待识别图像序列的序列特征，所述第二特征表征所述目标对象的步态特征；
[0028]根据所述第一特征和所述第二特征，确定所述待识别图像序列包含的目标对象的对象特征。
[0029]作为一种可选的实施方式，根据所述第一特征和所述第二特征，确定所述待识别图像序列包含的目标对象的对象特征，包括：
[0030]将所述第一特征和所述第二特征进行拼接得到的拼接特征，确定为所述对象特征；或，
[0031]将所述第一特征和所述第二特征相加得到的融合特征，确定为所述对象特征。
[0032]作为一种可选的实施方式，还包括序列特征提取网络、步态特征提取网络；所述特征提取网络包括骨干网络、第一提取网络和第二提取网络；所述特征提取网络的训练过程包括：
[0033]将图像序列集合输入到序列特征提取网络，输出对应的序列特征集；将图像序列集合输入到步态特征提取网络，输出对应的步态特征集；将图像序列集合输入到特征提取网络的骨干网络，输出图像语义特征集，将图像语义特征集输入到第一提取网络和第二提取网络，分别得到第一特征集和第二特征集；
[0034]根据序列特征集和第一特征集确定第一蒸馏损失值，根据步态特征集和第二特征集确定第二蒸馏损失值；
[0035]根据所述序列特征集、步态特征集、第一特征集和第二特征集各自对应的特征损失值，以及所述第一蒸馏损失值和第二蒸馏损失值，对所述特征提取网络进行训练。
[0036]作为一种可选的实施方式，所述特征提取网络还包括属性分类网络，所述属性分类网络用于提取目标对象的局部特征；所述特征提取网络的训练过程还包括：
[0037]将所述图像语义特征集输入到所述属性分类网络，输出对应的属性分类特征集，根据所述属性分类特征集确定属性分类损失值；
[0038]根据所述属性分类损失值对所述特征提取网络进行训练。
[0039]第二方面，本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标对象识别方法，其特征在于，该方法包括：获取包含目标对象的待识别图像序列；将所述待识别图像序列输入到特征提取网络，输出所述待识别图像序列包含的目标对象的对象特征；其中所述特征提取网络的训练集包括多个训练对象分别对应的图像序列集合，所述图像序列集合中的图像序列包括多个图像对，所述图像对包含两个图像，其中一个图像是对另一个图像进行转换得到的，所述图像对包含的两个图像的图像类型不相同；对所述待识别图像序列包含的目标对象的对象特征进行识别，确定所述目标对象的识别结果。2.根据权利要求1所述的方法，其特征在于，所述图像对包括原始图像和对所述原始图像进行转换得到的图像；通过如下方式确定所述图像对：若确定所述原始图像为可见光图像，则将所述可见光图像转换为红外图像，根据所述可见光图像和转换的红外图像，确定图像对；若确定所述原始图像为红外图像，则将所述红外图像转换为可见光图像，根据所述红外图像和转换的可见光图像，确定图像对。3.根据权利要求2所述的方法，其特征在于，若确定所述原始图像为可见光图像，则利用第一转换网络将所述可见光图像转换为红外图像，若确定所述原始图像为红外图像，则利用第二转换网络将所述红外图像转换为可见光图像；其中，所述第一转换网络和所述第二转换网络是基于样本集进行训练得到的，所述样本集包括多个样本对，所述第一转换网络和所述第二转换网络的训练过程包括：若所述样本对包含的图像为可见光图像，则将所述样本对输入第一转换网络，输出红外样本对；将所述红外样本对输入第二转换网络，输出重建样本对；利用所述样本对和所述重建样本对确定的重建损失值，对第一转换网络和第二转换网络进行训练；若所述样本对包含的图像为红外图像，则将所述样本对输入第二转换网络，输出可见光样本对；将所述可见光样本对输入第一转换网络，输出重建样本对；利用所述样本对和所述重建样本对确定的重建损失值，对第一转换网络和第二转换网络进行训练。4.根据权利要求3所述的方法，其特征在于，所述样本对包括相邻帧图像；光流表征相邻帧图像的帧间差异信息；还包括：若所述样本对包含的图像为可见光图像，则确定所述样本对的第一光流，以及所述红外样本对的第二光流，其中根据第一光流和第二光流确定的帧间差异损失值，对第一转换网络和第二转换网络进行训练；若所述样本对包含的图像为红外图像，则确定所述样本对的第三光流，以及所述可见光样本对的第四光流，其中根据第三光流和第四光流确定的帧间差异损失值，对第一转换网络和第二转换网络进行训练。5.根据权利要求3所述的方法，其特征在于，还包括：若所述样本对包含的图像为可见光图像，则根据红外样本对和预先获取的真实红外图像确定的判别分类损失值，以及重建样本对和预先获取的真实可见光图像确定的判别分类损失值，对第一转换网络和第二转换网络进行训练；若...

【专利技术属性】
技术研发人员：赵雷，潘华东，殷俊，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：