基于图像的速度确定方法、装置、设备及存储介质制造方法及图纸

本申请提供一种基于图像的速度确定方法、装置、设备及存储介质，涉及图像识别技术领域。方法包括：获取目标对象在环境空间运动过程中的第一图像和第二图像，第一图像的采集时间晚于第二图像的采集时间；将从第一图像中提取的第一特征与从第二图像中提取的第二特征融合，得到融合特征图，融合特征图包括目标对象的第一像素位置信息和第二像素位置信息；对融合特征图进行第一卷积操作，得到位移信息特征图，位移信息特征图用于表征像素位置与位移的对应关系；从位移信息特征图中提取与目标像素位置对应的目标位移；根据目标位移，确定目标对象在第一图像的采集时间的运动速度。象在第一图像的采集时间的运动速度。象在第一图像的采集时间的运动速度。

【技术实现步骤摘要】
基于图像的速度确定方法、装置、设备及存储介质


[0001]本申请涉及图像识别
，尤其涉及基于图像的速度确定方法、装置、设备及存储介质。

技术介绍

[0002]目前，利用拍摄的目标对象的视频，来估算该目标对象的运动速度，已成为一种普遍的趋势。如，目标对象为相对本车辆运动的目标车辆，可以通过拍摄目标车辆的视频，确定该目标车辆的当前行驶速度。
[0003]相关技术中，通常采用光流法对运动图像分析，来预测图像中目标对象的运动速度。该方法的实现是以“输入图像的图像亮度恒定”为前提，而在实际应用中，很难保证目标对象的图像亮度恒定。可见，采用上述方法预测速度，会因输入的图像亮度不稳定，而造成预测的运行速度误差大、准确性低等问题。因此，如何避免输入的图像特性的影响，提高预测的运行速度的准确性，已成为当下亟待解决的技术问题。

技术实现思路

[0004]基于上述技术问题，本申请提供一种基于图像的速度确定方法、装置、设备及存储介质，用于解决因输入的图像亮度不稳定，而造成预测的运行速度误差大、准确性低等问题。
[0005]第一方面，提供了一种基于图像的速度确定方法，该方法包括：获取目标对象在环境空间运动过程中的第一图像和第二图像，第一图像的采集时间晚于第二图像的采集时间；将从第一图像中提取的第一特征与从第二图像中提取的第二特征融合，得到融合特征图，融合特征图包括目标对象的第一像素位置信息和第二像素位置信息，第一像素位置信息表征目标对象在第一图像中的像素位置，第二像素位置信息表征目标对象在第二图像中的像素位置；对融合特征图进行第一卷积操作，得到位移信息特征图，位移信息特征图用于表征像素位置与位移的对应关系；从位移信息特征图中提取与目标像素位置对应的目标位移，目标像素位置为位移信息特征图中与目标对象的第一像素位置信息相对应的像素位置；根据目标位移，确定目标对象在第一图像的采集时间的运动速度。
[0006]应理解的是，上述第一特征与第二特征包括不同环境空间角度的底层特征和多次度特征。
[0007]本申请提供的速度确定方法中，分别从两帧图像中提取目标对象在环境空间中不同位置的不同特征，即，第一特征和第二特征。再通过将两帧图像对应的第一特征和第二特征融合在融合特征中，以关联第一特征和第二特征。而第一特征与第二特征对于环境空间的表征的特征角度不同，将第一特征和第二特征融合在一个融合特征中，更有利于识别和提取到两帧图像中目标对象在环境空间中的特征差异，故根据融合特征得到的位移信息特征图，能更加精准地确定出目标对象的位移。基于此，对目标对象在不同采集时间的两帧图像的信息进行提取和执行对应的卷积操作，就能直接确定出目标对象的位移，从而确定出
目标对象在第一图像的采集时间的运动速度，该速度确定方式不受输入图像的图像特性(如，图像亮度)的限制，对各种输入不同帧的图像均使用，使用场景广泛、确定过程简单，避免了相关技术中，因输入图像的图像特性的限制，而造成确定的目标对象的运动速度准确性低的问题。
[0008]在一种可能的实现方式中，该方法还包括：获取目标对象在第一图像的采集时间的目标空间位置，目标空间位置为目标对象在环境空间的三维位置；确定目标空间位置投影在第一图像上的二维投影位置；按照第一图像的尺寸与位移信息特征图的尺寸的比例，将二维投影位置转换成目标像素位置。
[0009]应理解的是，第一图像上的至少一个像素位置包括该目标空间位置投影至第一图像的二维投影位置，且在空间位置与第一图像之间存在的投影转换关系，即，空间位置已知的情况下，投影至第一图像的像素位置已知。因此，该实现方式，根据第一图像中二维像素与环境空间中目标对象的空间位置的转换关系，提供了一种基于目标对象的目标空间位置获取目标像素位置的方式。相比于从第一图像提取目标对象的像素位置确定目标像素位置，该实现方式基于目标对象的空间位置，更加符合环境空间场景，从而获取的目标像素位置更加准确。
[0010]另一种可能的实现方式中，该速度确定方法还包括：对融合特征图进行第二卷积操作，得到位移不确定度特征图；位移不确定度特征图用于表征像素位置与位移不确定度的对应关系，位移不确定度表示位移信息特征图中任一像素位置对应的位移的准确程度；根据目标像素位置，从位移不确定度特征图中提取目标位移对应的位移不确定度。
[0011]可理解的是，位移与位移不确定度一一对应。
[0012]该实现方式中，位移不确定度的大小体现了确定的目标位移的准确度高低，即，该位移不确定度越大，说明得到的目标位移准确度越低，对应地，该位移不确定度越小，说明得到的目标位移准确度越高。故，在实际应用中，可以采集多组两帧图像，得到多个目标位移和多个位移不确定度。再从多个目标位移中，选取对应的位移不确定度最小的目标位移，并用该位移不确定度最小的目标位移，来确定目标对象的运动速度，以使确定目标对象的运动速度更加精准。
[0013]另一种可能的实现方式中，将从第一图像中提取的第一特征与从第二图像中提取的第二特征融合，得到融合特征图，以及对融合特征图进行第一卷积操作，得到位移信息特征图，包括：将第一图像和第二图像输入至位移确定模型，得到位移确定模型输出的位移信息特征图。
[0014]可以理解的是，上述位移确定模型是基于训练样本训练好的模型。
[0015]该实现方式，将目标对象在不同采集时间的两帧图像输入至位移确定模型，就能直接确定出目标对象的位移，从而确定出目标对象在第一图像的采集时间的运动速度。上述将两帧图像输入位移确定模型，一步取代了特征的提取、融合和第一卷积操作的执行步骤，能更加快速地确定出位移，从而提高确定目标对象的运动速度的效率。
[0016]另一种可能的实现方式中，位移确定模型包括特征提取模块、融合模块、位移信息特征图确定模块；特征提取模块，用于从第一图像中提取第一特征，以及从第二图像中提取第二特征；融合模块，用于将第一特征和第二特征融合，以输出融合特征图；位移信息特征图确定模块，用于根据融合特征图，输出位移信息特征图。
[0017]另一种可能的实现方式中，位移确定模型还包括位移不确定特征图确定模块；位移不确定特征图确定模块，用于根据融合特征图，输出位移不确定特征图。
[0018]该实现方式，将目标对象在不同采集时间的两帧图像输入至位移确定模型，就能直接确定出目标对象的位移不确定度，即，将基于两帧图像得到的融合特征图输入至位移不确定特征图确定模块，就能得到目标对象的位移不确定度。该方式简单直接，便于实际应用。
[0019]第二方面，提供了一种位移确定模型的训练方法，该方法包括：获取训练样本集，训练样本集中的每个训练样本包括样本对象运动过程中的第一训练图像和第二训练图像，以及训练样本对应的标签；第一训练图像的第一采样时间晚于第二训练图像的第二采样时间；标签包括样本对象在第一训练图像中的第一真实像素位置和样本对象在第一采样时间与第二采样时间之间产生的真实位移；采用训练样本集，对预设的初始模型进行训练，得到位移确定模型；其中，初始模型包括特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图像的速度确定方法，其特征在于，所述方法包括：获取目标对象在环境空间运动过程中的第一图像和第二图像，所述第一图像的采集时间晚于所述第二图像的采集时间；将从所述第一图像中提取的第一特征与从所述第二图像中提取的第二特征融合，得到融合特征图，所述融合特征图包括所述目标对象的第一像素位置信息和第二像素位置信息，所述第一像素位置信息表征所述目标对象在所述第一图像中的像素位置，所述第二像素位置信息表征所述目标对象在所述第二图像中的像素位置；对所述融合特征图进行第一卷积操作，得到位移信息特征图，所述位移信息特征图用于表征像素位置与位移的对应关系；从所述位移信息特征图中提取与目标像素位置对应的目标位移，所述目标像素位置为所述位移信息特征图中与所述目标对象的所述第一像素位置信息相对应的像素位置；根据所述目标位移，确定所述目标对象在所述第一图像的采集时间的运动速度。2.根据权利要求1所述的速度确定方法，其特征在于，所述方法还包括：获取所述目标对象在所述第一图像的采集时间的目标空间位置，所述目标空间位置为所述目标对象在所述环境空间的三维位置；确定所述目标空间位置投影在第一图像上的二维投影位置；按照所述第一图像的尺寸与所述位移信息特征图的尺寸的比例，将所述二维投影位置转换成所述目标像素位置。3.根据权利要求2所述的基于图像的速度确定方法，其特征在于，所述方法还包括：对所述融合特征图进行第二卷积操作，得到位移不确定度特征图；所述位移不确定度特征图用于表征像素位置与位移不确定度的对应关系，所述位移不确定度表示所述位移信息特征图中任一像素位置对应的位移的准确程度；根据所述目标像素位置，从所述位移不确定度特征图中提取所述目标位移对应的位移不确定度。4.根据权利要求3所述的基于图像的速度确定方法，其特征在于，所述将从所述第一图像中提取的第一特征与从所述第二图像中提取的第二特征融合，得到融合特征图，以及对所述融合特征图进行第一卷积操作，得到位移信息特征图，包括：将所述第一图像和所述第二图像输入至位移确定模型，得到所述位移确定模型输出的所述位移信息特征图。5.根据权利要求4所述的基于图像的速度确定方法，其特征在于，所述位移确定模型包括特征提取模块、融合模块、位移信息特征图确定模块；所述特征提取模块，用于从所述第一图像中提取所述第一特征，以及从所述第二图像中提取所述第二特征；所述融合模块，用于将所述第一特征和所述第二特征融合，以输出融合特征图；所述位移信息特征图确定模块，用于根据所述融合特征图，输出所述位移信息特征图。6.根据权利要求5所述的基于图像的速度确定方法，其特征在于，所述位移确定模型还包括位移不确定特征图确定模块；所述位移不确定特征图确定模块，用于根据所述融合特征图，输出所述位移不确定特征图。
7.一种位移确定模型的训练方法，其特征在于，所述训练方法包括：获取训练样本集，所述训练样本集中的每个训练样本包括样本对象运动过程中的第一训练图像和第二训练图像，以及所述训练样本对应的标签；所述第一训练图像的第一采样时间晚于所述第二训练图像的第二采样时间；所述标签包括所述样本对象在所述第一训练图像中的第一真实像素位置和所述样本对象在所述第一采样时间与所述第二采样时间之间产生的真实位移；采用所述训练样本集，对预设的初始模型进行训练，得到位移确定模型；其中，所述初始模型包括特征提取模块、融合模块和位移信息特征图确定模块；所述特征提取模块，用于从所述第一训练图像中提取第一特征，以及从所述第二训练图像中提取第二特征；所述融合模块，用于将所述第一特征和所述第二特征融合，得到融合特征图，所述融合特征图包括所述样本对象的第一像素位置信息和第二像素位置信息，所述第一像素位置信息表征所述样本对象在所述第一训练图像中的像素位置，所述第二像素位置信息表征所述样本对象在所述第二图像中的像素位置；所述位移信息特征图确定模块，用于根据所述融合特征图，输出位移信息特征图，所述位移信息特征图表征像素位置与位移的对应关系；所述位移信息特征图中与所述第一真实像素位置相对应的位移为所述初始模型输出的预测位移。8.根据权利要求7所述的训练方法，其特征在于，所述采用所述训练样本集，对预设的初始模型进行训练，得到位移确定模型，包括：将所述训练样本输入至所述初始模型，得到所述初始模型输出的所述预测位移；根据所述预测位移与所述真实位移确定第一训练损失；根据训练损失调整所述初始模型的参数，以得到所述位移确定模型；所述训练损失包括所述第一训练损失。9.根据权利要求8所述的训练方法，其特征在于，所述标签还包括所述样本对象的真实像素位移和第一真实位置，所述训练方法还包括：根据所述预测位移和所述第一真实位置，对所述样本对象在所述第二采样时间的真实位置进行预测，得到预测的第二真实位置；根据所述预测的第二真实位置，对所述样本对象在所述第二训练图像中的真实像素位置进行预测，得到预测的第二真实像素位置；根据所述预测的第二真实像素位置与所述第一真实像素位置，得到预测像素位移；根据预测像素位移与所述真实像素位移确定第二训练损失；所述训练损失还包括所述第二训练损失。10.根据权利要求8至9任一项所述的训练方法，其特征在于，所述初始模型还包括位移不确定特征图确定模块；所述位移不确定特征图确定模块，用于根据所述融合特征图，输出所述位移不确定特征图，所述位移不确定度特征图用于表征像素位置与位移不确定度的对应关系，所述位移不确定度表示所述位移信息特征图中任意像素位置对应的位移的准确程度。11.根据权利要求10所述的训练方法，其特征在于，所述采用所述训练样本集，对预设
的初始模型进行训练，得到位移确定模型，还包括：根据所述位移不确定度和所述真实位移确定第三训练损失；所述训练损失还包括所述第三训练损失。12.一种基于图像的速度确定装置，其特征在于，所述速度确定装置包括：第一获取单元，被配置为执行获取目标对象在环境空间运动过程中的第一图像和第二图像，所述第一图像的采集时间晚于所述第二图像的采集时间；融合单元，被配置为执行将从所述第一图像中提取的第一特征与从所述第二图像中提取的第二特征融合，得到融合特征图，所述融合特征图包括所述目标对象的第一像素位置信息和第二像素位置信息，所述第一像素位置信...

【专利技术属性】
技术研发人员：翁春磊，刘楠，赵显，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：