用于自动驾驶车辆的图像处理方法、装置、设备及介质制造方法及图纸

本公开提供了一种用于自动驾驶车辆的图像处理方法、装置、设备及介质，图像处理方法包括：确定初始样本集，初始样本集中的至少部分车辆周围场景初始样本图像包括第一目标障碍物，第一目标障碍物的尺寸小于预设尺寸；对初始样本集进行预处理，得到训练样本集，训练样本集包括多个车辆周围场景训练样本图像及对应的训练样本标签，预处理用于增加包括第一目标障碍物的车辆周围场景训练样本图像的数量和/或增加车辆周围场景训练样本图像中第一目标障碍物的数量；基于训练样本集，对初始自动驾驶障碍物识别模型进行训练，得到自动驾驶障碍物识别模型；将周围场景图像输入自动驾驶障碍物识别模型，得到障碍物识别结果，以提高识别准确率。别准确率。别准确率。

【技术实现步骤摘要】
用于自动驾驶车辆的图像处理方法、装置、设备及介质


[0001]本公开涉及自动驾驶
，尤其涉及一种用于自动驾驶车辆的图像处理方法、装置、设备及介质。

技术介绍

[0002]在自动驾驶领域中，自车可以采集周围环境和状态，以作为后续决策的依据。
[0003]目前，自动驾驶技术可以对车辆周围的障碍物的位置和大小进行感知和识别，其中，可以较为准确地识别图像中的大型目标，如轿车、卡车等，但对于小型目标，如人、自行车、锥桶等的识别准确率较低。

技术实现思路

[0004]为克服相关技术中存在的问题，本公开提供了一种用于自动驾驶车辆的图像处理方法、装置、设备及介质。
[0005]根据本公开的第一方面，提供一种用于自动驾驶车辆的图像处理的方法，所述图像处理方法包括：
[0006]确定初始样本集，所述初始样本集包括多个车辆周围场景初始样本图像及对应的初始样本标签，至少部分所述车辆周围场景初始样本图像中包括第一目标障碍物，所述第一目标障碍物的尺寸小于预设尺寸；
[0007]对所述初始样本集进行预处理，得到训练样本集，所述训练样本集包括多个车辆周围场景训练样本图像及对应的训练样本标签，所述预处理用于使得包括所述第一目标障碍物的车辆周围场景训练样本图像的数量大于包括所述第一目标障碍物的所述车辆周围场景初始样本图像的数量，和/或使得所述车辆周围场景训练样本图像中的所述第一目标障碍物的数量大于对应的所述车辆周围场景初始样本图像中的所述第一目标障碍物的数量；
[0008]基于所述训练样本集，对初始自动驾驶障碍物识别模型进行训练，得到自动驾驶障碍物识别模型；
[0009]获取自动驾驶车辆的周围场景图像；
[0010]将所述周围场景图像待识别图像输入所述自动驾驶障碍物识别模型，得到障碍物识别结果。
[0011]本公开的一些实施例中，所述对所述初始样本集进行预处理，包括：
[0012]对包括第一目标障碍物的至少部分所述车辆周围场景初始样本图像进行过采样，得到新增样本图像；
[0013]对所述新增样本图像进行标记，得到所述新增样本图像对应的样本标签，将每一个所述新增样本图像确定为一个所述车辆周围场景训练样本图像，将所述新增样本图像对应的样本标签确定为所述训练样本标签。
[0014]本公开的一些实施例中，所述车辆周围场景初始样本图像中，每一个所述车辆周
围场景初始样本图像均对应一个不同的时间信息，所述对包括第一目标障碍物的至少部分所述车辆周围场景初始样本图像进行过采样，包括：
[0015]对相邻两个时间信息分别对应的两个所述车辆周围场景初始样本图像之间进行插帧处理，以在两个所述车辆周围场景初始样本图像之间增加至少一个所述新增样本图像；
[0016]对所述新增样本图像进行标记，包括：
[0017]获取所述新增样本图像的前后两个所述车辆周围场景初始样本图像所对应的第一位姿信息和第一时间信息；
[0018]确定所述新增样本图像对应的第二位姿信息和第二时间信息；
[0019]根据前后两个所述初车辆周围场景始样本图像所对应的初始样本标签、所述第二位姿信息、所述第二时间信息，确定所述新增样本图像对应的样本标签。
[0020]本公开的一些实施例中，所述对所述初始样本集进行预处理，包括：
[0021]提取所述车辆周围场景初始样本图像中的第一目标障碍物对应的第一目标障碍物图像；
[0022]将所述第一目标障碍物图像与所述初始样本集中的其他车辆周围场景初始样本图像中的至少一个进行图像合并，得到合并样本图像；
[0023]对所述合并样本图像进行第一目标障碍物识别，确定出所述合并样本图像对应的样本标签，将所述合并样本图像确定为所述车辆周围场景训练样本图像，将所述合并样本图像对应的样本标签确定为所述训练样本标签。
[0024]本公开的一些实施例中，将所述第一目标障碍物图像与所述初始样本集中的其他车辆周围场景初始样本图像中的至少一个进行图像合并，得到合并样本图像，包括：
[0025]获取所述车辆周围场景初始样本图像中的第一目标障碍物对应的第一点云，所述第一点云位于第一位置；
[0026]将所述第一点云复制至第二位置，得到第二点云；
[0027]将所述第二点云投影至所述车辆周围场景初始样本图像，得到投影图像；
[0028]根据所述投影图像以及所述第一目标障碍物对应的第一目标障碍物图像，确定目标位置；
[0029]将所述投影图像在所述目标位置与所述车辆周围场景初始样本图像合并，得到所述合并样本图像。
[0030]本公开的一些实施例中，至少部分所述车辆周围场景初始样本图像中包括第二目标障碍物，所述第二目标障碍物的尺寸大于所述第一目标障碍物的尺寸，所述对所述初始样本集进行预处理，包括：
[0031]调节包括第二目标障碍物的至少部分所述车辆周围场景初始样本图像对应的相机参数，以将所述第二目标障碍物缩小为所述第一目标障碍物。
[0032]本公开的一些实施例中，所述相机参数包括焦距和/或畸变参数。
[0033]本公开的一些实施例中，所述自动驾驶障碍物识别模型包括：
[0034]骨干网络，用于对所述周围场景图像进行特征提取得到第一特征图；
[0035]多尺度特征提取模块，用于对所述第一特征图进行多尺度特征提取，得到第二特征图；
[0036]编码网络，用于对所述第二特征图进行特征提取得到第三特征图；
[0037]输出网络，用于基于所述第三特征图生成所述障碍物识别结果。
[0038]本公开的一些实施例中，所述骨干网络包括至少一个第一卷积层和至少一个空间深度转换模块，所述空间深度转换模块包括空间
‑
深度转换层和第二卷积层。
[0039]本公开的一些实施例中，至少一个所述第一卷积层和/或所述第二卷积层为可变形卷积层。
[0040]本公开的一些实施例中，所述多尺度特征提取模块包括密集连接的特征金字塔网络。
[0041]根据本公开的第二方面，提供一种用于自动驾驶车辆的图像处理装置，所述图像处理装置包括：
[0042]确定模块，被配置为确定初始样本集，所述初始样本集包括多个车辆周围场景初始样本图像及对应的初始样本标签，至少部分所述车辆周围场景初始样本图像中包括第一目标障碍物，所述第一目标障碍物的尺寸小于预设尺寸；
[0043]预处理模块，被配置为对所述初始样本集进行预处理，得到训练样本集，所述训练样本集包括多个车辆周围场景训练样本图像及对应的训练样本标签，所述预处理用于使得包括所述第一目标障碍物的车辆周围场景训练样本图像的数量大于包括所述第一目标障碍物的所述车辆周围场景初始样本图像的数量，和/或使得所述车辆周围场景训练样本图像中的所述第一目标障碍物的数量大于对应的所述车辆周围场景初始样本图像中的所述第一目标障碍物的数量；
[0044]训练模块，被配置为基于所述训练样本集，对初始自本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于自动驾驶车辆的图像处理方法，其特征在于，所述图像处理方法包括：确定初始样本集，所述初始样本集包括多个车辆周围场景初始样本图像及对应的初始样本标签，至少部分所述车辆周围场景初始样本图像中包括第一目标障碍物，所述第一目标障碍物的尺寸小于预设尺寸；对所述初始样本集进行预处理，得到训练样本集，所述训练样本集包括多个车辆周围场景训练样本图像及对应的训练样本标签，所述预处理用于使得包括所述第一目标障碍物的车辆周围场景训练样本图像的数量大于包括所述第一目标障碍物的所述车辆周围场景初始样本图像的数量，和/或使得所述车辆周围场景训练样本图像中的所述第一目标障碍物的数量大于对应的所述车辆周围场景初始样本图像中的所述第一目标障碍物的数量；基于所述训练样本集，对初始自动驾驶障碍物识别模型进行训练，得到自动驾驶障碍物识别模型；获取自动驾驶车辆的周围场景图像；将所述周围场景图像输入所述自动驾驶障碍物识别模型，得到障碍物识别结果。2.根据权利要求1所述的用于自动驾驶车辆的图像处理方法，其特征在于，所述对所述初始样本集进行预处理，包括：对包括第一目标障碍物的至少部分所述车辆周围场景初始样本图像进行过采样，得到新增样本图像；对所述新增样本图像进行标记，得到所述新增样本图像对应的样本标签，将每一个所述新增样本图像确定为一个所述车辆周围场景训练样本图像，将所述新增样本图像对应的样本标签确定为所述训练样本标签。3.根据权利要求2所述的用于自动驾驶车辆的图像处理方法，其特征在于，所述车辆周围场景初始样本图像中，每一个所述车辆周围场景初始样本图像均对应一个不同的时间信息，所述对包括第一目标障碍物的至少部分所述车辆周围场景初始样本图像进行过采样，包括：对相邻两个时间信息分别对应的两个所述车辆周围场景初始样本图像之间进行插帧处理，以在两个所述车辆周围场景初始样本图像之间增加至少一个所述新增样本图像；对所述新增样本图像进行标记，包括：获取所述新增样本图像的前后两个所述车辆周围场景初始样本图像所对应的第一位姿信息和第一时间信息；确定所述新增样本图像对应的第二位姿信息和第二时间信息；根据前后两个所述车辆周围场景初始样本图像所对应的初始样本标签、所述第二位姿信息、所述第二时间信息，确定所述新增样本图像对应的样本标签。4.根据权利要求1所述的用于自动驾驶车辆的图像处理方法，其特征在于，所述对所述初始样本集进行预处理，包括：提取所述车辆周围场景初始样本图像中的第一目标障碍物对应的第一目标障碍物图像；将所述第一目标障碍物图像与所述初始样本集中的其他车辆周围场景初始样本图像中的至少一个进行图像合并，得到合并样本图像；对所述合并样本图像进行第一目标障碍物识别，确定出所述合并样本图像对应的样本
标签，将所述合并样本图像确定为所述车辆周围场景训练样本图像，将所述合并样本图像对应的样本标签确定为所述训练样本标签。5.根据权利要求4所述的用于自动驾驶车辆的图像处理方法，其特征在于，将所述第一目标障碍物图像与所述初始样本集中的其他车辆周围场景初始样本图像中的至少一个进行图像合并，得到合并样本图像，包括：获取所述车辆周围场景初始样本图像中的第一目标障碍物对应的第一点云，所述第一点云位于第一位置；将所述第一点云复制至第二位置，得到第二点云；将所述第二点云投影至所述车辆周...

【专利技术属性】
技术研发人员：牛宝龙，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：