三维数据增强、模型训练检测方法、设备及自动驾驶车辆技术

本公开提供了一种三维数据增强、模型训练检测方法、设备及自动驾驶车辆，涉及数据处理领域，具体涉及深度学习、自动驾驶等领域，包括：获取原始二维图像和原始二维图像匹配的真值标注数据；根据目标变换元素对原始二维图像和二维真值标注数据变换得到变换二维图像和变换二维真值标注数据；根据目标变换元素对原始内参矩阵变换得到变换内参矩阵；根据变换内参矩阵对三维真值标注数据进行二维投影得到投影真值标注数据；根据变换二维图像、变换二维真值标注数据和投影真值标注数据生成三维增强图像数据。本公开实施例能够提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。召回率。召回率。

【技术实现步骤摘要】
三维数据增强、模型训练检测方法、设备及自动驾驶车辆


[0001]本公开涉及数据处理
，具体涉及深度学习、自动驾驶等


技术介绍

[0002]数据增强(Data Augmentation)是指在不实质性的增加数据的情况下，从原始数据加工出更多的表示，提高原数据的数量及质量，以接近于更多数据量产生的价值。其原理是，通过对原始数据融入先验知识，加工出更多数据的表示，有助于模型判别数据中统计噪声，加强本体特征的学习，减少模型过拟合，提升泛化能力。

技术实现思路

[0003]本公开实施例提供了一种三维数据增强方法、模型训练方法、目标检测方法、装置、设备、存储介质、计算机程序产品及自动驾驶车辆，能够在不增加数据采集和数据标注成本的前提下，大量扩充三维样本数据，提高三维样本数据的多样性，进而提高三维目标检测的精度和召回率。
[0004]第一方面，本公开实施例提供了一种三维数据增强方法，包括：
[0005]获取原始二维图像和所述原始二维图像匹配的真值标注数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维数据增强方法，包括：获取原始二维图像和所述原始二维图像匹配的真值标注数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据；根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据；根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵；根据所述变换内参矩阵对所述三维真值标注数据进行二维投影，得到投影真值标注数据；根据所述变换二维图像、所述变换二维真值标注数据和所述投影真值标注数据生成三维增强图像数据。2.根据权利要求1所述的方法，其中，所述目标变换元素包括仿射变换矩阵；所述根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，包括：根据所述仿射变换矩阵对所述原始二维图像和所述二维真值标注数据进行仿射变换，得到所述变换二维图像和所述变换二维真值标注数据；所述根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，包括：根据所述仿射变换矩阵对所述原始内参矩阵进行仿射变换，得到所述变换内参矩阵。3.根据权利要求2所述的方法，其中，所述仿射变换矩阵包括以下至少一项：缩放变换矩阵、平移变换矩阵、旋转变换矩阵、水平方向错切矩阵、竖直方向错切矩阵、相对原点反射矩阵、沿水平方向反射矩阵以及沿竖直方向反射矩阵。4.根据权利要求1所述的方法，其中，所述目标变换元素包括中心对称轴线；所述根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据，包括：根据所述中心对称轴线对所述原始二维图像和所述二维真值标注数据进行翻转变换，得到所述变换二维图像和所述变换二维真值标注数据；所述根据所述目标变换元素对原始内参矩阵进行变换，得到变换内参矩阵，包括：根据所述中心对称轴线对所述三维真值标注数据进行翻转变换，得到变换三维真值标注数据；获取所述原始二维图像中目标检测对象的对象中心点的目标变换三维真值标注数据；根据所述目标变换三维真值标注数据对所述原始内参矩阵进行变换，得到所述变换内参矩阵。5.根据权利要求4所述的方法，其中，所述根据所述目标变换三维真值标注数据对所述原始内参矩阵进行变换，得到所述变换内参矩阵，包括：根据所述目标变换三维真值标注数据将所述原始内参矩阵变换为转换方程组；根据所述转换方程组和所述变换内参矩阵的变换矩阵参数构建目标矩阵方程；对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果；根据所述目标矩阵方程求解结果生成所述变换内参矩阵。6.根据权利要求5所述的方法，其中，所述根据所述目标变换三维真值标注数据将所述原始内参矩阵变换为转换方程组，包括：
根据所述目标变换三维真值标注数据和所述原始内参矩阵，获取所述目标检测对象的对象中心点在所述原始二维图像的目标归一化投影坐标；根据所述目标归一化投影坐标和所述目标变换三维真值标注数据将所述原始内参矩阵变换为所述转换方程组。7.根据权利要求6所述的方法，其中，所述根据所述转换方程组和所述变换内参矩阵的变换矩阵参数构建目标矩阵方程，包括：根据所述转换方程组、和所述变换内参矩阵的变换矩阵参数构建目标方程组；根据所述目标方程组构建基准矩阵方程；根据所述变换三维真值标注数据对所述基准矩阵方程的矩阵元素进行扩充，得到所述目标矩阵方程。8.根据权利要求5所述的方法，其中，所述对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果，包括：确定目标最小二乘求解方法；根据所述目标最小二乘求解方法对所述目标矩阵方程进行求解，得到目标矩阵方程求解结果。9.一种模型训练方法，包括：获取目标检测样本数据；其中，所述目标检测样本数据包括原始图像数据以及根据所述原始图像数据进行数据增强得到的三维增强图像数据；所述三维增强图像数据通过权利要求1
‑
8任一所述三维数据增强方法得到；根据所述目标检测样本数据训练目标检测网络模型。10.一种目标检测方法，包括：获取待检测图像；将所述待检测图像输入至目标检测网络模型，得到所述目标检测网络模型的目标检测结果；其中，所述目标检测网络模型通过权利要求9所述的模型训练方法训练得到。11.一种三维数据增强装置，包括：图像数据获取模块，用于获取原始二维图像和所述原始二维图像匹配的真值标注数据；其中，所述真值标注数据包括二维真值标注数据和三维真值标注数据；第一变换模块，用于根据目标变换元素对所述原始二维图像和所述二维真值标注数据进行变换，得到变换二维图像和变换二维真值标注数据；第二变换模块，用于根据所述目标变换元素对原始内参矩...

【专利技术属性】
技术研发人员：刘富强，蔡忠强，郭宇，陈岩，万吉，王军，王亮，马惠敏，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：