图像数据处理方法、装置和设备制造方法及图纸

本申请提供一种图像数据处理方法、装置和设备。该方法包括：服务器通过自动驾驶车辆上的采集设备，获取自动驾驶车辆周围的道路信息。该道路信息可以包括从同一时间从多个视角采集的道路图片。服务器可以将接收到的道路信息输入到视差模型中，计算得到每一所述道路图片对应深度图片。服务器还可以将该深度图片输入到预设的识别模型中，识别该深度图片中的目标物体。本申请的方法，实现了在保证自动驾驶车辆对道路场景监测效率的基础上，降低了自动驾驶车辆的设备复杂地，降低车辆成本的效果。降低车辆成本的效果。降低车辆成本的效果。

【技术实现步骤摘要】
图像数据处理方法、装置和设备


[0001]本申请涉及计算机视觉领域，尤其涉及一种图像数据处理方法、装置和设备。

技术介绍

[0002]随着科技的发展，自动驾驶技术成为交通领域的发展趋势。自动驾驶车辆通常可以在获取道路信息后，根据该道路信息进行判断并根据判断结果实现对车辆的控制。
[0003]现有技术中，自动驾驶车辆可以通过摄像头拍摄道路图片，并根据该道路图片确定道路前方存在的物体。该自动驾驶车辆还可以通过深度摄像、雷达等设备获取道路图片中各个物体的深度信息，进而确定该道路前方的路况。
[0004]然而，现有技术存在设备复杂度高的问题。

技术实现思路

[0005]本申请提供一种图像数据处理方法、装置和设备，用以解决如何实现视差模型的训练，以提视差模型的准确率和鲁棒性成为亟待解决的问题。
[0006]第一方面，本申请提供一种图像数据处理方法，包括：
[0007]获取自动驾驶车辆周围的道路信息，所述道路信息包括从多个视角采集的多张道路图片；
[0008]将所述道路信息输入视差模型，计算得到每一所述道路图片对应深度图片；
[0009]将所述深度图片输入预设识别模型，识别所述深度图片中的目标物体以及所述目标物体的深度信息，以使所述自动驾驶车辆将根据所述目标物体以及所述目标物体的所述深度信息生成控制指令。
[0010]可选地，所述方法，包括：
[0011]将训练数据集输入训练模型，得到预测视差图，所述训练数据集中包括场景图片和数据标签；
[0012]根据所述预测视差图、所述数据标签和所述场景图片，确定所述训练模型的协同视差损失函数；
[0013]使用所述协同视差损失函数迭代优化所述训练模型，得到已训练的视差模型。
[0014]可选地，所述根据所述预测视差图、所述数据标签和所述场景图片，确定所述训练模型的协同视差损失函数，包括：
[0015]根据所述预测视差图和所述数据标签，确定视差回归损失函数；
[0016]根据所述预测视差图和所述场景图片，确定光度差损失函数和平滑损失函数；
[0017]根据视差回归损失函数、光度差损失函数和平滑损失函数，确定协同视差损失函数。
[0018]可选地，所述根据视差回归损失函数、光度差损失函数和平滑损失函数，确定协同视差损失函数，具体包括：
[0019]根据如下公式计算所述协同视差损失函数：
[0020]L
semi
＝δL
r
+(1
‑
δ)(λ
p
L
p
+λ
s
L
r
)
[0021]其中，L
semi
为所述协同视差损失函数，L
r
为所述视差回归损失函数，L
s
为所述平滑损失函数，L
p
为所述光度差损失函数，λ
p
和λ
s
为权重系数，δ为常数，当一次迭代时，输入所述训练模型的图片均为所述虚拟场景图片时，δ＝1，当一次迭代时，输入所述训练模型的图片均为所述真实场景图片时，δ＝0。
[0022]可选地，所述根据所述预测视差图和所述数据标签，确定视差回归损失函数，具体包括：
[0023]根据如下公式计算所述视差回归损失函数：
[0024][0025]其中，L
r
为所述视差回归损失函数，D
i，j
为所述预测视差图中第i行第j列的像素点，为所述数据标签中第i行第j列的像素点，v为所述预测视差图中的有效视差标签集合，所述预测视差图中每一像素点为一个所述视差标签，N
v
为所述有效视差标签集合中有效视差标签的数量。
[0026]可选地，所述场景图片中包括原始左图和原始右图，所述根据所述预测视差图和所述场景图片，确定光度差损失函数和平滑损失函数，包括：
[0027]根据所述预测视差图和所述原始右图，重建所述场景图片的左图，得到重建左图；
[0028]根据所述原始左图和所述重建左图，确定光度差损失函数；
[0029]根据所述预测视差图和预设函数，确定平滑损失函数；
[0030]可选地，所述根据所述原始左图和所述重建左图，确定光度差损失函数，具体包括：
[0031]根据如下公式计算所述光度差损失函数：
[0032][0033]其中，L
p
为所述光度差损失函数，I
l
为所述原始左图，为所述重建左图，N为所述原始左图中像素点的数量。
[0034]可选地，所述根据所述预测视差图和预设函数，确定平滑损失函数，具体包括：
[0035]根据如下公式计算所述平滑损失函数：
[0036][0037]其中，L
s
为平滑损失函数，D
i，j
为所述预测视差图中第i行第j列的像素点，ρ
s
为所述预设函数，(D
i，j
‑
D
i+1，j
)表示所述预测视差图D中的横向梯度，(D
i，j
‑
D
i，j+1
)表示所述预测视差图D中的纵向梯度。
[0038]可选地，所述方法，还包括：
[0039]将所述训练数据集输入引导视差模型，得到引导视差图；
[0040]根据所述训练数据的所述预测视差图和所述引导视差图，确定所述训练数据集的
数据标签。
[0041]第二方面，本申请提供一种图像数据处理装置，包括：
[0042]获取模块，用于获取自动驾驶车辆周围的道路信息，所述道路信息包括从多个视角采集的多张道路图片；
[0043]处理模块，用于将所述道路信息输入视差模型，计算得到每一所述道路图片对应深度图片；将所述深度图片输入预设识别模型，识别所述深度图片中的目标物体以及所述目标物体的深度信息，所述自动驾驶车辆将根据所述目标物体以及所述目标物体的所述深度信息生成控制指令。
[0044]可选地，所述装置，还包括：
[0045]训练模块，用于将训练数据集输入训练模型，得到预测视差图，所述训练数据集中包括场景图片和数据标签；根据所述预测视差图、所述数据标签和所述场景图片，确定所述训练模型的协同视差损失函数；使用所述协同视差损失函数迭代优化所述训练模型，得到已训练的视差模型。
[0046]可选地，所述训练模块，具体用于：
[0047]根据所述预测视差图和所述数据标签，确定视差回归损失函数；
[0048]根据所述预测视差图和所述场景图片，确定光度差损失函数和平滑损失函数；
[0049]根据视差回归损失函数、光度差损失函数和平滑损失函数，确定协同视差损失函数。
[0050]可选地，所述协同视差损失函数为：
[0051]L
semi
＝δL
r
+本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，所述方法包括：获取自动驾驶车辆周围的道路信息，所述道路信息包括从多个视角采集的多张道路图片；将所述道路信息输入视差模型，计算得到每一所述道路图片对应深度图片；将所述深度图片输入预设识别模型，识别所述深度图片中的目标物体以及所述目标物体的深度信息，以使所述自动驾驶车辆将根据所述目标物体以及所述目标物体的所述深度信息生成控制指令。2.根据权利要求1所述的方法，其特征在于，所述方法，包括：将训练数据集输入训练模型，得到预测视差图，所述训练数据集中包括场景图片和数据标签；根据所述预测视差图、所述数据标签和所述场景图片，确定所述训练模型的协同视差损失函数；使用所述协同视差损失函数迭代优化所述训练模型，得到已训练的视差模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述预测视差图、所述数据标签和所述场景图片，确定所述训练模型的协同视差损失函数，包括：根据所述预测视差图和所述数据标签，确定视差回归损失函数；根据所述预测视差图和所述场景图片，确定光度差损失函数和平滑损失函数；根据视差回归损失函数、光度差损失函数和平滑损失函数，确定协同视差损失函数。4.根据权利要求3所述的方法，其特征在于，所述根据视差回归损失函数、光度差损失函数和平滑损失函数，确定协同视差损失函数，具体包括：根据如下公式计算所述协同视差损失函数：L
semi
＝δL
r
+(1
‑
δ)(λ
p
L
p
+λ
s
L
r
)其中，L
semi
为所述协同视差损失函数，L
r
为所述视差回归损失函数，L
s
为所述平滑损失函数，L
p
为所述光度差损失函数，λ
p
和λ
s
为权重系数，δ为常数，当一次迭代时，输入所述训练模型的图片均为虚拟场景图片时，δ＝1，当一次迭代时，输入所述训练模型的图片均为真实场景图片时，δ＝0。5.根据权利要求3所述的方法，其特征在于，所述根据所述预测视差图和所述数据标签，确定视差回归损失函数，具体包括：根据如下公式计算所述视差回归损失函数：其中，L
r
为所述视差回归损失函数，D
i，j
为所述预测视差图中第i行第j列的像素点，为所述数据标签中第i行第j列的像素点，v为所述预测视差图中的有效视差标签集合，所述预测视差图中每一像素点为一个所述视差标签，N
v
为所述有效视差标签集合中有效视差标签的数量。6.根据权利要求3所述的方法，其特征在于，所述场景...

【专利技术属性】
技术研发人员：徐鑫，张亮亮，
申请(专利权)人：京东鲲鹏江苏科技有限公司，
类型：发明
国别省市：