本公开涉及一种图像处理的方法、装置、设备、介质、芯片及车辆，涉及自动驾驶技术领域，包括：通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；将多个待处理图像输入预先训练得到的深度估计模型，以得到每个待处理图像对应的深度图；其中，多个深度图中相交深度图的相交区域的像素点对应的深度值相同；相交深度图包括至少两个具有相交区域的深度图，相交区域为包含相同场景的区域；深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的。这样，提高了深度估计模型对于相交区域一致性的约束能力，使得模型能够给出空间深度一致的深度估计结果。果。果。
Image processing method, device, equipment, medium, chip and vehicle
【技术实现步骤摘要】
图像处理的方法、装置、设备、介质、芯片及车辆
[0001]本公开涉及自动驾驶
，尤其涉及一种图像处理的方法、装置、设备、介质、芯片及车辆。
技术介绍
[0002]深度估计是自动驾驶
中的关键技术，其广泛应用于增强现实、自动驾驶等多种场景中，对于三维重建，三维物体检测等领域都有正向的影响。
[0003]对于多相机的深度估计，目前主要是根据像素级别的底层特征信息来进行深度估计。但是，对于不同相机的视野重叠区域无法保证能够得到一致的深度估计结果，导致多相机空间深度一致性较差。
技术实现思路
[0004]为克服相关技术中存在的问题，本公开提供一种图像处理的方法、装置、设备、介质、芯片及车辆。
[0005]根据本公开实施例的第一方面，提供一种图像处理的方法，通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域。
[0006]可选地，所述深度估计模型通过以下方式训练得到：获取所述多个样本图像；根据所述多个样本图像，得到第一损失函数；通过所述第一损失函数对所述预设训练模型进行训练，得到待定深度估计模型；获取所述多个样本图像中的所述第一图像和所述第二图像；根据所述第一图像和所述第二图像，得到第二损失函数；通过所述第二损失函数对所述待定深度估计模型进行训练，得到所述深度估计模型。
[0007]可选地，所述根据所述第一图像和所述第二图像，得到第二损失函数包括：识别所述第一图像中的第一目标对象；根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图；
根据所述距离变换图和所述第二图像，确定所述第二损失函数。
[0008]可选地，所述根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图包括：获取所述第一图像中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；根据所述第一像素点，确定所述第一图像对应的距离变换图。
[0009]可选地，所述根据所述距离变换图和所述第二图像，确定所述第二损失函数包括：识别所述第二图像中的第二目标对象；获取所述第二图像中所述第二目标对象的第二像素点；获取用于采集所述第一图像的图像采集装置对应的第一外参矩阵以及用于采集所述第二图像的图像采集装置对应的第二外参矩阵；根据所述第二像素点、所述第一外参矩阵和所述第二外参矩阵，将所述第二图像与所述距离变换图进行拼接，得到目标图像；根据所述目标图像，确定所述第二损失函数。
[0010]可选地，所述根据所述目标图像，确定所述第二损失函数包括：获取所述目标图像中的所述第二像素点中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第三像素点；确定所述第三像素点与所述第一目标对象的距离，作为所述第三像素点与所述第一目标对象的位置误差；根据所述位置误差，确定所述第二损失函数。
[0011]可选地，所述根据所述多个样本图像，得到第一损失函数包括：获取所述多个样本图像中的第三图像和第四图像，所述第三图像和所述第四图像是所述多个样本图像中由相同采集视角的图像采集装置连续采集得到的两个图像；根据所述第三图像和所述第四图像，确定所述第三图像和所述第四图像之间的第一光度误差；根据所述第一图像和所述第二图像，确定所述第一图像和所述第二图像之间的第二光度误差；根据所述第一光度误差和所述第二光度误差，确定第一损失函数。
[0012]根据本公开实施例的第二方面，提供一种图像处理的装置，所述装置包括：采集模块，被配置为通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；估计模块，被配置为将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中
在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域。
[0013]可选地，所述深度估计模型通过以下方式训练得到：获取所述多个样本图像；根据所述多个样本图像，得到第一损失函数；通过所述第一损失函数对所述预设训练模型进行训练，得到待定深度估计模型；获取所述多个样本图像中的所述第一图像和所述第二图像；根据所述第一图像和所述第二图像，得到第二损失函数；通过所述第二损失函数对所述待定深度估计模型进行训练，得到所述深度估计模型。
[0014]可选地，所述根据所述第一图像和所述第二图像，得到第二损失函数包括：识别所述第一图像中的第一目标对象；根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图；根据所述距离变换图和所述第二图像，确定所述第二损失函数。
[0015]可选地，所述根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图包括：获取所述第一图像中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；根据所述第一像素点，确定所述第一图像对应的距离变换图。
[0016]可选地，所述根据所述距离变换图和所述第二图像，确定所述第二损失函数包括：识别所述第二图像中的第二目标对象；获取所述第二图像中所述第二目标对象的第二像素点；获取用于采集所述第一图像的图像采集装置对应的第一外参矩阵以及用于采集所述第二图像的图像采集装置对应的第二外参矩阵；根据所述第二像素点、所述第一外参矩阵和所述第二外参矩阵，将所述第二图像与所述距离变换图进行拼接，得到目标图像；根据所述目标图像，确定所述第二损失函数。
[0017]可选地，所述根据所述目标图像，确定所述第二损失函数包括：获取所述目标图像中的所述第二像素点中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第三像素点；确定所述第三像素点与所述第一目标对象的距离，作为所述第三像素点与所述第一目标对象的位置误差；根据所述位置误差，确定所述第二损失函数。
[0018]可选地，所述根据所述多个样本图像，得到第一损失函数包括：获取本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理的方法，其特征在于，所述方法包括：通过图像采集装置采集目标区域的多个待处理图像；其中，不同待处理图像是由不同采集视角的图像采集装置采集得到的；将所述多个待处理图像输入预先训练得到的深度估计模型，以得到每个所述待处理图像对应的深度图；其中，多个所述深度图中相交深度图的相交区域的像素点对应的深度值相同；所述相交深度图包括至少两个具有相交区域的深度图，所述相交区域为包含相同场景的区域；所述深度估计模型是根据第一损失函数和第二损失函数对预设训练模型训练得到的，所述第一损失函数是根据不同采集视角的多个样本图像得到的，所述第二损失函数是根据第一图像和第二图像得到的，所述第一图像和所述第二图像是所述多个样本图像中在相同时刻采集得到的不同视角的图像，且所述第一图像和所述第二图像存在相交区域。2.根据权利要求1所述的方法，其特征在于，所述深度估计模型通过以下方式训练得到：获取所述多个样本图像；根据所述多个样本图像，得到第一损失函数；通过所述第一损失函数对所述预设训练模型进行训练，得到待定深度估计模型；获取所述多个样本图像中的所述第一图像和所述第二图像；根据所述第一图像和所述第二图像，得到第二损失函数；通过所述第二损失函数对所述待定深度估计模型进行训练，得到所述深度估计模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一图像和所述第二图像，得到第二损失函数包括：识别所述第一图像中的第一目标对象；根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图；根据所述距离变换图和所述第二图像，确定所述第二损失函数。4.根据权利要求3所述的方法，其特征在于，所述根据所述第一目标对象对所述第一图像进行距离变换，得到所述第一图像对应的距离变换图包括：获取所述第一图像中与所述第一目标对象的距离小于或者等于预设距离范围阈值的第一像素点；根据所述第一像素点，确定所述第一图像对应的距离变换图。5.根据权利要求3所述的方法，其特征在于，所述根据所述距离变换图和所述第二图像，确定所述第二损失函数包括：识别所述第二图像中的第二目标对象；获取所述第二图像中所述第二目标对象的第二像素点；获取用于采集所述第一图像的图像采集装置对应的第一外参矩阵以及用于采集所述第二图像的图像采集装置对应的第二外参矩阵；根据所述第二像素点、所述第一外参矩阵和所述第二外参矩阵，将所述第二图像与所述距离变换图进行拼接，得到目标图像；根据所述目标图...
【专利技术属性】
技术研发人员：俞昆，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。