基于单目相机的装载率估计方法技术

本公开提供了一种基于单目相机的装载率估计方法

【技术实现步骤摘要】
基于单目相机的装载率估计方法、装置、设备及介质


[0001]本公开涉及数据处理
，具体涉及一种基于单目相机的装载率估计方法
、
装置
、
设备及介质
。

技术介绍

[0002]在货运行业，货运效率以及安全性是两大关键指标，而货运量方技术是提升效率以及安全性的核心技术
。
货运量方技术是通过各种传感器设备对货车货仓内的物理布局进行实时检测估计，以实现更好的规划以及防控的技术
。
[0003]目前，一种货运量方估计方案可以基于点阵式激光设备实现
。
虽然这种方案的算法简单，精度较高，能达到应用落地要求，但是由于点阵式激光设备价格昂贵且安装成本高，基于点阵式激光设备的货运量方估计方案并未大规模应用
。
[0004]另外一种货运量方估计方案可以基于图像采集设备的图像分类方法实现
。
这种方案精度较低，未能达到应用落地要求，且数据集的采集成本和标注成本较高
。
故而，这种方案也并未大规模应用，只存在少量的
、
固定的
、
较容易的货运场景中
。

技术实现思路

[0005]为了解决相关技术中的问题，本公开实施例提供一种基于单目相机的装载率估计方法
、
装置
、
设备及介质
。
[0006]第一方面，本公开实施例中提供了一种基于单目相机的装载率估计方法
。
[0007]具体地，所述基于单目相机的装载率估计方法，包括：
[0008]获取所述单目相机采集的货仓内的第一图像，对所述第一图像进行预处理，得到所述第一图像的第一深度估计图；
[0009]将所述第一深度估计图映射为第一三维点云；
[0010]对所述第一三维点云进行三维重建，得到世界坐标系下的第二三维点云；
[0011]基于所述第二三维点云得到第一二维量方矩阵；
[0012]基于所述第一二维量方矩阵估计所述货仓的装载率
。
[0013]根据本公开实施例，其中，所述对所述第一三维点云进行三维重建，得到世界坐标系下的第二三维点云，包括：
[0014]获取所述单目相机采集的货仓空仓图像，对所述空仓图像进行预处理，得到所述空仓图像的第二深度估计图；
[0015]将所述第二深度估计图映射为第三三维点云；
[0016]对所述第三三维点云进行点云平面分割，得到相机坐标系下各货仓平面的法向量及对应的截距；
[0017]基于所述货仓平面的截距和相机光心得到所述世界坐标系的原点；
[0018]基于所述货仓平面的法向量得到所述世界坐标系的三维坐标向量；
[0019]基于所述世界坐标系的原点和三维坐标向量得到所述第二三维点云
。
[0020]根据本公开实施例，其中，所述基于所述第二三维点云得到第一二维量方矩阵，包括：
[0021]将所述第二三维点云投影至世界坐标系的
XY
平面，得到形状为
d
y
*d
x
的第一二维量方矩阵
V
，其中，
dx
为所述第二三维点云中，
X
轴方向的最大截距，
dy
为所述第二三维点云中，
Y
轴方向的最大截距；
[0022]其中，当所述第二三维点云的多个点投影至所述
XY
平面下同一坐标点时，将
Z
值最大的点投影至所述
XY
平面下的所述坐标点
。
[0023]根据本公开实施例，其中，所述基于所述二维量方矩阵估计所述货仓的装载率，包括：
[0024]对所述二维量方矩阵进行均值处理；
[0025]基于所述均值处理后的二维量方矩阵和截距
dz
得到所述装载率，所述
dz
为所述第二三维点云中，
Z
轴方向的最大截距
。
[0026]根据本公开实施例，其中，所述对所述第一图像进行预处理，得到所述第一图像的第一深度估计图，包括：
[0027]对所述第一图像进行去畸变处理，得到第一去畸变图像；
[0028]基于所述第一去畸变图像和预先训练好的深度估计模型，得到所述第一图像的第一深度估计图
。
[0029]根据本公开实施例，还包括：
[0030]对所述单目相机进行标定，得到单目相机的内置参数；
[0031]基于所述单目相机的内置参数对所述第一图像进行去畸变处理，得到第一去畸变图像；
[0032]基于所述单目相机的内置参数，将所述第一深度估计图映射为第一三维点云
。
[0033]根据本公开实施例，还包括：
[0034]将货仓空间在水平方向或垂直方向进行分块；
[0035]在各个分块中估计所述货仓的装载率，得到所述货仓的第一网格化装载率矩阵
。
[0036]第二方面，本公开实施例中提供了一种基于单目相机的货物倾倒识别方法
。
[0037]具体地，所述基于单目相机的货物倾倒识别方法，包括：
[0038]获取所述单目相机采集货仓内的第二图像和第三图像；
[0039]采用如第一方面所述的基于单目相机的装载率估计方法得到所述第二图像对应的第二二维量方矩阵，以及所述第三图像对应的第三二维量方矩阵；
[0040]当所述第二二维量方矩阵与所述第三二维量方矩阵之间的差异大于第一阈值时，判定发生货物倾倒
。
[0041]第三方面，本公开实施例中提供了一种基于单目相机的货物移位识别方法
。
[0042]具体地，所述基于单目相机的货物移位识别方法，包括：
[0043]获取所述单目相机采集货仓内的第四图像和第五图像；
[0044]采用如第一方面所述的基于单目相机的装载率估计方法得到所述第四图像对应的第二网格化装载率矩阵，以及所述第五图像对应的第三网格化装载率矩阵；
[0045]当所述第二网格化装载率矩阵与所述第三网格化装载率矩阵之间的差异大于第二阈值时，判定发生货物移位
。
[0046]根据本公开实施例，还包括：
[0047]确定所述第二网格化装载率矩阵与所述第三网格化装载率矩阵之间差异最大的分块；
[0048]基于所述差异最大的分块估计货物移位的起始位置和终止位置
。
[0049]第四方面，本公开实施例中提供了一种基于单目相机的装载率估计装置
。
[0050]具体地，所述基于单目相机的装载率估计装置，包括：
[0051]第一获取单元，被配置为获取所述单目相机采集的货仓内的第一图像，对所述第一图像进行预处理，得到所述第一图像的第一深度估计图；
[0052]映射单元，被配置为将所述第一深度估计图映射本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于单目相机的装载率估计方法，包括：获取所述单目相机采集的货仓内的第一图像，对所述第一图像进行预处理，得到所述第一图像的第一深度估计图；将所述第一深度估计图映射为第一三维点云；对所述第一三维点云进行三维重建，得到世界坐标系下的第二三维点云；基于所述第二三维点云得到第一二维量方矩阵；基于所述第一二维量方矩阵估计所述货仓的装载率
。2.
根据权利要求1所述的方法，其中，所述对所述第一三维点云进行三维重建，得到世界坐标系下的第二三维点云，包括：获取所述单目相机采集的货仓空仓图像，对所述空仓图像进行预处理，得到所述空仓图像的第二深度估计图；将所述第二深度估计图映射为第三三维点云；对所述第三三维点云进行点云平面分割，得到相机坐标系下各货仓平面的法向量及对应的截距；基于所述货仓平面的截距和相机光心得到所述世界坐标系的原点；基于所述货仓平面的法向量得到所述世界坐标系的三维坐标向量；基于所述世界坐标系的原点和三维坐标向量得到所述第二三维点云
。3.
根据权利要求1所述的方法，其中，所述基于所述第二三维点云得到第一二维量方矩阵，包括：将所述第二三维点云投影至世界坐标系的
XY
平面，得到形状为
d
y
*d
x
的第一二维量方矩阵
V
，其中，
dx
为所述第二三维点云中，
X
轴方向的最大截距，
dy
为所述第二三维点云中，
Y
轴方向的最大截距；其中，当所述第二三维点云的多个点投影至所述
XY
平面下同一坐标点时，将
Z
值最大的点投影至所述
XY
平面下的所述坐标点
。4.
根据权利要求1所述的方法，其中，所述基于所述第一二维量方矩阵估计所述货仓的装载率，包括：对所述二维量方矩阵进行均值处理；基于所述均值处理后的二维量方矩阵和截距
dz
得到所述装载率，所述
dz
为所述第二三维点云中，
Z
轴方向的最大截距
。5.
根据权利要求1所述的方法，其中，所述对所述第一图像进行预处理，得到所述第一图像的第一深度估计图，包括：对所述第一图像进行去畸变处理，得到第一去畸变图像；基于所述第一去畸变图像和预先训练好的深度估计模型，得到所述第一图像的第一深度估计图
。6.
根据权利要求5所述的方法，还包括：对所述单目相机进行标定，得到单目相机的内置参数；基于所述单目相机的内置参数对所述第一图像进行去畸变处理，得到第一去畸变图像；基于所述单目相机的内置参数，将所述第一深度估计图映射为第一三维点云
。
7.
根据权利要求1‑6中任一项所述的方法，还包括：将货仓空间在水平方向或垂直方向进行分块；在各个分块中估计所述货仓的装载率，得到所述货仓的第一网格化装载率矩阵
。8.
一种基于单目相机的货物倾倒识...

【专利技术属性】
技术研发人员：田万鑫，张修宝，沈海峰，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：