测量方法及装置制造方法及图纸

本申请涉及测量方法及装置，可用于辅助驾驶和自动驾驶。所述方法包括：采用神经网络对图像进行处理得到第一观测结果，代替非线性滤波过程中硬件观测得到观测结果；结合运动模型通过非线性滤波的预测过程对目标对象的运动状态进行预测得到预测结果，根据预测结果对目标对象的运动轨迹进行估计得到第一估计结果，根据第一观测结果和第一估计结果的残差对预测结果进行调整，得到更准确的测量结果。该方法可用于相机采集的图像数据的处理过程中，提升了在自动驾驶或者辅助驾驶中的高级驾驶辅助系统ADAS能力，可以应用于车联网，如车辆外联V2X、车间通信长期演进技术LTE

【技术实现步骤摘要】
测量方法及装置


[0001]本申请涉及图像处理
，尤其涉及一种测量方法及装置。

技术介绍

[0002]随着社会的发展，智能运输设备、智能家居设备、机器人等智能终端正在逐步进入人们的日常生活中。传感器在智能终端上发挥着十分重要的作用。安装在智能终端上的各式各样的传感器，比如毫米波雷达，激光雷达，摄像头，超声波雷达等，在智能终端的运动过程中感知周围的环境，收集数据，进行移动物体的辨识与追踪，以及静止场景如车道线、标示牌的识别，并结合导航仪及地图数据进行路径规划。传感器可以预先察觉到可能发生的危险并辅助甚至自主采取必要的规避手段，有效增加了智能终端的安全性和舒适性。
[0003]利用上述传感器获取的信息，可以实现对周边环境及物体的分类、识别以及跟踪等功能。以自动驾驶为例，自动驾驶车辆利用车载的传感器获取外部信息，根据这些外部信息进行转向、减速等控制动作，从而避免与其他车辆相撞。比如说，通过测量目标车辆的航向角，可以预测目标车辆未来的行驶轨迹。当目标车辆超车或并道时，目标车辆的航向角会发生明显的变化，自动驾驶车辆可通过航向角的变化来判断目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种测量方法，应用于单目相机，其特征在于，所述方法包括：通过所述单目相机采集第一图像；采用神经网络模型识别所述第一图像中的目标对象的第一观测结果；所述第一观测结果包括所述目标对象包含的多个观测点的像素平面坐标；根据所述目标对象的初始运动状态和运动模型进行非线性滤波的预测过程，得到第一预测状态和非线性滤波的更新参数；其中，所述初始运动状态为根据所述第一图像之前的历史图像得到的测量结果，所述初始运动状态表示在所述相机采集所述第一图像之前所述目标对象的最终运动状态，所述初始运动状态包括所述目标对象的初始航向角；根据所述第一预测状态，得到所述多个观测点的像素平面坐标的第一估计结果；根据所述第一观测结果和所述第一估计结果，得到残差；根据所述第一预测状态、所述残差和所述更新参数进行非线性滤波的更新过程，得到所述目标对象的运动状态的新的测量结果，所述新的测量结果包括所述目标对象的航向角。2.根据权利要求1所述的方法，其特征在于，所述初始运动状态包括初始状态值和初始协方差矩阵，根据所述目标对象的初始运动状态和运动模型进行非线性滤波的预测过程，得到第一预测状态和非线性滤波的更新参数，包括：从均值为所述初始状态值、协方差矩阵为所述初始协方差矩阵的高斯分布中，提取包括所述初始状态值对应的点在内的多个代表点，以及每个所述代表点对应的权重；根据所述运动模型和所述多个代表点的状态值，得到每个所述代表点的第一估计状态值；根据每个所述代表点的所述第一估计状态值和所述权重，计算所述第一预测状态的第一预测状态均值和第一预测协方差矩阵；将每个所述代表点的所述第一估计状态值转换到像素平面坐标系，得到每个所述代表点的像素平面坐标；根据每个所述代表点的像素平面坐标和所述权重，计算所述多个代表点在像素平面坐标系的均值和协方差矩阵；根据每个所述代表点的所述第一估计状态值和所述第一预测状态均值、每个所述代表点的像素平面坐标、多个代表点在像素平面坐标系的均值以及所述权重，得到所述更新参数中的交叉关联矩阵；根据所述交叉关联矩阵和所述多个代表点在像素平面坐标的协方差矩阵，得到所述更新参数中的卡尔曼增益。3.根据权利要求2所述的方法，其特征在于，根据所述第一预测状态，得到所述多个观测点的像素平面坐标的第一估计结果，包括：根据所述第一预测状态均值计算每个所述观测点的世界坐标，并将每个所述观测点的世界坐标转换为像素平面坐标，得到每个所述观测点的第一估计结果。4.根据权利要求2所述的方法，其特征在于，根据所述第一预测状态、所述残差和所述更新参数进行非线性滤波的更新过程，得到所述目标对象的运动状态的新的测量结果，包括：
计算所述残差和所述卡尔曼增益的乘积，得到状态增量；对所述第一预测状态均值和所述状态增量求和，得到所述新的测量结果的第二预测状态均值；根据所述第一预测协方差矩阵、所述卡尔曼增益和所述交叉关联矩阵，得到所述新的测量结果的第二预测协方差矩阵。5.根据权利要求1
‑
4任意一项所述的方法，其特征在于，所述方法还包括：在损失满足收敛条件之前，执行以下过程：在所述目标对象的观测区域中移动光流跟踪区域，从移动后的光流跟踪区域中确定所述第一图像和所述第一图像之前的历史图像的多对样本匹配点；所述目标对象的所述观测区域为目标对象上的平面区域在图像上的对应区域，每对样本匹配点对应于所述目标对象的同一点；根据所述多对样本匹配点中的至少部分匹配点进行单应求解，得到单应矩阵；根据所述单应矩阵和所述第一图像上的所述观测区域所在的平面的法向量，得到第一航向角变化率，所述第一航向角变化率为所述目标对象在所述历史图像和所述第一图像中的航向角变化率；其中，所述损失为根据所述第一航向角变化率与第二航向角变化率的差值、以及所述多对样本匹配点中满足所述单应矩阵的点的数量确定的，所述第二航向角变化率为所述第一预测状态均值包括的航向角变化率。6.根据权利要求5所述的方法，其特征在于，所述残差还包括所述第一航向角变化率和所述第二航向角变化率的差值。7.根据权利要求5所述的方法，其特征在于，所述方法还包括：根据每个所述观测点在所述目标对象中关联的所述目标对象的部位的尺寸，得到每个所述观测点的第一观测噪声；或者，根据所述光流跟踪的区域的尺寸，得到第二观测噪声；根据目标对象的初始运动状态和运动模型进行非线性滤波的预测过程，得到第一预测状态和非线性滤波的更新参数，包括：从均值为所述初始状态值、协方差矩阵为所述初始协方差矩阵的高斯分布中，提取包括所述初始状态值对应的点在内的多个代表点，以及每个所述代表点对应的权重；根据所述运动模型和所述多个代表点的状态值，得到每个所述代表点的第一估计状态值；根据每个所述代表点的所述第一估计状态值所述权重，计算所述第一预测状态的第一预测状态均值和第一预测协方差矩阵；将每个所述代表点的所述第一估计状态值转换到像素平面坐标系，得到每个所述代表点的像素平面坐标；根据每个所述代表点的像素平面坐标和权重、以及所述第一观测噪声和所述第二观测噪声中的一者或两者，计算所述多个代表点在像素平面坐标的均值和协方差矩阵；根据每个所述代表点的所述第一估计状态值和所述第一预测状态均值、每个所述代表点的像素平面坐标、多个代表点在像素平面坐标的均值以及所述权重，得到所述更新参数中的交叉关联矩阵；
根据所述交叉关联矩阵和所述多个代表点在像素平面坐标的协方差矩阵，得到所述更新参数中的卡尔曼增益。8.根据权利要求1
‑
7任意一项所述的方法，其特征在于，所述目标对象和所述观测对象为车辆，所述多个观测点包括：车辆的车尾的两个角点和车头的一个角点中的一个或多个。9.根据权利要求8所述的方法，其特征在于，所述观测区域包括所述车辆的车尾在图像上的对应区域和所述车辆的侧面在图像上的对应区域中的一个或多个。10.根据权利要求9所述的方法，其特征在于，采用神经网络模型识别所述第一图像中的目标对象的第一观测结果，包括：采用所述神经网络模型识别所述第一图像中的所述车辆，得到接地线、分界线和边界框Bounding Box；其中，所述接地线表示所述车辆的车轮接地点所在的直线，所述分界线表示所述车辆的两个平面的分界线；根据所述接地线、所述分界线和所述Bounding Box，确定所述多个观测点以及所述多个观测点的像素平面坐标。11.根据权利要求10所述的方法，其特征在于，在所述车辆的一个面可见时，所述残差包括方位角和所述第一预测状态均值中的航向角的差值，所述方位角为根据所述第一预测状态均值中的纵坐标、横坐标计算得到的。12.一种测量装置，应用于单目相机，其特征在于，所述装置包括：图像采集模块，用于通过所述单目...

【专利技术属性】
技术研发人员：杨思静，张强，苏惠荞，魏志方，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：