一种自动驾驶中基于细粒度识别的3D场景流估计的方法技术

本发明专利技术公开了一种自动驾驶中基于细粒度识别的3D场景流估计的方法，该方法具体步骤如下：使用Kinect深度摄像机拍摄同一场景的四张RGB图像，并使用立体方法为相机坐标系中的每个像素提取3D点(XYZ)，基于RGB和XYZ值，训练一个多网络级联(MNC),然后基于细粒度识别来预测2D边界框和2D实例，同时分析不同层次的识别粒度对场景流估计的影响。再利用2D实例来获得对象坐标，对获得数据信息进行整合并集成到3D场景流中，最终实现对自动汽车未来3D位置的预测。该方法是利用细粒度识别来预测自动驾驶汽车的下一时刻位置，当存在大位移或者局部不确定的情况下，使预测的结果更加真实、精准。精准。精准。

【技术实现步骤摘要】
一种自动驾驶中基于细粒度识别的3D场景流估计的方法


本专利技术属于目标导航和运动估计技术中的3D场景流估计
，特别是涉及一种自动驾驶中基于细粒度识别的3D场景流估计的方法。

技术介绍

3D场景流估计技术是计算机视觉领域研究的一个重要研究方向，在目标识别、场景重构、机器人导航、自动驾驶等领域都有广泛的应用。现有的三维场景流估计方法经常在存在大位移或局部不确定性的情况下失败，例如在无纹理或反射表面，这些挑战在动态的道路场景中无处不在，通过研究识别粒度的重要性，利用识别技术来克服这些三维运动的估计问题。3D场景流估计技术可以概括为两类：(1)基于图像纹理分解的估计方法，现有的全局化方法多数是在Horn
‑
Schunk方法的基础上进行改进的。传统的全局计算方法有一个明显的缺陷，即计算方法的鲁棒性较差，限制了该方法在实际中的应用。(2)双目视觉场景流计算方法，双目立体视觉在实时应用中能够生成较好的密集视差图，也足以用于计算机视觉领域的分割、跟踪等领域，但是其也具有一定的缺陷，在自动驾驶测试中，该方法过于依赖本地特性，即使是比较先进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶中基于细粒度识别的3D场景流估计的方法，其特征在于：包括以下步骤：S1、使用Kinect深度摄像机拍摄同一场景的四张RGB图像：将Kinect深度摄像机插上电源并通过数据线连接在电脑上，打开设备开始采集汽车运动过程中同一场景的四张RGB图像，保存采集的图像信息；S2、分别使用立体方法为相机坐标系中的每个像素提取3D点(XYZ)，具体包括：S21、求解像素坐标系到图像坐标系的转换，对于图像表面一点p，坐标为(x，y)，像素坐标为(u，v)，像素坐标系的单位是pixel，即1pixel＝dx mm，，则其对应的转换关系如下式所示：S22、求解图像坐标系到相机坐标系的转换，从相机坐标系到图像坐标系是从3D转换到2D，属于透视投影关系，对于相机坐标系点P
c
(X
c
，Y
c
，Z
c
)，则在平面上的投影为p(x，y)，根据相似三角形求对应的转换关系如下式所示：S3、基于RGB像素值和XYZ值，训练一个多网络级联(MNC),基于细粒度识别来预测2D边界框和2D实例，具体包括：S31、给定连续两帧作为输入图像，推断参考视图中每个像素的三维几何形状与物体的关联以及物体的运动，关联参考对象K
i
和物体O
j
的刚体运动，我们将场景流估计任务描述为一个能量最小化问题，包括数据、平滑度和实例项：S32、省略所有模型的权重参数，s＝{s
i
|∈S}且o＝{o
i
|∈O}；假设数据术语编码与所有图像上的对应点的外观相似，则：图像上的对应点的外观相似，则：S33、平滑度项鼓励了相邻超像素在深度、...

【专利技术属性】
技术研发人员：费伦林，罗江，刘令君，高林，喻恺，黄涛，熊斯鹏，
申请(专利权)人：江西方兴科技股份有限公司，
类型：发明
国别省市：