图像融合方法、自动驾驶控制方法、装置和设备制造方法及图纸

本申请提供了一种图像融合方法、自动驾驶控制方法、装置和设备；其中，该方法包括：从目标环境的2D图像中获取指定标志物对应的图标和图标的第一位置；在目标环境的3D点云图像中，根据第一位置确定指定标志物的第二位置；根据第二位置，从3D点云图像中提取指定标志物对应的平面区域；将指定标志物对应的图标融合至3D点云图像的平面区域。本申请通过将2D图像中的标志物图标融合至3D点云图像中，丰富了3D点云图像的信息量，扩展了标志物的使用场景。

Image fusion method, automatic driving control method, device and equipment

【技术实现步骤摘要】
图像融合方法、自动驾驶控制方法、装置和设备
本申请涉及互联网
，尤其涉及一种图像融合方法、自动驾驶控制方法、装置和设备。
技术介绍
在地图重建、自动驾驶等领域中，常常需要检测并识别环境中的标志物，如路牌、路标、地面指示标等交通标志，以及广告牌、商铺牌或其他标志物；现有的标志物检测识别方式，大多通过图像处理或机器学习等技术实现，但这些方式通常是二维平面上的内容识别，信息比较单一，难以满足用户多样化的需求。
技术实现思路
有鉴于此，本申请实施例提供一种图像融合方法、自动驾驶控制方法、装置和设备，以丰富标志物检测的信息量，扩展标志物的使用场景，从而满足用户多样化的需求。主要包括以下几个方面：第一方面，本申请实施例提供了一种图像融合方法，该方法包括：从目标环境的2D图像中获取指定标志物对应的图标和图标的第一位置；在目标环境的3D点云图像中，根据第一位置确定指定标志物的第二位置；根据第二位置，从3D点云图像中提取指定标志物对应的平面区域；将指定标志物对应的图标融合至3D点云图像的平面区域。r>在本专利技术较佳本文档来自技高网...

【技术保护点】
1.一种图像融合方法，其特征在于，所述方法包括：/n从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置；/n在所述目标环境的3D点云图像中，根据所述第一位置确定所述指定标志物的第二位置；/n根据所述第二位置，从所述3D点云图像中提取所述指定标志物对应的平面区域；/n将所述指定标志物对应的图标融合至所述3D点云图像的平面区域。/n

【技术特征摘要】
1.一种图像融合方法，其特征在于，所述方法包括：
从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置；
在所述目标环境的3D点云图像中，根据所述第一位置确定所述指定标志物的第二位置；
根据所述第二位置，从所述3D点云图像中提取所述指定标志物对应的平面区域；
将所述指定标志物对应的图标融合至所述3D点云图像的平面区域。


2.如权利要求1所述的方法，其特征在于，所述从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置的步骤之前，所述方法还包括：
通过摄像装置获取所述目标环境的2D图像；
通过激光雷达获取所述目标环境的3D点云图像。


3.如权利要求1所述的方法，其特征在于，所述从目标环境的2D图像中获取指定标志物对应的图标的步骤，包括：
从目标环境的2D图像中检测指定标志物对应的初始区域；
从所述初始区域中提取所述指定标志物的边缘线条，将所述边缘线条所包围的图像确定为所述指定标志物对应的图标。


4.如权利要求3所述的方法，其特征在于，从目标环境的2D图像中检测指定标志物对应的初始区域的步骤，包括：
采用深度学习的方式，从目标环境的2D图像中检测指定标志物对应的初始区域；或者，
采用深度学习和跟踪结合的方式，从目标环境的2D图像中检测指定标志物对应的初始区域。


5.如权利要求3所述的方法，其特征在于，从所述初始区域中提取所述指定标志物的边缘线条的步骤，包括：
如果所述指定标志物为三角形或矩形，对所述初始区域进行线段分割检测LSD，得到所述指定标志物的多个线段；根据所述线段间的顶点位置和连接关系，得到所述指定标志物的边缘线条；
如果所述指定标志物为圆形，在所述初始区域中进行椭圆拟合，得到所述指定标志物的边缘线条。


6.如权利要求3所述的方法，其特征在于，所述指定标志物对应的图标的第一位置的获取过程包括：
确定所述初始区域在所述目标环境的2D图像中的坐标；
根据所述2D图像的拍摄位置和所述初始区域的坐标，确定所述初始区域的地理位置；
将所述图像初始区域的地理位置作为所述指定标志物对应的图标的第一位置。


7.如权利要求3所述的方法，其特征在于，从所述初始区域中提取所述指定标志物的边缘线条，将所述边缘线条所包围的图像确定为所述指定标志物对应的图标包括：
从所述初始区域中提取所述指定标志物的边缘线条；
判断所述边缘线条组成的当前形状是否发生透视形变；
如果是，根据所述当前形状所属的图形类别调整所述边缘线条和所述边缘线条包围的图像；
将调整后所述边缘线条所包围的图像确定为所述指定标志物对应的图标。


8.如权利要求7所述的方法，其特征在于，判断所述边缘线条组成的当前形状是否发生透视形变的步骤，包括：
识别所述指定标志物的边缘线条组成的当前形状所属的图形类别；
判断所述当前形状是否属于所述图形类别对应的标准形状；
如果否，确定所述当前形状发生透视形变。


9.如权利要求7所述的方法，其特征在于，根据所述当前形状所属的图形类别调整所述边缘线条和所述边缘线条包围的图像的步骤，包括：
按照当前形状所属的图形类别，获取所述当前形状的变换基准数据；
根据预设的所述图形类别对应的变换方程以及所述变换基准数据，调整所述边缘线条和所述边缘线条包围的图像。


10.如权利要求9所述的方法，其特征在于，按照当前形状所属的图形类别，获取所述当前形状的变换基准数据的步骤，包括：
如果所述当前形状所属的图形类别为梯形，将所述当前形状的角点位置作为变换基准数据；
如果所述当前形状所属的图形类别为三角形，将所述当前形状的角点位置和中心点位置作为变换基准数据；
如果所述当前形状所属的图形类别为椭圆形，将所述当前形状的圆心位置和半径作为变换基准数据。


11.如权利要求1所述的方法，其特征在于，所述在所述目标环境的3D点云图像中，根据所述第一位置确定所述指定标志物的第二位置的步骤，包括：
从所述3D点云图像的位置坐标系中，查找所述第一位置对应的坐标；
将所述第一位置对应的坐标确定为所述指定标志物在所述3D点云图像中的第二位置。


12.如权利要求1所述的方法，其特征在于，所述根据所述第二位置，从所述3D点云图像中提取所述指定标志物对应的平面区域的步骤，包括：
从所述3D点云图像中获取距离所述第二位置预设范围内的局部点云图像；
根据预设的平面方程，从所述局部点云图像中提取所述指定标志物对应的平面区域。


13.如权利要求12所述的方法，其特征在于，所述根据预设的平面方程，从所述局部点云图像中提取所述指定标志物对应的平面区域的步骤，包括：
从所述3D点云图像的位置坐标系中，获取所述局部点云图像中，各像素点的位置坐标(x，y，z)；
通过多个相邻的所述像素点的位置坐标，计算得到预设的平面方程ax+by+cz＝1中，参数a、参数b和参数c的参数值；
将所述参数值的差值在预设范围内的对应的像素点确定为同一平面区域；
从预设的指定标志物数据库中查找标准形状对应的指定标志物的真实尺寸和比例；从确定出的平面区域中查找得到与所述指定标志物的真实尺寸和比例相匹配的平面区域。


14.如权利要求1-13任一项所述的方法，其特征在于，所述指定标志物为交通标志物。


15.如权利要求1-13任一项所述的方法，其特征在于，所述方法还包括：
对融合有所述指定标志物对应的图标的3D点云图像进行地图构建，得到带有所述指定标志物对应的图标的3D点云地图。


16.一种自动驾驶控制方法，其特征在于，所述方法包括：
获取车辆所处环境的3D点云图像，其中，所述3D点云图像为融合有交通标志物对应的图标，所述图标的融合过程采用权利要求1-13任一项所述的方法；
基于所述3D点云图像识别所述车辆距离所述交通标志物的距离和所述交通标志物对应的指示信息；
根据所述距离和所述指示信息生成行驶控制指令，以控制所述车辆按照所述指示信息行驶。


17.一种图像融合装置，其特征在于，所述装置包括：
图标和第一位置获取模块，用于从目标环境的2D图像中获取指定标志物对应的图标和所述图标的第一位置；
第二位置确定模块，用于在所述目标环境的3D点云...

【专利技术属性】
技术研发人员：屈孝志，马腾，
申请(专利权)人：北京嘀嘀无限科技发展有限公司，
类型：发明
国别省市：北京;11