一种摄像头与激光雷达融合系统技术方案

本发明专利技术公开了一种摄像头与激光雷达融合系统，包括激光雷达和摄像头模组，激光雷达与摄像头模组相连；摄像头模组包括至少一个第一摄像头和至少一个第二摄像头，第一摄像头用于实现360°环视图像采集，第二摄像头用于实现前视图像采集；激光雷达包括转子和设于转子上的至少一个透镜组，透镜组可随转子相对于摄像头模组旋转；当透镜组旋转到预设位置时，触发摄像头模组进行拍照。本发明专利技术能够完成激光雷达与第一摄像头和第二摄像头的信息同步采集，并通过后期参数标定，使第一摄像头和第二摄像头采集的图像数据与激光雷达采集的点云数据融合，得到像素和点云之间的精确的坐标映射关系，实现了空间匹配，提高了探测准确性，丰富了被探测物体的信息。

A Fusion System of Camera and Lidar

The invention discloses a camera and lidar fusion system, including a lidar and a camera module, which is connected with a camera module; a camera module includes at least one first camera and at least one second camera, the first camera is used for 360 degree circular image acquisition, and the second camera is used for front image acquisition; a lidar includes a rotor. And at least one lens group on the rotor, the lens group can rotate with the rotor relative to the camera module; when the lens group rotates to the preset position, the camera module is triggered to take photos. The method can accomplish the synchronous acquisition of information between lidar and the first camera and the second camera, and fuse the image data collected by the first camera and the second camera with the point cloud data collected by lidar through the later parameter calibration. The precise coordinate mapping relationship between the pixel and the point cloud is obtained, the spatial matching is realized, the detection accuracy is improved, and the data collected by the lidar is enriched. Detecting information about objects.

【技术实现步骤摘要】
一种摄像头与激光雷达融合系统
本专利技术涉及无人驾驶汽车的环境感知系统
，特别涉及一种摄像头与激光雷达融合系统。
技术介绍
无人驾驶汽车行驶环境中的障碍物探测是无人驾驶汽车环境感知系统的关键技术之一。现阶段通常采用安装在无人驾驶汽车上的传感器，在行驶过程中实时采集并分析汽车周围的二维图像和三维距离数据，将该数据传输至无人驾驶汽车的控制系统，来对无人驾驶汽车进行控制。视觉摄像头和激光雷达是目前最常使用的两种测距传感元件。视觉摄像头通过对汽车周围物体进行实时监测，同时配以标定算法计算出物体与车辆的距离，从而实现车道偏离警告、前车防撞、行人探测等功能；激光雷达则通过测量发射光线与反射光线之间的时间间隔，来对障碍物进行精确的距离测量。摄像头的优势在于物体的细致分类识别，尤其是在内容上，比如车牌，指示牌等，而激光雷达的优势在于距离，深度信息的采集。摄像头是对环境光的被动采集，在遇到暗光，阴影，强逆光环境，摄像头无法采集到足够有效信息或者直接失效。激光雷达是主动发出光线探测，可以抵御环境光的影响，尤其是暗光环境探测效果反而更佳。无人驾驶汽车在未知的复杂环境中行驶，仅仅通过视频摄像头或激光雷达获取的探测信息较为单一，难以进行准确的定位，多传感器的融合是无人驾驶汽车障碍物探测必然的发展趋势。
技术实现思路
本专利技术的目的在于针对现有技术的缺陷，提供一种摄像头与激光雷达融合系统。为了达到上述目的，本专利技术提供一种摄像头与激光雷达融合系统，包括激光雷达和摄像头模组，所述激光雷达与所述摄像头模组相连；所述摄像头模组包括至少一个第一摄像头和至少一个第二摄像头，所述第一摄像头用于实现360°环视图像采集，所述第二摄像头用于实现前视图像采集；所述激光雷达包括转子和设置于所述转子上的至少一个透镜组，所述透镜组可随所述转子相对于所述摄像头模组旋转；当所述透镜组旋转到预设位置时，触发所述摄像头模组进行拍照。可选地，所述摄像头模组还包括摄像头支架；所述激光雷达包括基座，所述激光雷达通过所述基座与所述摄像头支架相连。可选地，所述摄像头模组包括四个所述第一摄像头和一个所述第二摄像头，所述第一摄像头和所述第二摄像头均设置于所述摄像头支架的外壁上；四个所述第一摄像头沿所述摄像头支架的外壁的周向均匀分布，用于分别采集前视、后视、左视、右视四个方位的图像；所述第二摄像头为彩色摄像头，其位于所述第一摄像头中用于采集前视方位图像的摄像头的正上方或正下方，用于实现前视方位的彩色图像采集。可选地，所述第二摄像头为彩色摄像头，其取代所述第一摄像头中的用于采集前视方位图像的摄像头，用于实现前视方位的彩色图像采集。可选地，所述摄像头支架包括第一安装筒和第二安装筒，所述第二安装筒与所述第一安装筒上下布置；所述第一安装筒上设置有多个用于安装所述第一摄像头的第一安装部，多个所述第一安装部环向均匀分布于所述第一安装筒上，所述第一安装部为第一镂空结构，所述第一镂空结构包括与所述第一摄像头相配合的第一通孔；所述第二安装筒上设置有用于安装所述第二摄像头的第二安装部，所述第二安装部为第二镂空结构，所述第二镂空结构包括与所述第二摄像头相配合的第二通孔。可选地，所述第一安装部和所述第二安装部上分别设置有第一切角结构和第二切角结构。可选地，所述摄像头支架的一端设置有第一连接部，所述基座上设置有与所述第一连接部相配合的第二连接部，所述第一连接部和所述第二连接部之间通过连接件相连。可选地，所述基座的外侧设置有套接件，所述套接件为环状结构。可选地，所述系统还包括底座，所述底座与所述摄像头支架相连。可选地，所述系统还包括第一电路板和第二电路板，所述第一电路板和所述第二电路板均设置于所述底座的内部，且所述第二电路板位于所述第一电路板下方。可选地，所述激光雷达的外侧设置有第一外罩，所述摄像头模组的外侧设置有第二外罩，所述套接件的一端与所述第一外罩相连，所述套接件的另一端与所述第二外罩相连。可选地，所述第一外罩与所述套接件之间设置有第一密封件，所述第二外罩与所述套接件之间设置有第二密封件。与现有技术相比，本专利技术具有如下有益效果：1、本专利技术的透镜组旋转到激光雷达的视场与第一摄像头的视场全部或部分重合的位置时，会触发第一摄像头和第二摄像头进行拍照，能够完成激光雷达与第一摄像头和第二摄像头的信息同步采集，当信息同步采集完成后，通过后期参数标定，使第一摄像头和第二摄像头采集的图像数据与激光雷达采集的点云数据融合，得到像素和点云之间的精确的坐标映射关系，实现了空间匹配，提高了探测准确性，丰富了被探测物体的信息；2、本专利技术通过将四个第一摄像头均匀分布于摄像头支架的外壁上的布置方式，使得结构更加紧凑，能够有效降低四个第一摄像头之间的盲区；3、本专利技术通过主定位和副定位相结合的方式，以限制激光雷达的基座和摄像头支架之间沿径向方向的相对运动，并通过连接件使基座与摄像头支架相连，以限制基座和摄像头支架之间沿轴向方向的相对运动，采用这样的方式可以使激光雷达与摄像头模组在安装时保持独立的完整性，有利于实现模块化，方便拆装及后期维护；4、本专利技术通过在摄像头支架的第一安装部和第二安装部上分别设置第一切角结构和第二切角结构，相对于没有切角结构的摄像头支架而言，减少了对摄像头视场的遮挡；5、本专利技术通过布置第一外罩和第二外罩，保证所有元件均隐藏在第一外罩和第二外罩内部，使系统具有更好的完整性；6、本专利技术的第一外罩和第二外罩相对于套接件对称设置，保证具有良好的外观效果，同时，保证第一外罩和第二外罩在制造时可以共用一副模具，有利于降低制造成本；7、本专利技术的套接件分别与第一外罩和第二外罩螺纹连接，通过螺纹旋压的方式来压紧第一密封件和第二密封件，能够提供合适的压紧力，有利于保证IP等级；8、本专利技术采用将一整块大的电路板拆分成上下布置的两块电路板形式，相比于采用一整块大的电路板水平布置的形式，节约了底座的安装空间。本专利技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术实施例提供的摄像头与激光雷达融合系统的示意图；图2是本专利技术实施例提供的摄像头模组与激光雷达的连接示意图；图3是本专利技术实施例提供的摄像头模组的立体结构示意图；图4是本专利技术实施例提供的摄像头模组的主视图；图5是本专利技术实施例提供的第一摄像头的主视图；图6是本专利技术实施例提供的第一摄像头的俯视图；图7是本专利技术实施例提供的第一摄像头的水平视场分布图；图8是本专利技术实施例提供的透镜组旋转至第一预设位置的工作原理图；图9是本专利技术实施例提供的透镜组旋转至第二预设位置的工作原理图；图10是本专利技术实施例提供的摄像头支架与基座的装配示意图；图11是图10中A的放大示意图；图12是本专利技术实施例提供的第二外罩的装配示意图；图13是图12中B的放大示意图；图14是图12中C的放大示意图；图15是本专利技术实施例提供的第一电路板的结构示意图；图中：1-摄像头模组，11-第一摄像头，111-水本文档来自技高网...

【技术保护点】
1.一种摄像头与激光雷达融合系统，其特征在于，包括激光雷达(2)和摄像头模组(1)，所述激光雷达(2)与所述摄像头模组(1)相连；所述摄像头模组(1)包括至少一个第一摄像头(11)和至少一个第二摄像头(12)，所述第一摄像头(11)用于实现360°环视图像采集，所述第二摄像头(12)用于实现前视图像采集；所述激光雷达(2)包括转子(21)和设置于所述转子(21)上的至少一个透镜组(22)，所述透镜组(22)可随所述转子(21)相对于所述摄像头模组(1)旋转；当所述透镜组(22)旋转到预设位置时，触发所述摄像头模组(1)进行拍照。

【技术特征摘要】
1.一种摄像头与激光雷达融合系统，其特征在于，包括激光雷达(2)和摄像头模组(1)，所述激光雷达(2)与所述摄像头模组(1)相连；所述摄像头模组(1)包括至少一个第一摄像头(11)和至少一个第二摄像头(12)，所述第一摄像头(11)用于实现360°环视图像采集，所述第二摄像头(12)用于实现前视图像采集；所述激光雷达(2)包括转子(21)和设置于所述转子(21)上的至少一个透镜组(22)，所述透镜组(22)可随所述转子(21)相对于所述摄像头模组(1)旋转；当所述透镜组(22)旋转到预设位置时，触发所述摄像头模组(1)进行拍照。2.根据权利要求1所述的摄像头与激光雷达融合系统，其特征在于，所述摄像头模组(1)还包括摄像头支架(13)；所述激光雷达(2)包括基座(23)，所述激光雷达(2)通过所述基座(23)与所述摄像头支架(13)相连。3.根据权利要求2所述的摄像头与激光雷达融合系统，其特征在于，所述摄像头模组(1)包括四个所述第一摄像头(11)和一个所述第二摄像头(12)，所述第一摄像头(11)和所述第二摄像头(12)均设置于所述摄像头支架(13)的外壁上；四个所述第一摄像头(11)沿所述摄像头支架(13)的外壁的周向均匀分布，用于分别采集前视、后视、左视、右视四个方位的图像；所述第二摄像头(12)为彩色摄像头，其位于所述第一摄像头(11)中用于采集前视方位图像的摄像头的正上方或正下方，用于实现前视方位的彩色图像采集。4.根据权利要求3所述的摄像头与激光雷达融合系统，其特征在于，所述第二摄像头(12)为彩色摄像头，其取代所述第一摄像头(11)中的用于采集前视方位图像的摄像头，用于实现前视方位的彩色图像采集。5.根据权利要求3所述的摄像头与激光雷达融合系统，其特征在于，所述摄像头支架(13)包括第一安装筒(131)和第二安装筒(132)，所述第二安装筒(132)与所述第一安装筒(131)上下布置；所述第一安装筒(131)上设置有多个用于安装所述第一摄像头(11)的第一安装部(1311)，多个所述第一安装部(131...

【专利技术属性】
技术研发人员：田尚，向少卿，
申请(专利权)人：上海禾赛光电科技有限公司，
类型：发明
国别省市：上海,31