用于镜更换系统的摄像机图像和传感器融合技术方案

一种用于车辆的测量系统包括限定具有对应的光轴的视野的第一摄像机，以及运动检测传感器，该运动检测传感器机械地固定到第一摄像机上使得运动检测传感器被配置为检测光轴的运动。运动。运动。

【技术实现步骤摘要】
【国外来华专利技术】用于镜更换系统的摄像机图像和传感器融合
[0001]相关申请的交叉引用
[0002]本申请要求于2019年8月1日提交的美国临时申请第62/881506号的优先权。


[0003]本公开总体上涉及一种用于生成视频馈送数据集的结构，该视频馈送数据集包括来自摄像机的图像数据和来自对应的运动指示器的运动数据的融合。

技术介绍

[0004]镜更换系统(例如在商用车辆中使用的那些)利用一个或多个摄像机为车辆操作者提供增强的视野。镜更换系统比传统镜覆盖更大的视野。作为镜更换系统操作的一部分，大量的图像数据由每个镜更换结构内的摄像机生成。除了镜更换系统外，其他车辆系统也可以包括或利用摄像机。来自摄像机的图像数据可以被控制器分析，并用于执行增强车辆操作的多种功能和镜更换。

技术实现思路

[0005]在一个示例性实施方式中，一种用于车辆的测量系统包括第一摄像机和运动检测传感器，第一摄像机限定具有对应的光轴的视野，运动检测传感器机械地固定到第一摄像机上，使得该运动检测传感器被配置为检测光轴的运动。
[0006]在上述用于车辆的测量系统的另一个示例中，运动检测传感器包括加速度计、陀螺仪和倾角计中的一种。
[0007]在任何一个上述用于车辆的测量系统的另一个示例中，运动检测传感器机械地连接至第一摄像机的专用集成电路(ASIC)，使得ASIC的运动与光轴的运动以一对一的方式对应。
[0008]在任何一个上述用于车辆的测量系统的另一个示例中，ASIC被配置为输出融合数据集，该融合数据集包括由第一摄像机生成的图像数据和由运动检测传感器生成的运动数据的组合。
[0009]在任何一个上述用于车辆的测量系统的另一个示例中，融合数据是时间相关数据。
[0010]任何一个上述用于车辆的测量系统的另一个例子还包括被配置为接收融合数据集的控制器，该控制器被配置为使用基于机器学习的分析来分析融合数据集。
[0011]在任何一个上述用于车辆的测量系统的另一个示例中，基于机器学习的分析被配置为确定摄像机的取向并且响应于第一摄像机面向不正确的方向而向操作者发出警报。
[0012]在任何一个上述用于车辆的测量系统的另一个示例中，ASIC连接至控制器，该控制器被配置为接收运动传感器输出和摄像机输出，并且其中控制器被配置为将运动传感器输出和摄像机输出融合，由此创建融合数据集。
[0013]在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集是使用汽车安
全集成级别(ASIL)分解融合来创建的。
[0014]在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集被提供给摄像机取向监控系统、对象检测系统、摄像机未对准系统、视野调整系统、对象检测冗余系统、图像稳定系统、线端校准系统、篡改识别系统和自动摄像机随动拍摄系统、摄像机位移检测系统和遮挡检测系统中的至少一个。
[0015]在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集被提供给遮挡检测系统，并且其中遮挡检测系统将融合数据的基于图像的运动检测和基于传感器的运动检测进行比较以确定摄像机何时至少部分被遮挡。
[0016]在任何一个上述用于车辆的测量系统的另一个示例中，融合数据集被提供给摄像机位移检测系统，并且其中摄像机位移检测系统被配置为将通过图像分析检测到的运动速度与通过传感器分析检测到的运动速度进行比较，并响应于通过图像分析检测到的运动速度比通过传感器分析检测到的运动速度超过预定量，确定已经发生了摄像机位移。
[0017]在任何一个上述用于车辆的测量系统的另一个示例中，还包括多个第二摄像机和多个运动检测传感器，多个第二摄像机中的每一个限定具有对应的光轴的视野，多个运动检测传感器中的每一个运动检测传感器通过对应的专用集成电路(ASIC)机械地固定到多个第二摄像机中的对应一个第二摄像机上，其中多个第二摄像机中每一个摄像机的运动和第一摄像机的运动独立于其他每个摄像机的运动来确定。
[0018]在任何一个上述用于车辆的测量系统的另一个示例中，每个对应的ASIC被配置为输出融合数据集，该融合数据集包括由对应的摄像机生成的图像数据和由运动检测传感器生成的运动数据的组合。
[0019]一种用于检测车辆的被遮挡的摄像机镜头的示例性方法包括：从摄像机系统接收图像数据和惯性运动单元(IMU)数据；分析IMU数据以使用基于传感器的运动检测系统检测摄像机系统的运动；使用基于图像的运动检测分析来分析图像数据以检测摄像机的运动；以及响应于基于图像的运动检测分析指示无运动和基于传感器的运动检测指示运动，确定存在至少部分被遮挡的镜头。
[0020]在上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，摄像机系统包括第一摄像机和运动检测传感器，第一摄像机限定具有对应的光轴的视野，运动检测传感器机械地固定到第一摄像机上，使得该运动检测传感器被配置为检测光轴的运动。
[0021]在上述用于检测车辆的被遮挡的摄像机镜头的任何方法的另一个示例中，基于图像的运动检测分析包括：识别图像数据的第一帧中的参照物、识别图像数据的第二帧中的参照物以及响应于帧之间的参照物的位置变化超过阈值，确定摄像机系统处于运动中。
[0022]在任何一个上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，第二帧在第一帧之后。
[0023]在任何一个上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，图像数据和IMU数据是单个融合数据集。
[0024]在任何一个上述用于检测车辆的被遮挡的摄像机镜头的方法的另一个示例中，在确定存在至少部分被遮挡的镜头的同时，将图像数据和IMU数据融合。
[0025]一种用于检测用于车辆的移位的摄像机系统的示例性方法包括：从摄像机系统接收融合数据，该融合数据包括图像部分和惯性运动单元(IMU)部分；使用基于图像的运动检
测系统分析图像部分并确定图像内的至少一个对象的至少一个运动参数；使用基于传感器的运动检测系统分析IMU部分并确定IMU的至少一个运动参数；以及将图像中的至少一个对象的至少一个运动参数与IMU的至少一个运动参数进行比较，并且当至少一个对象的至少一个运动参数与IMU的运动至少相差预定量时，确定已经发生了摄像机系统位移。
[0026]在上述用于检测车辆的移位的摄像机系统的方法的另一个示例中，至少一个参数是运动速度。
[0027]在上述用于检测车辆的移位的摄像机系统的任何方法的另一个示例中，图像内的至少一个对象位于图像的外围。
[0028]在任何一个上述用于检测车辆的移位的摄像机系统的方法的另一个示例中，还包括：响应于基于图像的运动检测系统未检测到运动并且基于传感器的运动检测系统检测到运动，确定摄像机的至少部分遮挡。
附图说明
[0029]图1示出了包括镜更换系统的示例性商用车辆。
[0030]图2示意性示出了用于车辆的示例性驾驶室和驾驶员悬架，该车辆包括具有摄像机的多个车辆系统。
[0031]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于车辆的测量系统，其包括：第一摄像机，其限定具有对应的光轴的视野；以及运动检测传感器，该运动检测传感器机械地固定到所述第一摄像机上，使得该运动检测传感器被配置为检测所述光轴的运动。2.根据权利要求1所述的测量系统，其中，所述运动检测传感器包括加速度计、陀螺仪和倾角计中的一种。3.根据权利要求1或2所述的测量系统，其中，所述运动检测传感器机械地连接至所述第一摄像机的专用集成电路(ASIC)，使得ASIC的运动与所述光轴的运动以一对一的方式对应。4.根据权利要求3所述的测量系统，其中，所述ASIC被配置为输出融合数据集，所述融合数据集包括由所述第一摄像机生成的图像数据和由所述运动检测传感器生成的运动数据的组合。5.根据权利要求4所述的测量系统，其中，所述融合数据是时间相关数据。6.根据权利要求4或5所述的测量系统，所述测量系统还包括被配置为接收所述融合数据集的控制器，所述控制器被配置为使用基于机器学习的分析来分析所述融合数据集。7.根据权利要求6所述的测量系统，其中，所述基于机器学习的分析被配置为确定所述摄像机的取向并且响应于所述第一摄像机面向不正确的方向而向操作者发出警报。8.根据权利要求3所述的测量系统，其中，所述ASIC连接至控制器，所述控制器被配置为接收运动传感器输出和摄像机输出，并且所述控制器被配置为将所述运动传感器输出和所述摄像机输出融合，由此创建融合数据集。9.根据权利要求5或8所述的测量系统，其中，所述融合数据集是使用汽车安全集成级别(ASIL)分解融合来创建的。10.根据权利要求8或9所述的测量系统，其中，所述融合数据集被提供给摄像机取向监控系统、对象检测系统、摄像机未对准系统、视野调整系统、对象检测冗余系统、图像稳定系统、线端校准系统、篡改识别系统和自动摄像机随动拍摄系统、摄像机位移检测系统和遮挡检测系统中的至少一个。11.根据权利要求10所述的测量系统，其中，所述融合数据集被提供给所述遮挡检测系统，并且所述遮挡检测系统将所述融合数据的基于图像的运动检测和基于传感器的运动检测进行比较以确定所述摄像机何时至少部分被遮挡。12.根据权利要求10所述的测量系统，其中，所述融合数据集被提供给所述摄像机位移检测系统，并且所述摄像机位移检测系统被配置为将通过图像分析检测到的运动速度与通过传感器分析检测到的运动速度进行比较，并响应于通过图像分析检测到的运动速度比通过传感器分析检测到的运动速度超过预定量，确定已经发生了摄像机位移。13.根据前述任一项权利要求所述的测量系统，所述测量系统还包括多个第二摄像机和多个运动检测传感器，所述多个第二摄像机中的每一个限定具有对应的光轴的视野，所述多个运动检测传感器中的每一个运动检测传感器通过对应的专用集成电路(ASIC)机械...

【专利技术属性】
技术研发人员：米兰，
申请(专利权)人：石通瑞吉电子公司，
类型：发明
国别省市：