同步装置(1)具备：同步预测部(180)，预测雷达传感器(22)以及外界相机(24)之间的同步偏移时间(T)；变化量计算部(120)，计算外界相机(24)的快门帧(Fo)间的反射波图像(Ir)的时间变化量(ΔR)；图像估计部(130)，基于时间变化量(ΔR)估计从快门帧(Fo)的开始定时偏移了同步偏移时间(T)后的同步定时(ts)处的反射波图像(Ir)；差分提取部(140)，通过将同步定时(ts)处的反射波图像(Ir)与外部光图像(Io)进行对比，提取差分(E)；以及处理判定部(160)，基于差分(E)判定是否使同步处理返回到同步偏移时间(T)的预测。时间(T)的预测。时间(T)的预测。
【技术实现步骤摘要】
【国外来华专利技术】同步装置、同步方法、同步程序
[0001]相关申请的交叉引用
[0002]该申请以2019年10月8日在日本申请的专利申请第2019－185388号为基础，并整体上通过参照引用基础申请的内容。
[0003]本公开涉及同步处理技术。
技术介绍
[0004]在近年来的车辆中一起搭载有获取与通过电磁波的照射而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机。在这样的车辆中为了使雷达传感器与外界相机同步，在专利文献1公开了对各个获取图像附加时刻信息的技术。
[0005]专利文献1：日本专利第3920769号公报
[0006]但是，在专利文献1的公开技术中，在雷达传感器以及外界相机与执行同步处理的处理电路之间的路径上，产生图像信号的延迟。其结果是，有处理电路接受图像信号并附加的时刻信息包括与雷达传感器以及外界相机分别实际获取到图像的正规时刻的误差的担心。
技术实现思路
[0007]本公开的课题在于提供使雷达传感器与外界相机高精度地同步的同步装置。本公开的其它的课题在于提供使雷达传感器与外界相机高精度地同步的同步方法。本公开的其它的课题在于提供使雷达传感器与外界相机高精度地同步的同步程序。
[0008]以下，对用于解决课题的本公开的技术手段进行说明。
[0009]本公开的第一方式是在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理的同步装置，其具备：
[0010]同步预测部，预测雷达传感器以及外界相机之间的同步偏移时间；
[0011]变化量计算部，计算外界相机的快门帧间的反射波图像的时间变化量；
[0012]图像估计部，基于通过变化量计算部计算出的时间变化量，估计从快门帧的开始定时偏移了通过同步预测部预测出的同步偏移时间后的同步定时处的反射波图像；
[0013]差分提取部，通过将外部光图像与通过图像估计部估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
[0014]处理判定部，基于通过差分提取部计算出的差分，判定是否使同步处理返回到基于同步预测部的同步偏移时间的预测。
[0015]本公开的第二方式是在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机
的车辆中，执行对雷达传感器以及外界相机的同步处理的同步方法，包括：
[0016]预测工序，预测雷达传感器以及外界相机之间的同步偏移时间；
[0017]计算工序，计算外界相机的快门帧间的反射波图像的时间变化量；
[0018]估计工序，基于通过计算工序计算出的时间变化量，估计从快门帧的开始定时偏移了通过预测工序预测出的同步偏移时间后的同步定时处的反射波图像；
[0019]提取工序，通过将外部光图像与通过估计工序估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
[0020]判定工序，基于通过提取工序提取出的差分，判定是否使同步处理返回到基于预测工序的同步偏移时间的预测。
[0021]本公开的第三方式是储存于存储介质且包括使处理器执行的命令的同步程序，上述同步程序用以在搭载有获取与通过照射电磁波而得到的反射波相对应的反射波图像的雷达传感器、和获取与从外界感知的外部光相对应的外部光图像的外界相机的车辆中，执行对雷达传感器以及外界相机的同步处理，
[0022]命令包括：
[0023]预测工序，预测雷达传感器以及外界相机之间的同步偏移时间；
[0024]计算工序，计算外界相机的快门帧间的反射波图像的时间变化量；
[0025]估计工序，基于通过计算工序计算出的时间变化量，估计从快门帧的开始定时偏移了通过预测工序预测出的同步偏移时间后的同步定时处的反射波图像；
[0026]提取工序，通过将外部光图像与通过估计工序估计出的同步定时处的反射波图像进行对比，提取外部光图像与反射波图像的差分；以及
[0027]判定工序，基于通过提取工序提取出的差分，判定是否使同步处理返回到基于预测工序的同步偏移时间的预测。
[0028]根据这些第一～第三方式的同步处理，基于外界相机中的快门帧间的反射波图像的时间变化量估计从该帧的开始定时偏移了雷达传感器以及外界相机之间的同步偏移时间后的同步定时处的反射波图像。同步偏移时间的预测越正确，通过将该同步定时处的反射波图像与外部光图像进行对比而提取出的差分越小。因此，根据基于反射波图像与外部光图像的差分判定是否使同步处理返回到同步偏移时间的预测，能够重复同步处理直至能够正确地预测同步偏移时间。因此，能够使雷达传感器与外界相机高精度地同步。
附图说明
[0029]图1是表示第一实施方式的同步装置的整体构成的框图。
[0030]图2是表示第一实施方式的同步装置的详细构成的框图。
[0031]图3是用于说明第一实施方式的外界相机(a)以及雷达传感器(b)的示意图。
[0032]图4是用于说明第一实施方式的外界图像(a)以及反射波图像(b)的示意图。
[0033]图5是用于说明第一实施方式的运动补偿块的示意图。
[0034]图6是用于说明第一实施方式的运动补偿块的示意图。
[0035]图7是用于说明第一实施方式的变化量计算块以及图像估计块的示意图。
[0036]图8是用于说明第一实施方式的差分提取块的示意图。
[0037]图9是用于说明第一实施方式的差分提取块的示意图。
[0038]图10是表示第一实施方式的同步方法的流程图。
[0039]图11是表示第二实施方式的同步装置的详细构成的框图。
[0040]图12是表示第二实施方式的同步方法的流程图。
具体实施方式
[0041]以下，基于附图对多个实施方式进行说明。另外，有时通过在各实施方式中对相对应的构成要素附加相同的附图标记，来省略重复的说明。另外，在各实施方式中仅对构成的一部分进行说明的情况下，该构成的其它的部分能够应用先前说明的其它的实施方式的构成。并且，不仅是在各实施方式的说明中明示的构成的组合，若组合并不特别产生妨碍，则即使未明示，也能够部分地组合多个实施方式的构成彼此。
[0042](第一实施方式)
[0043]如图1所示，第一实施方式的同步装置1搭载于车辆3。车辆3是基于自身位置估计等运动估计的结果进行行驶的、例如高度驾驶辅助车或者自动驾驶车等。另外，在以下的说明中，分别将水平面上的车辆3的水平方向中的横向以及前后方向仅称为横向以及前后方向。另外，在以下的说明中，将水平面上的车辆3的垂直方向仅称为垂直方向。
[0044]在车辆3，与同步装置1一起搭载有传感器系统2。如图1、2所示，传感器系统本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种同步装置，是在搭载有雷达传感器(22、2022)和外界相机(24)的车辆(3)中执行对上述雷达传感器以及上述外界相机的同步处理的同步装置(1)，上述雷达传感器获取与通过照射电磁波而得到的反射波相对应的反射波图像(Ir)，上述外界相机获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述同步装置具备：同步预测部(180)，预测上述雷达传感器以及上述外界相机之间的同步偏移时间(T)；变化量计算部(120)，计算上述外界相机的快门帧(Fo)间的上述反射波图像的时间变化量(ΔR)；图像估计部(130)，基于通过上述变化量计算部计算出的上述时间变化量，估计从上述快门帧的开始定时偏移了通过上述同步预测部预测出的上述同步偏移时间后的同步定时(ts)处的上述反射波图像；差分提取部(140、2140)，通过将上述外部光图像与通过上述图像估计部估计出的上述同步定时处的上述反射波图像进行对比，提取上述外部光图像与上述反射波图像的差分(E)；以及处理判定部(160)，基于通过上述差分提取部计算出的上述差分，判定是否使上述同步处理返回到基于上述同步预测部的上述同步偏移时间的预测。2.根据权利要求1所述的同步装置，其中，上述差分提取部在对上述反射波图像补偿从上述快门帧的上述开始定时起的偏移量之后，将上述反射波图像与上述外部光图像进行对比。3.根据权利要求2所述的同步装置，其中，上述同步装置还具备运动补偿部(110)，上述运动补偿部在上述变化量计算部计算上述时间变化量之前，对上述反射波图像补偿上述快门帧内的上述车辆的运动所引起的移动量。4.根据权利要求1～3中的任意一项所述的同步装置，其中，上述差分提取部在与上述反射波图像和上述外部光图像中的低精细侧相配合地对上述反射波图像和上述外部光图像中的高精细侧进行插值之后，将上述反射波图像与上述外部光图像进行对比。5.根据权利要求1～4中的任意一项所述的同步装置，其中，上述差分提取部将上述反射波图像与上述外部光图像的边缘彼此进行对比。6.根据权利要求1～5中的任意一项所述的同步装置，其中，上述差分提取部在将上述反射波图像与上述外部光图像的图像值(Lre、Soe)彼此根据各自的偏差范围进行归一化之后，进行对比。7.一种同步方法，是在搭载有雷达传感器(22)和外界相机(24)的车辆(3)中执行对上述雷达传感器以及上述外界相机的同步处理的同步方法，上述雷达传感器获取与通过照射电磁波而得到的反射波相对应的反射波图像(Ir)，上述外界相机获取与从外界感知的外部光相对应的外部光图像(Io)，其中，上述同步方法包括：预测工序(S101、S110)，预测上述雷达传感器以及上述外界相机之间的同步偏移时间(T)；计算工序(S104)，计算上述外界相机的快门帧(Fo)间的上述反射波图像的时间变化量(ΔR)；
估计工序(S105)，基于通过上述计算工序计算出的上述时间变化量，估计从上述快门帧的开始定时偏移了通过上述预测工序预测出的上述同步偏移时间后的同步定时(ts)处的上述反射波图像；提取工序(S106、S107、S108、S2110、S2111)，通过将上述外部光图像与通过上述估计工序估计出的上述同步定时处的上述反射波图像进行对比，提取上述外部光图像与上述反射波图像的差分(E)；以及判定工序(S109)，基于通过上述提取工序提取出的上述差分，判定是否使上述同步处理返回到基于上述预测工序的上述同步偏移时间的预测。8...
【专利技术属性】
技术研发人员：大畠龙介，湖上润，
申请(专利权)人：株式会社电装，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。