用于对准图像帧的系统、方法和装置制造方法及图纸

描述的示例涉及一种装置，该装置包括用于存储图像帧的存储器和至少一个处理器。至少一个处理器可以被配置为从图像捕获设备接收多个图像帧，以及缩小多个图像帧中的每一个来以多个不同大小生成每个图像帧的多个版本。至少一个处理器还可以被配置为确定第一图像帧的第一版本的对准信息。对准信息可以包括第一对准向量，第一对准向量用于识别与第一图像帧的第一版本中的图像数据对应的、第二图像帧的第一版本中的图像数据。此外，至少一个处理器可以被配置为至少基于第一对准向量确定用于识别第三图像帧的第一版本中的图像数据的第一初始对准向量。初始对准向量。初始对准向量。

【技术实现步骤摘要】
用于对准图像帧的系统、方法和装置


[0001]本申请涉及用于对准图像帧的系统、方法和装置。

技术介绍

[0002]提供该背景描述，目的是为了一般呈现本公开的上下文。除非本文中另有说明，否则本部分中描述的材料既不明确也不暗示承认是本公开或所附权利要求的现有技术。
[0003]自主载具或自主驾驶载具(ADV)可以使用由载具的传感器获得的关于环境的信息来导航行驶路径。自主载具可以配备有各种类型的传感器，以便检测载具周围的环境。例如，自主驾驶载具可以包括光检测和测距(激光雷达(lidar))传感器、无线电检测和测距(雷达(radar))传感器、声音导航和测距(声纳(sonar))传感器、图像捕获设备(例如，相机)、麦克风传感器，以及扫描、生成和/或记录关于载具的周围环境的数据的其他合适的传感器。
[0004]载具的计算系统可以接收和处理由载具传感器提供的信息，以便避开对象并根据交通规则导航行驶路径。计算系统可以使用从载具传感器接收的信息来检测载具环境内的对象。例如，来自图像捕获设备(例如，相机或图像传感器)的图像数据可以被计算系统用来检本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：由处理器从图像捕获设备接收多个图像帧；缩小所述多个图像帧中的每一个，来以多个不同大小生成每个图像帧的多个版本；确定第一图像帧的第一版本的对准信息，所述对准信息包括第一对准向量，第一对准向量用于识别与第一图像帧的第一版本中的图像数据对应的、第二图像帧的第一版本中的图像数据；以及至少基于第一对准向量来确定用于识别第三图像帧的第一版本中的图像数据的第一初始对准向量。2.根据权利要求1所述的方法，其中，第一初始对准向量表示第三图像帧的第一版本中的第一区域与第二区域之间的偏移，其中，第三图像帧的第一版本中的第一区域与第一图像帧的第一版本中的第一区域协同定位。3.根据权利要求1所述的方法，其中，确定第一初始对准向量还包括缩放第一对准向量。4.根据权利要求1所述的方法，其中，确定第一初始对准向量还包括基于第一图像帧和第三图像帧之间的时间距离与第一图像帧和第二图像帧之间的时间距离的比率来缩放第一对准向量。5.根据权利要求1所述的方法，其中，第一图像帧、第二图像帧和第三图像帧中的每一个的版本形成图像金字塔结构，其中，每个图像金字塔结构包括范围从最低级别到最高级别的多个金字塔级别，其中，第一图像帧的第一版本包括第一图像帧的最小大小的版本，其中，第一图像帧包括基础图像帧，并且其中，第二图像帧和第三图像帧中的每一个包括可替代图像帧。6.根据权利要求1所述的方法，还包括基于第一图像帧与第二图像帧的较小大小的版本之间的放大的对准向量，确定第一图像帧的每个版本和第二图像帧的关联版本之间的对准向量。7.根据权利要求1所述的方法，还包括：使用第一初始对准向量识别第三图像帧的第一版本中的第一区域；从由第一初始对准向量识别的第一区域开始，搜索第三图像帧的第一版本中的一个或多个区域；基于第三图像帧的第一版本中的一个或多个区域中的每一个的图像数据与第一图像帧的第一版本中的第一区域的图像数据之间的比较，来确定匹配误差；基于匹配误差从第三图像帧的第一版本中的一个或多个区域选择区域；以及生成用于识别第三图像帧的第一版本中的选择的区域的第二对准向量。8.根据权利要求7所述的方法，其中，由第二对准向量识别的选择的区域包括与第一图像帧的第一版本中的第一区域的图像数据对应的图像数据，其中，第二对准向量表示第三图像帧的第一版本中的参考区域与选择的区域之间的偏移，并且其中，第三图像帧的第一版本中的参考区域与第一图像帧的第一版本中的第一区域协同定位。9.根据权利要求7所述的方法，其中，确定匹配误差还包括计算求和的绝对差、均方误差、归一化互相关、基于卢卡斯
‑
卡纳德的估计、深度学习方法、损失函数、显著像素数量或其组合中的至少一个。
10.根据权利要求1所述的方法，还包括：放大第一对准向量；使用放大的第一对准向量识别第二图像帧的第二版本中的第一区域；从由放大的第一对准向量识别的第一区域开始，搜索第二图像帧的第二版本中的一个或多个区域；基于第二图像帧的第二版本中的一个或多个区域中的每一个的图像数据与第一图像帧的第二版本中的第一区域的图像数据的比较来确定匹配误差；基于匹配误差来从一个或多个区域选择区域；以及生成用于识别第二图像帧的第二版本中的选择的区域的第二对准向量，其中，选择的区域的图像数据与第一图像帧的第二版本中的第一区域的图像数据对应。11.根据权利要求10所述的方法，还包括至少基于第二对准向量来确定用于识别第三图像帧的第二版本中的图像数据的第二初始对准向量，并且其中，确定第二初始对准向量还基于第一图像帧和第二图像帧之间的时间距离以及第一图像帧和第三图像帧之间的时间距离。12.根据权利要求11所述的方法，还包括：使用第二初始对准向量识别第三图像帧的第二版本中的第一区域；从第三图像帧的第二版本中的第一...

【专利技术属性】
技术研发人员：J冯，L艾恩，
申请(专利权)人：伟摩有限责任公司，
类型：发明
国别省市：