使用基于贴片的投影相关性进行高效自运动估计制造技术

一种用于提高自运动估计的计算效率的方法，包括：检测一对连续图像；并且估计对图像帧之间的运动进行最佳建模的二维平移向量和旋转角度。该对图像被各自划分为重叠的图像贴片，然后使用高效的投影相关性方法来估计每个图像贴片的局部二维平移向量。来自所有贴片的平移向量形成向量场，然后使用切尾均值方法稳健且高效地估计对检测器的自运动进行最佳建模的二维平移和旋转角度，其中的检测器可以是相机。

【技术实现步骤摘要】
【国外来华专利技术】使用基于贴片的投影相关性进行高效自运动估计相关申请的交叉引用本申请涉及并要求于2018年10月16日提交的美国临时专利申请No.62/746,123的权益，该美国申请通过引用并入本文，如同在此完全阐述一样。本申请还涉及并要求于2019年8月6日提交的美国非临时专利申请No.16/532,970的优先权，该美国申请通过引用并入本文，如同在此完全阐述一样。关于联邦资金的声明这项专利技术是在美国政府的支持下完成的。美国政府在本专利技术中具有某些权利。
本公开涉及图像中的自运动估计和特征检测。
技术介绍
用于自运动估计的现有技术方法通常涉及跨图像的持续特征的检测，诸如D.Lowe在如下文献中所描述的：“DistinctiveImageFeaturesfromScale-InvariantKeypoints(来自尺度不变关键点的独特图像特征)”，IJCV，60(2)第91-110页，2004年，该文献通过引用并入本文并使用尺度不变特征变换(SIFT)进行描述，以及H.Bay、A.Ess、T.Tuytelaars和L.VanGool在如下文献中所描述的方法：“Speeded-UpRobustFeatures(加速的鲁棒特征)”，欧洲计算机视觉会议进展，2006年，该文献通过引用结合于此。这些现有技术的方法对于检测是计算密集的，并且由于照明的变化、变化的天气条件或遮挡，特征可能不会在图像上持续。这些特征通常使用随机抽样技术与下一个图像帧中的相应特征相匹配，随机抽样技术例如RANSAC(随机抽样一致性)，如M.Fischler和R.Bolles在如下文献中所描述：“RandomSampleConsensus:AParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartography(随机样本一致性：应用于图像分析和自动制图的模型拟合范式)”，CommunicationsoftheACM(美国计算机学会通讯)，第24卷，第6期，第381-395页，1981年，其通过引用结合于此。这种随机抽样方法在理论上保证在给定足够的随机抽样的情况下鲁棒地估计运动模型，通常需要太多的随机抽样，以便对于低功率平台(如无人驾驶的自主车辆)实时可计算地处理。另一种基于傅里叶-梅林(Fourier-Mellin，F-M)变换的“整体”自运动方法，利用谱域中几何变换的特性，有效地估计场景的运动模型。然而，该方法需要计算整个图像的二维(2-D)傅里叶变换，这是计算上昂贵的操作，并且其对于一般方法中的异常值不是鲁棒的。虽然基于F-M的方法可以变得更为鲁棒，使用诸如随机抽样或切尾均值(trimmed-mean)方法的技术，这些技术增加了已经很高的计算成本，并使在低功耗平台上的实时操作变得不可行。所需要的是用于自运动估计的计算上高效的装置和方法。本公开的实施例满足了这些和其他需要。
技术实现思路
在本文公开的第一实施例中，一种用于提高自运动估计的计算效率的方法，该方法包括：检测第一图像；检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；根据所述第一图像形成第一边缘检测图像；根据所述第二图像形成第二边缘检测图像；将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的所述第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的所述第二集合；通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；根据所述局部平移向量集合确定旋转中心；使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；以及通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。在本文公开的另一实施例中，一种用于提高移动平台的自运动估计的计算效率的装置，该装置包括：安装在平台上的相机，该相机检测第一图像并检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；以及耦合到所述相机的处理器，该处理器被配置为：根据所述第一图像形成第一边缘检测图像；根据所述第二图像形成第二边缘检测图像；将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合；通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；根据所述局部平移向量集合确定旋转中心；使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；并且通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。在本文公开的又一实施例中，一种用于提高自运动估计的计算效率的方法，该方法包括：利用移动检测器检测一对连续图像；对该对连续图像进行边缘检测；将该对经过边缘检测的连续图像中的每一个划分成对应图像贴片；使用对应图像贴片的投影相关性来估计每个对应图像贴片之间的局部二维平移向量；使用每个对应图像贴片之间的局部二维平移向量和切尾均值来导出旋转角度和二维平移向量，从而估计所述检测器的自运动。从下面的详细描述和附图中，这些和其他特征和优点将变得更加明显。在附图和说明书中，附图标记表示各种特征，贯穿附图和说明书，相同的标记表示相同的特征。附图说明图1A和图1C示出了来自成像器的示例性连续图像对，并且图1B和图1D分别示出了根据本公开的其对应的边缘图像；图2A和图2B示出了根据本公开的图1B的分别在X轴和Y轴上的投影边缘图的示例，并且图2C和图2D示出了图1D的分别在X轴和Y轴上的投影边缘图的示例；图3示出了根据本公开的平移向量集合的示例；图4A和图4B示出了示例性定性结果，图4A示出了在根据现有技术使用单个全局平移进行变换之后的当前帧与先前帧的差分，图4B示出了在使用根据本公开的基于贴片的方法进行变换之后的当前帧与先前帧之间的示例性差分；图5示出了将基于现有技术傅里叶-梅林(F-M)变换的方法与根据本公开的自运动估计进行比较的示例性定量结果，以蓝色示出了使用现有技术基于F-M的方法的2200个仿真中的每一个的旋转角度误差，并且以红色示出了使用根据本公开的自运动估计的2200个仿真中的每本文档来自技高网...

【技术保护点】
1.一种用于提高自运动估计的计算效率的方法，该方法包括：/n检测第一图像；/n检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；/n根据所述第一图像形成第一边缘检测图像；/n根据所述第二图像形成第二边缘检测图像；/n将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；/n将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的所述第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的所述第二集合；/n通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；/n根据所述局部平移向量集合确定旋转中心；/n使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；/n通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；以及/n通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。/n...

【技术特征摘要】
【国外来华专利技术】20181016 US 62/746,123;20190806 US 16/532,9701.一种用于提高自运动估计的计算效率的方法，该方法包括：
检测第一图像；
检测第二图像，其中，在检测所述第一图像之后检测所述第二图像；
根据所述第一图像形成第一边缘检测图像；
根据所述第二图像形成第二边缘检测图像；
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合；
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合，其中，以与将所述第一边缘检测图像划分为第一边缘检测图像贴片的所述第一集合相同的方式，将所述第二边缘检测图像划分为第二边缘检测图像贴片的所述第二集合；
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合；
根据所述局部平移向量集合确定旋转中心；
使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度；
通过使用所述局部旋转角度和对应的局部平移向量来估计全局旋转角度；以及
通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动。


2.根据权利要求1所述的方法，其中，
计算所述相应的第一边缘检测图像贴片在第一相应水平轴和第一相应垂直轴上的投影与所述相应的第二边缘检测图像贴片在第二相应水平轴和第二相应垂直轴上的投影之间的相关性，进一步包括：
针对每个第一边缘检测图像贴片Pk计算水平投影和垂直投影
VPk(y)＝∑xE(Pk(x，y))HPk(x)＝∑yE(Pk(x，y))；以及
针对每个第二边缘检测图像贴片Ck计算水平投影和垂直投影
VCk(y)＝∑xE(Ck(x，y))HCk(x)＝∑yE(Ck(x，y))；
其中，Vpk，Hpk是来自先前边缘图像的第k个贴片的垂直y投影和水平x投影，并且
其中，Vck，Hck是来自当前边缘图像的对应的第k个贴片Ck的垂直y投影和水平x投影。


3.根据权利要求2所述的方法，其中，
通过计算相应的第一边缘检测图像贴片在第一相应垂直轴和第一相应水平轴上的投影与相应的第二边缘检测图像贴片在第二相应垂直轴和第二相应水平轴上的投影之间的相关性，针对每对对应的相应的第一边缘检测图像贴片和相应的第二边缘检测图像贴片来确定局部平移向量，以导出局部平移向量集合，进一步包括：
通过计算



使投影之间的L1差最小化，
其中，SVk和SHk分别是第k′对贴片的垂直偏移和水平偏移的最小误差项；
其中，对应于SVk的是最小化偏移iVk；
其中，对应于SHk的是最小水平偏移iHk；
其中，这些最小化垂直偏移和最小化水平偏移是第k′个贴片的二维(2-D)局部平移向量的分量。


4.根据权利要求1所述的方法，其中，使用所述旋转中心来估计针对每个局部平移向量的局部旋转角度包括：
通过从所述旋转中心指向图像贴片的中心或通过从所述旋转中心指向所述局部平移向量的末端来计算每对对应图像贴片的二维平移向量之间的角度。


5.根据权利要求1所述的方法，其中，通过计算所述第二图像与所述第一图像之间的二维平移向量来估计自运动包括：
确定所述第二图像的水平位移和垂直位移(iH，iV)；
其中，iH＝Tr(i′Hk)，iV＝Tr(i′Vk)，并且
其中，Tr()是切尾均值计算，并且i′Hk，i′Vk是针对旋转而校正的局部平移向量。


6.根据权利要求1所述的方法，其中，检测所述第一图像和检测所述第二图像包括使用移动相机或摄像机。


7.根据权利要求1所述的方法，其中，根据所述第一图像形成第一边缘检测图像和根据所述第二图像形成第二边缘检测图像包括使用边缘算子。


8.根据权利要求1所述的方法，其中，
将所述第一边缘检测图像划分为第一边缘检测图像贴片的第一集合包括将所述第一边缘检测图像划分为重叠的第一边缘检测图像贴片的第一集合；并且
将所述第二边缘检测图像划分为第二边缘检测图像贴片的第二集合包括将所述第二边缘检测图像划分为重叠的第二边缘检测图像贴片的第二集合。


9.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的尺度变化是可忽略的。


10.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的三维透视效果是可忽略的。


11.根据权利要求1所述的方法，所述方法还包括：
根据用于检测所述第一图像和所述第二图像的平台的速度来导出所述第一图像与所述第二图像之间的最大平移量。


12.根据权利要求1所述的方法，所述方法还包括：
使用大于30帧/秒的帧速率来检测所述第一图像并且检测所述第二图像。


13.根据权利要求1所述的方法，其中：
所述第一图像与所述第二图像之间的全局旋转角度小于20度。


14.根据权利要求1所述的方法，其中：
...

【专利技术属性】
技术研发人员：安德拉斯·霍瓦特，尚卡尔·拉奥，
申请(专利权)人：HRL实验室有限责任公司，
类型：发明
国别省市：美国;US