执行卷积图像变换估算的方法和系统技术方案

一种用于基于图像生成神经网络的输入的方法包括：接收图像；在图像内识别一位置；以及在该位置处识别图像的子集。该图像的子集由第一组角点限定。此方法还包括扰动第一组角点中的至少一个以形成第二组角点。第二组角点限定图像的修改后的子集。此方法进一步包括：基于图像的子集与图像的修改后的子集之间的比较确定单应性；通过将单应性应用于图像来生成变换后的图像；以及在该位置处识别变换后的图像的子集。

【技术实现步骤摘要】
【国外来华专利技术】执行卷积图像变换估算的方法和系统相关申请的交叉引用本申请要求2016年5月20日提交的名称为“DeepImageHomographyEstimation(深度图像单应性估算)”的美国临时专利申请No.62/339,799的优先权，该申请的公开内容出于所有目的通过引用并入本文中。
技术介绍
从一对图像估算二维(2D)单应性(或投影变换)是计算机视觉中的基本任务。在包括仅旋转运动、平面场景和/或其中对象距离观看者很远的场景的情况下，单应性是单眼同时定位与地图构建(SLAM)系统的基本部分。众所周知，涉及围绕相机中心旋转的两个图像的变换是单应性，单应性对于创建全景图是必不可少的，这并不奇怪。为了处理平面和多半为平面的场景，流行的SLAM算法ORB-SLAM使用单应性估算和基本矩阵估算的组合。单应性的其它应用包括增强现实和相机校准。传统的单应性估算方法包括两个阶段：角点(corner)估算和鲁棒单应性估算。鲁棒性通过返回大的、过于完整的点集而被引入到角点检测阶段中，而单应性估算步骤中的鲁棒性表现为RANSAC的大量使用或平方损失函数的鲁棒化。由于角点不像人造线性结构那样可靠，因此，研究界已经投入相本文档来自技高网...

【技术保护点】
1.一种用于基于图像生成神经网络的输入的方法，所述方法包括：接收所述图像；在所述图像内识别一位置；在所述位置处识别所述图像的子集，所述图像的所述子集由第一组角点限定；扰动所述第一组角点中的至少一个以形成第二组角点，所述第二组角点限定所述图像的修改后的子集；基于所述图像的所述子集与所述图像的所述修改后的子集之间的比较确定单应性；通过将所述单应性应用于所述图像来生成变换后的图像；以及在所述位置处识别所述变换后的图像的子集。

【技术特征摘要】
【国外来华专利技术】2016.05.20 US 62/339,7991.一种用于基于图像生成神经网络的输入的方法，所述方法包括：接收所述图像；在所述图像内识别一位置；在所述位置处识别所述图像的子集，所述图像的所述子集由第一组角点限定；扰动所述第一组角点中的至少一个以形成第二组角点，所述第二组角点限定所述图像的修改后的子集；基于所述图像的所述子集与所述图像的所述修改后的子集之间的比较确定单应性；通过将所述单应性应用于所述图像来生成变换后的图像；以及在所述位置处识别所述变换后的图像的子集。2.根据权利要求1所述的方法，进一步包括：将所述图像的所述子集、所述变换后的图像的所述子集、以及所述单应性发送到所述神经网络。3.根据权利要求1所述的方法，进一步包括：确定所述变换后的图像的所述子集不包括边界伪像。4.根据权利要求1所述的方法，其中扰动所述第一组角点中的所述至少一个以形成所述第二组角点包括：限定围绕所述第一组角点中的第一角点的第一扰动区域，在其中可以形成所述第二组角点中的第一扰动角点；限定围绕所述第一组角点中的第二角点的第二扰动区域，在其中可以形成所述第二组角点中的第二扰动角点；限定围绕所述第一组角点中的第三角点的第三扰动区域，在其中可以形成所述第二组角点中的第三扰动角点；限定围绕所述第一组角点中的第四角点的第四扰动区域，在其中可以形成所述第二组角点中的第四扰动角点；在所述第一扰动区域内的第一随机位置中形成所述第一扰动角点；在所述第二扰动区域内的第二随机位置中形成所述第二扰动角点；在所述第三扰动区域内的第三随机位置中形成所述第三扰动角点；以及在所述第四扰动区域内的第四随机位置中形成所述第四扰动角点。5.根据权利要求4所述的方法，其中在所述图像内识别所述位置包括：在所述图像内随机选择所述位置，使得所述第一扰动区域、所述第二扰动区域、所述第三扰动区域和所述第四扰动区域不延伸到所述图像外部。6.根据权利要求1所述的方法，其中基于所述比较确定所述单应性包括：确定所述第一组角点与所述第二组角点之间的一个或多个位移矢量，其中所述一个或多个位移矢量中的每一个指示第一维中和第二维中的对应角点之间的偏移。7.根据权利要求1所述的方法，其中通过将所述单应性应用于所述图像来生成所述变换后的图像包括：将所述单应性的逆量应用于所述图像以生成所述变换后的图像。8.一种用于训练神经网络的方法，所述方法包括：接收多个图像；以及对于所述多个图像中的每个单独图像：生成训练三元组，所述训练三元组包括所述单独图像的子集、变换后的图像的子集、以及基于所述单独图像的所述子集和所述变换后的图像的所述子集的单应性；通过所述神经网络，基于所述单独图像的所述子集和所述变换后的图像的所述子集生成估算的单应性；比较所述估算的单应性与所述单应性；以及基于所述比较修改所述神经网络。9.根据权利要求8所述的方法，其中生成所述训练三元组包括：在所述单独图像内识别一位置；在所述位置处识别所述单独图像的所述子集，所述单独图像的所述子集由第一组角点限定；扰动所述第一组角点中的至少一个以形成第二组角点，所述第二组角点限定所述单独图像的修改后的子集；基于所述图像的所述子集与所述图像的所述修改后的子集之间的比较确定所述单应性；通过将所述单应性应用于所述单独图像来生成所述变换后的图像；以及在所述位置处识别所述变换后的图像的所述子集。10.根据权利要求9所述的方法，进一步包括：将所述图像的所述子集、所述变换后的图像的所述子集、以及所述单应性发送到所述神经网络。11.根据权利要求9所述的方法，进一步包括：确定所述变换后的图像的所述子集不包括边界伪像。12.根据权利要求9所述的方法，其中扰动所述第一组角点中的所述至少一个以形...

【专利技术属性】
技术研发人员：D·德通，T·J·马利西维茨，A·拉比诺维奇，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：美国,US