【技术实现步骤摘要】
本公开涉及场景的图像的畸变校正。具体地，本公开涉及由具有诸如例如鱼眼镜头的非直线镜头的摄像机捕获的图像的自学习畸变校正。
技术介绍
1、在许多情况下，期望单个摄像机能够捕获场景的较大部分，并且广角镜头可以被用于此目的。这种广角镜头通常是非直线的，并且因此产生图像的强烈的光学畸变，使得场景中直的线或其他物体最终在使用这种镜头捕获的场景的图像中被弯曲或扭曲。非直线镜头的一个示例是所谓的鱼眼镜头，鱼眼镜头能够产生例如场景的半球形图像，并且鱼眼镜头通常具有超过例如90度、180度或甚至270度的宽视角。
2、以上描述的情况的一个示例是安装在例如房间的天花板上并被配置为使用鱼眼镜头捕获天花板以下的房间的大部分或所有的监控摄像机。通过能够捕获更多在摄像机周围发生的事情，与例如常规的平移/倾斜/变焦(ptz)摄像机相比，这种摄像机提供了提高的环境感知。
3、然而，如以上提到的，具有这种非直线镜头的摄像机的一个缺点是它们产生的图像是畸变的(例如扭曲的)。尽管例如存在各种用于对通过例如鱼眼镜头捕获的图像进行数字地“去扭曲”的解决方案，但是这种解决方案通常要求在获取的结果足够令人满意之前手动调整多个参数。另外，在包括许多这种摄像机的安装中，为每个摄像机调整去扭曲参数所要求的人工可能很快变得耗时。
4、因此，需要便于在例如监控摄像机安装中的非直线镜头的使用的改进的方式。
技术实现思路
1、为了至少部分地满足上述需要，本公开提供了在由具有非直线镜头的摄像机捕获的场景的图
2、根据本公开的第一方面，提供了在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的方法。该方法包括：i)获取由摄像机随时间推移捕获的场景的多个图像。方法进一步包括：ii)确定已遍及场景中的水平表面移动的一个或多个物体的底部在多个图像中的至少一些图像中的位置。方法进一步包括：iii)基于底部的所确定的位置确定场景中的水平表面的边界。方法进一步包括：iv)通过在水平表面的所确定的边界周围限定一个或多个垂直表面来生成场景的三维(3d)模型。方法进一步包括：v)通过将至少一个图像投影到场景的三维模型来校正多个图像中的至少一个图像的畸变。方法例如可以在诸如例如包括处理电路的装置的装置/计算机上实现。
3、如本文中使用的，“水平表面”是例如场景的地板或地面或者例如人、动物或其他物体通常在其上/跨其行走/移动的任何其他表面。相似地，“垂直表面”是例如在水平表面的外周周围布置的墙或其他表面(诸如围绕房间的地板的墙)，并且通常垂直于地板延伸。术语“底部”可以例如包括(动物或人的)脚、(例如机器人真空吸尘器或类似物的)轮子，或当物体在场景中移动时物体的与水平表面接触的任何其他部分。
4、使用房间作为场景的示例，用于房间的图像的畸变校正的传统解决方案通常要求操作者/用户手动地指示房间的图像的哪些部分属于房间的地板以及图像的哪些部分属于房间的垂直表面(诸如例如墙)，以便建立畸变校正所需的房间的充分的3d模型。本公开的解决方案通过使用在场景中移动的物体的底部(诸如例如脚)通常与地板接触的认识来提高这种传统技术，并且因此可以通过检查底部在房间的图像中如何随时间推移而移动来学习/估计地板的外沿/边界。通过假设图像的不位于该外沿/边界内的其他部分是例如墙的部分，可以自动地构建房间的3d模型，而不需要图像的手动分割。如本文中前面提到的，这在多个摄像机的较大安装中可以特别有用，因为使用本公开的解决方案，每个摄像机可以自学习如何对房间建模，并且然后进行所需的畸变校正。
5、在方法的一些实施方法中，(摄像机的)非直线镜头可以是鱼眼镜头。
6、在方法的一些实施例中，底部可以包括物体的脚(诸如人的脚或动物的脚)。
7、在方法的一些实施例中，步骤ii)可以包括识别一个或多个物体的一个或多个关键点。如本文中使用的，“关键点”例如可以是图像中物体的已识别的脚、膝盖、腿或任何其他特征，并且可以基于这些关键点的位置来估计实际脚的位置。例如，如果知道坐在沙发上的人的例如膝盖和/或臀部在哪里，即使脚在场景的图像中不可见，也可以计算脚的位置。这可能是一种可能的情况，例如，如果有一张桌子被放在沙发前面，并且允许以任何方式推断脚的位置，并用于确定地板的边界。
8、在方法的一些实施例中，场景可以是房间的场景，并且水平表面可以是该房间的地板。
9、在方法的一些实施例中，多个图像中的至少一些图像可以是在训练时段期间捕获的，并且如果在有限的时间间隔期间在多个图像的至少一些图像的区域中移动的底部的数量超过阈值，则该区域可以被认为属于场景的水平表面。在将该区域分类为场景的水平表面的一部分之前，要求在相同区域中检测多个底部可以例如提高该区域实际上是水平表面的部分的置信度。
10、在方法的一些实施例中，三维模型可以包括由所确定的边界界定的水平表面，并且一个或多个垂直表面可以投影在与水平表面垂直的方向上。例如，水平表面可以是房间的地板，并且垂直表面可以是通常布置在房间内的墙(的表面)，使得墙与地板形成90度角。
11、在方法的一些实施例中，如果场景是房间的，则摄像机可以布置在房间的天花板中。摄像机可以例如布置成使得摄像机的光轴直接面向地板，例如，如果天花板在与地板的平面平行的平面中延伸，使得例如摄像机的光轴与地板平面(或水平表面)垂直。
12、根据本公开的第二方面，提供了用于在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的装置。该装置包括处理电路。处理电路被配置为使装置：i)获取由摄像机随时间推移捕获的场景的多个图像；ii)确定已遍及场景中的水平表面移动的一个或多个物体的底部在多个图像中的至少一些图像中的位置；iii)基于底部的所确定的位置确定场景的水平表面的外边界；iv)通过在场景的水平表面的所确定的边界周围限定一个或多个垂直表面来生成场景的三维(3d)模型，并且v)通过将至少一个图像投影到场景的三维模型来校正多个图像中的至少一个图像的畸变。因此，装置被配置为执行第一方面的方法的步骤。装置可以例如包括存储指令的存储器，当指令由装置的处理电路执行时，使装置执行上述步骤i)至步骤v)。因此，在这样的实施例中，装置被“配置为”执行以上步骤i)至步骤v)意味着处理电路被配置为读取并执行存储在存储器中的指令。
13、在装置的一些实施例中，处理电路进一步被配置为使装置执行本文中所讨论和公开的第一方面的方法的实施例。
14、在装置的一些实施例中，装置可以是诸如鱼眼镜头摄像机或类似物的具有非直线镜头的摄像机。
15、根据本公开的第三方面，提供了用于在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的计算机程序。计算机程序包括计算机代码，本文档来自技高网...
【技术保护点】
1.一种在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的方法，该方法包括以下步骤：
2.根据权利要求1所述的方法，其中，所述非直线镜头是鱼眼镜头。
3.根据权利要求1所述的方法，其中，所述底部包括所述物体的脚。
4.根据权利要求1所述的方法，其中，所述步骤ii)包括识别所述一个或多个物体的一个或多个关键点。
5.根据权利要求1所述的方法，其中，所述场景是房间的场景，并且其中所述场景的所述水平表面是所述房间的地板。
6.根据权利要求1所述的方法，其中，所述多个图像中的至少一些图像是在训练时段期间捕获的，并且其中，如果在有限的时间间隔期间在所述多个图像中的所述至少一些图像的区域中移动的底部的数量超过阈值，则所述区域被认为属于所述场景的所述水平表面。
7.根据权利要求1所述的方法，其中，所述三维模型包括由所确定的边界界定的水平表面，并且其中所述一个或多个垂直表面投影在与所述水平表面垂直的方向上。
8.一种用于在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的装置，所述装置包括处理电路，
9.根据权利要求8所述的装置，其中，所述处理电路进一步被配置为使所述装置执行根据权利要求2至7中任一项所述的方法。
10.根据权利要求8所述的装置，其中，所述装置是具有所述非直线镜头的所述摄像机。
11.一种非暂时性计算机可读存储介质，在所述非暂时性计算机可读存储介质上存储有用于在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的计算机程序，其中，所述计算机程序包括计算机代码，当所述计算机代码在装置的处理电路上运行时，使所述装置：
12.根据权利要求11所述的非暂时性计算机可读存储介质，其中，当所述计算机代码在所述装置的所述处理电路上运行时，使所述装置执行根据权利要求2至7中任一项所述的方法。
...【技术特征摘要】
1.一种在由具有非直线镜头的摄像机捕获的场景的图像中进行畸变校正的方法，该方法包括以下步骤：
2.根据权利要求1所述的方法，其中，所述非直线镜头是鱼眼镜头。
3.根据权利要求1所述的方法，其中，所述底部包括所述物体的脚。
4.根据权利要求1所述的方法，其中，所述步骤ii)包括识别所述一个或多个物体的一个或多个关键点。
5.根据权利要求1所述的方法，其中，所述场景是房间的场景，并且其中所述场景的所述水平表面是所述房间的地板。
6.根据权利要求1所述的方法，其中，所述多个图像中的至少一些图像是在训练时段期间捕获的，并且其中，如果在有限的时间间隔期间在所述多个图像中的所述至少一些图像的区域中移动的底部的数量超过阈值，则所述区域被认为属于所述场景的所述水平表面。
7.根据权利要求1所述的方法，其中，所述三维模型包括由所确定的边界界定的水平表面，并且其中所述一个或多个垂...
【专利技术属性】
技术研发人员：约阿基姆·埃里克森，袁嵩，约翰·斯特宁，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。