通过拼接帧以辅助车辆驾驶员的方法和系统技术方案

本发明专利技术涉及通过拼接帧以辅助车辆驾驶员的方法和系统。驾驶员辅助系统从安装在车辆上的多个图像传感器接收多个帧。驾驶员辅助系统识别多个帧中的一个或多个对象和相应的像素坐标，基于一个或多个对象之间的对应性，确定一组或多组映射对象。驾驶员辅助系统基于预定义的可见性条件来确定每组映射对象中的每个对象的可见性状态，基于可见性状态和相应的对象参数来识别每组映射对象中的每个对象的优先级指数，以及根据每组映射对象中的具有最高优先级指数的对象对多个帧进行拼接以产生合成图像。显示合成图像以辅助车辆驾驶员。

Method and System of Auxiliary Vehicle Driver by Splicing Frames

【技术实现步骤摘要】
通过拼接帧以辅助车辆驾驶员的方法和系统
本专利技术总体涉及成像系统的领域，更具体地但不仅限于通过拼接帧以辅助车辆驾驶员的方法和系统。
技术介绍
如今，随着汽车中的多个照相机成为现实，存在需要拼接将来自多个照相机的馈给拼接的应用。大多数的现有拼接技术是在两个照相机场景之间使用透视矩阵(homography)实现的，并且假定场景近似平面，或者照相机中心是重合的。然而，对于汽车照相机以及需要被它们操作的道路场景来说，情况并非如此。通常，对于例如卡车、公共汽车、拖车的大型车辆，需要使车辆在前后方向安全行驶。在前进方向上，驾驶员通常可以清楚地看到前方的路径。但是在相反的方向上，清晰的可视性是不可能的，并且驾驶员不断地需要猜测方向并且可能依赖于来自另一个人的反馈。随着最近流行的后视照相机，驾驶安全性得到了改善，因为驾驶员可以在屏幕上看到路径，该屏幕显示了使用照相机捕获的车辆后方的情况。在现有系统中，大多数照相机具有有限的视场，其可以使用鱼眼镜头增强到180度。但是，具有鱼眼镜头的广角照相机很难解释由于末端显得比中心区域更小，需要展开或纠正。然而，这仍然会产生不切合实际的结果，例如直线看似弯曲。此外，另一种现有方法是使用具有常规视场(50°到90°)的多个照相机和拼图结果来生成一致的全景图像或视频。然而，当照相机之间存在视差时，现有的图像拼接方法在合成图像中产生了问题，导致场景的一部分出现两次。本专利技术专利技术的
技术介绍
中公开的信息仅用于增强对本专利技术的通用背景的理解，并且不应被视为承认或任何形式的建议：该信息形成本领域技术人员已知的现有技术。
技术实现思路
在一个实施例中，本专利技术可以涉及一种拼接辅助车辆驾驶员的用于拼接帧方法。该方法可以包括从设置在车辆上的多个图像传感器接收多个帧。该方法可以包括在多个帧中识别一个或多个对象和相应的像素坐标。该方法可以包括基于一个或多个对象之间的对应性，在多个帧中的每一个中确定一组或多组映射对象。对应性是基于一个或多个对象的像素坐标确定的。该方法包括基于预定义的可见性条件来确定每组映射对象中的每个对象的可见性状态。该方法可以进一步包括基于可见性状态和相应的对象参数来识别每组映射对象中的每个对象的优先级指数，根据每组映射对象中的具有最高优先级指数的一个对象，对多个帧进行拼接以产生合成图像。显示合成图像以辅助车辆驾驶员。在一个实施例中，本专利技术可以涉及一种拼接辅助车辆驾驶员的用于拼接帧的驾驶员辅助系统。驾驶员辅助系统可以包括处理器和通信地耦合到处理器的存储器，其中存储器存储有处理器可执行指令，指令在执行时可以使驾驶员辅助系统从设置在车辆上的多个图像传感器接收多个帧。驾驶员辅助系统可以在多个帧中识别一个或多个对象和相应的像素坐标。驾驶员辅助系统可以基于一个或多个对象之间的对应性，在多个帧中的每一个中确定一组或多组映射对象。对应性是基于一个或多个对象的像素坐标确定的。驾驶员辅助系统可以基于预定义的可见性条件来确定每组映射对象的每个对象的可见性状态。驾驶员辅助系统可以进一步基于可见性状态和相应的对象参数来识别每组映射对象中的每个对象的优先级指数，并根据每组映射对象的具有最高优先级指数的一个对象，对多个帧进行拼接以产生合成图像。显示合成图像以辅助车辆驾驶员。在一个实施例中，本专利技术涉及包括非暂时性计算机可读介质，其上存储有指令，当由至少一个处理器处理时，指令可以使驾驶员辅助系统从设置在车辆上的多个图像传感器接收多个帧。指令可使处理器识别多个帧中的一个或多个对象和相应的像素坐标。指令可使处理器基于一个或多个对象之间的对应性，在多个帧中的每一个中确定一组或多组映射对象。对应性是基于一个或多个对象的像素坐标确定的。指令可使处理器基于预定义的可见性条件来确定每组映射对象中的每个对象的可见性状态。指令可使处理器进一步基于可见性状态和相应的对象参数来识别每组映射对象中的每个对象的优先级指数，并根据每组映射对象中的具有最高优先级指数的对象，对多个帧进行拼接以产生合成图像。显示合成图像以辅助车辆驾驶员。前述的
技术实现思路
仅仅是说明性的，并不意图以任何方式进行限制。除了上面描述的说明性方面、实施例和特征外，通过参考附图和以下具体实施方式，进一步的方面、实施例和特征将变得容易理解。附图说明并入并构成本专利技术的一部分的附图示出了示例性实施例，并且与说明书一起用于解释所公开的原理。在这些图中，附图标记最左边的数字表示附图标记首次出现的图。在所有附图中使用相同的数标记来引用相似的特征和组件。现在仅以举例的方式并参考附图来描述根据本专利技术的实施例的系统和/或方法的一些实施例，其中：图1示出了根据本专利技术的一些实施例的用于拼接辅助车辆驾驶员的拼接帧的示例性环境；图2示出了根据本专利技术的一些实施例的驾驶员辅助系统的详细框图；图3示出了根据本专利技术的一些实施例的用于拼接辅助车辆驾驶员的拼接帧的方法流程图；图4a示出了根据本专利技术的一些实施例的显示拼接辅助车辆驾驶员的拼接图像的车辆显示单元的示例性表示；图4b、图4c和图4d示出了根据本专利技术的一些实施例的用于生成合成图像的帧的示例性表示；以及图5示出了用于实施与本专利技术一致的实施例的示例性计算机系统的框图。附图标记：本领域技术人员应该理解，本文中的任何框图表示体现本专利技术原理的说明性系统的概念图。类似地，可以理解的是，任何流程表、流程图、状态转换图、伪代码等代表可以基本上在计算机可读介质上表示并由计算机或处理器执行的各种方法，无论这种计算机或处理器是否被明确示出。具体实施方式在本专利技术中，词语“示例性”在本文中用于意指“用作示例，实例或说明”。本文描述为“示例性”的本专利技术的任何实施例或实施不必被解释为比其它实施例优选或有利。虽然本专利技术容许各种修改和替代形式，但是其具体实施例已经在附图中通过示例显示并且将在下面详细描述。然而，应该理解的是，这并不意图将本专利技术限制为所公开的特定形式，而是相反，本专利技术将覆盖落入本专利技术的精神和范围内的所有修改、等同物和替换。术语“包括”、“包含”或其任何其它变型旨在涵盖非排他性的包含，使得包括组件或步骤的列表的设置、设备或方法不仅包括那些组件或步骤，而是可以包括没有明确列出或者这样的设置或设备或方法固有的其它组件或步骤。换句话说，前加“包括……”的系统或设备中的一个或多个元件在没有更多限制的情况下不排除系统或方法中存在其它元件或额外元件。在本专利技术的实施例的以下具体实施方式中，参考形成其一部分的附图，并且其中以说明方式示出了可以实施本专利技术的特定实施例。对这些实施例进行了详细地描述足以使得本领域的技术人员能够实施本专利技术，并且应该理解到，可以使用其它实施例，并且可以在不脱离本专利技术的范围的情况下进行改变。因此，下面的描述不应被认为是限制性的。本专利技术涉及一种用于拼接帧以辅助车辆驾驶员的方法和驾驶员辅助系统。在一个实施例中，车辆可以指用于运输的任何机动车辆。车辆可以配置有图像传感器。每当用户沿相反方向移动车辆时，配置在车辆中的图像传感器可以捕获多个帧。多个帧可以由车辆的驾驶员辅助系统接收。驾驶员辅助系统可以确定多个帧中的一个或多个对象和对应的像素坐标。可以进行像素坐标匹配以确定一组或多组映射对象。对于一个或多个映射对象中的每一个，可以确定可见性状态和优先级指数。根据每组映射对象中的具有最高优先本文档来自技高网...

【技术保护点】
1.一种通过拼接帧以辅助车辆驾驶员的方法，其特征在于，所述方法包括：由驾驶员辅助系统(103)从设置在车辆(101)上的多个图像传感器(111)接收多个帧；由所述驾驶员辅助系统(103)在所述多个帧中识别一个或多个对象和相应的像素坐标；由所述驾驶员辅助系统(103)基于所述一个或多个对象之间的对应性，在所述多个帧中的每一个中确定一组或多组映射对象，其中所述对应性是基于所述一个或多个对象的所述像素坐标确定的；由所述驾驶员辅助系统(103)基于预定义的可见性条件来确定每组映射对象中的每个对象的可见性状态；由所述驾驶员辅助系统(103)基于所述可见性状态和相应的对象参数来识别所述每组映射对象中的每个对象的优先级指数；以及根据所述每组映射对象中的具有最高优先级指数的一个对象，由所述驾驶员辅助系统(103)对所述多个帧进行拼接以产生合成图像，其中显示所述合成图像以辅助所述车辆(101)的所述驾驶员。

【技术特征摘要】
2017.10.31 IN 2017410387311.一种通过拼接帧以辅助车辆驾驶员的方法，其特征在于，所述方法包括：由驾驶员辅助系统(103)从设置在车辆(101)上的多个图像传感器(111)接收多个帧；由所述驾驶员辅助系统(103)在所述多个帧中识别一个或多个对象和相应的像素坐标；由所述驾驶员辅助系统(103)基于所述一个或多个对象之间的对应性，在所述多个帧中的每一个中确定一组或多组映射对象，其中所述对应性是基于所述一个或多个对象的所述像素坐标确定的；由所述驾驶员辅助系统(103)基于预定义的可见性条件来确定每组映射对象中的每个对象的可见性状态；由所述驾驶员辅助系统(103)基于所述可见性状态和相应的对象参数来识别所述每组映射对象中的每个对象的优先级指数；以及根据所述每组映射对象中的具有最高优先级指数的一个对象，由所述驾驶员辅助系统(103)对所述多个帧进行拼接以产生合成图像，其中显示所述合成图像以辅助所述车辆(101)的所述驾驶员。2.根据权利要求1所述的方法，其特征在于，以预定义的重叠值并以预定义速率通过所述多个图像传感器(111)中的每一个来捕获所述多个帧。3.根据权利要求1所述的方法，其特征在于，基于预先训练的对象识别分类器识别所述一个或多个对象。4.根据权利要求1所述的方法，其特征在于，所述每组映射对象中的每个对象的所述可见性状态包括每个对象在所述多个帧的一帧中相对于在所述多个帧的另一帧中的相对对象位置。5.根据权利要求1所述的方法，其特征在于，所述预定义的可见性条件包括所述一个或多个对象的存在、部分存在和不存在中的至少一个。6.根据权利要求1所述的方法，其特征在于，所述对象参数包括对象尺寸、相对对象比率、对象类型以及所述一个或多个对象与所述多个图像传感器(111)的接近度。7.根据权利要求6所述的方法，其特征在于，所述对象尺寸和所述相对对象比率是基于相应对象的所述像素坐标来确定的。8.根据权利要求1所述的方法，其特征在于，进一步包括使用图像平滑滤波器消除所拼接的多个帧中的不连续性。9.一种通过拼接帧以辅助车辆(101)驾驶员的驾驶员辅助系统(103)，其特征在于，包括：处理器(109)；和存储器(107)，所述存储器以可通信方式耦合到所述处理器(109)，其中所述存储器(107)存储有处理器指令，所述处理器指令在执行时使所述处理器(109)：从设置在车辆(101)上的多个图像传感器(111)接收多个帧；在所述多个帧中识别一个或多个对象和相应的像素坐标；基于所述一个或多个对象之间的对应性，在所述多个帧中的每一个中确定一组或多组映射对象，其中所述对应性是基于所述一个或多个对象的所述像素坐标确定的；基于预定义的可见性条件来确定每组映射对象中的每个对象的可见性状态；基于所述可见性状态和相应的对象参数来识别所述每组映射对象中的每个对象的优先级指数；以及根据所述每组映射对象中的具有最高优先级指数的一个对象，对所述多个帧进行拼接以产生合成图像，其中显示所述合成图像以辅助所述车辆(101)的所述驾驶员。10.根据权利要求9所述的驾驶员辅助系统(103)，其特征在于，以预定义的重叠值并以预定义速率通过所述多个图像...

【专利技术属性】
技术研发人员：G·德维威迪，V·帕特哈盖，
申请(专利权)人：维布络有限公司，
类型：发明
国别省市：印度,IN