用于对全景视图中的重叠区进行快速图像融合的方法和系统技术方案

一种用于处理全景视图中的重叠区的系统和方法。所述系统包括：多个摄像头，其用于捕获图像；处理器，其被配置为：确定从所述捕获的图像中所获得的鸟瞰图图像中的点是否位于重叠区中；以及在所述点位于所述重叠区中的条件下，检索与所述点的坐标相对应的融合掩模并且根据所述融合掩模和所述点的一个或多个原始像素值来确定所述点的新像素值。本公开提供一种以低计算复杂度对全景视图中的重叠区进行快速融合的解决方案。

Method and system for fast image fusion of overlapping areas in panoramic view

【技术实现步骤摘要】
【国外来华专利技术】用于对全景视图中的重叠区进行快速图像融合的方法和系统专利
本公开涉及全景视图处理，并且更具体地涉及用于对全景视图中的重叠区进行图像融合(imageblending)的方法和系统。
技术介绍
汽车全景视图系统(surroundviewsystem)协助驾驶员安全驾驶和停放车辆。全景视图系统通常由围绕车辆安装的至少四个摄像头组成。可通过几何对准和校正来处理由摄像头所捕获的图像，从而输出合成图像。在当前系统中，由于面向不同方向的摄像头的不同的照明、曝光和自动白平衡(AWB)，重叠区中的合成图像通常会出现不一致且不自然的亮度和跨视图的色彩过渡。在图像数据来自两个相邻输入帧的重叠区处通常存在明显的缝合线和/或亮度和颜色不匹配，这会导致不良的用户体验。因此，需要一种用于对全景视图中的重叠区进行图像融合的方法和装置。
技术实现思路
根据本公开的一个方面，提供一种全景视图系统，该全景视图系统包括：多个摄像头，该多个摄像头用于捕获图像；以及处理器，该处理器被配置为确定从捕获的图像中所获得的鸟瞰图图像中的点是否位于重叠区中；以及在该点位于重叠区中的条件下，检索与该点的坐标相对应的融合掩模并且根据融合掩模和该点的一个或多个原始像素值来确定该点的新像素值。可以针对全景视图或鸟瞰图图像预先确定坐标系。坐标系的原点可以是鸟瞰图图像的中心。坐标系可以是任何坐标系，诸如直角坐标系、极坐标系等。此外，融合掩模可以包括该点的原始像素值的融合权重。融合权重可以是预先确定的。融合掩模可以与在重叠区内所选择的区域有关。融合掩模还可以包括该点的坐标。此外，所选择的区域可以是重叠区内的三角形区域或扇形区域，所选择的区域的顶点为重叠区的边界线的交点，并且在该点处于所选择的区域内的条件下，该点的融合掩模与以下两项之间的比率有关：从该点到顶点的线与所选择的区域的通过顶点的边界线之间的角度；所选择的区域在顶点处的角度。所选择的区域可以具有其他形状，并且可以考虑到显示效果和计算负荷之间的平衡来选择。对区域的选择也可能与摄像头的位置和拍摄范围有关。此外，所选择的区域中的点的新像素值可以根据以下方程来计算：V＝α/θ*Vn+(1-α/θ)*Vm其中V是指所选择的区域中的点的新像素值，n和m是指两个相邻摄像头以及从该两个相邻摄像头所捕获的形成重叠区的图像，Vn和Vm是指分别由摄像头n和摄像头m所捕获的该点的原始像素值，α是从该点到所选择的区域的顶点的线与所选择的区域的和摄像头n相比更接近摄像头m的边界线之间的角度，θ是所选择的区域在顶点处的角度。此外，该点的融合掩模包括该点的坐标以及该点的原始像素值的权重，诸如α/θ、α和/或θ。此外，在重叠区中并且在所选择的区域之外的点的新像素值可能仅与从最接近该点的摄像头获得的该点的原始像素值有关。根据本公开的另一方面，提供一种用于处理全景视图系统中的重叠区的方法，该方法包括：确定从由多于一个摄像头所捕获的图像所获得的鸟瞰图图像中的点是否位于重叠区中；以及在该点位于重叠区中的条件下，检索与该点的坐标相对应的融合掩模并且根据融合掩模和该点的一个或多个原始像素值来确定该点的新像素值。根据本公开的又一方面，提供一种用于为全景视图的重叠区产生融合掩模的方法，该方法包括：确定全景视图的重叠区；为全景视图建立坐标系；根据重叠区中的点的坐标确定该点的原始像素值的权重，以用于计算该点的新像素值；以及存储该点的融合掩模，该融合掩模包括该点的权重和坐标。该方法还可以包括选择重叠区内的一区域，其中所选择的区域中的点的原始像素值的权重与所选择的区域中的点的位置有关。此外，像素值可以是RGB通道值。像素值也可以是其他像素格式，诸如RGBA、YUV等。根据本公开，可以提供重叠区处的快速融合过程，这使得输出图像更加自然，并且可以以低计算复杂度提供更好的用户体验。根据实施方案的以下描述，本公开的意义和益处将显而易见。然而，应当理解，那些实施方案仅仅是如何实现本专利技术的示例，并且用于描述本专利技术的术语的含义不限于它们在实施方案的描述中被使用的特定含义。通过审查以下附图和详细描述，本公开的其他系统、方法、特征和优点对本领域技术人员来说将显而易见或将变得显而易见。所有此类附加的系统、方法、特征和优点意图包括在本说明书内、在本公开的范围内，并且受所附权利要求保护。附图说明参考流程图和描述可以更好地理解本公开。附图中的部件不一定是按比例绘制的，而是着重于说明本公开的原理。此外，在附图中，相似附图标记在所有不同视图中指示对应的部分。图1示出了根据本公开的实施方案的示出围绕车辆的鸟瞰图图像的可见范围的图；图2示出了根据本公开的实施方案的为重叠区生成融合掩模的总体流程图；图3示出了根据本公开的实施方案的在如图1所示的重叠区A中选择适当的三角形区域的示例；图4示出了根据本公开的实施方案的用于标识重叠区A的每个点的直角坐标系；图5示出了如图4所示的直角坐标系中的所选区的局部放大视图；图6示出了通过使用融合掩模生成新的鸟瞰图图像的流程图；以及图7是全景视图系统的示意性框图。具体实施方式在下文中，将参考附图更详细地描述本专利技术的优选实施方案。在本专利技术的下面描述中，对并入本文的已知功能和配置的详细描述在它们可能使本专利技术的主题不清楚时将被省略。在下文中，讨论了包括四个摄像头的示例性全景视图系统。摄像头的数量不应理解为是限制性的，而仅仅是出于说明目的而选择的，并且摄像头的数量可能会根据全景视图系统的应用而针对不同的系统和不同的对象有所不同。图1示出了根据本公开的实施方案的示出围绕车辆的鸟瞰图图像的可见范围的图。如图1所示，车辆在中心位置处，并且围绕所述车辆安装了四个摄像头1F、1L、1R和1B。摄像头的位置不应理解为是限制性的，而仅仅是出于说明目的。前区(包括区A、区D)、左区(包括区A、区B)、后区(包括区B、区C)、右区(包括区C、区D)分别表示摄像头1F、1L、1R和1B的视觉范围。区A、区B、区C、区D为重叠区。虚线框表示鸟瞰图图像的可见范围，不应将该可见范围理解为是限制性的，而应理解为仅仅是出于说明目的而选择的。重叠区A、B、C、D中的每个点(可能各自占用单个像素)会被两个相邻摄像头捕获。例如，前摄像头和左摄像头两者捕获区A。也就是说，每个点都具有两个像素值。由于摄像头面向不同的方向，因此摄像头可能具有不同的照明、曝光和/或AWB，并且因此重叠区中的每个点的两个像素值之间的差异可能很大。为了合成重叠区，根据本公开的实施方案，本公开提供了针对重叠区的快速融合方法和系统。图2示出了根据本公开的实施方案的用于为重叠区生成融合掩模的方法的总体流程图。掩模用于合成由全景视图摄像头所捕获的图像的重叠区，并且经确定而用于计算具有两个原始像素值的每个点的新像素值。如图2中的框210所示，可以通过几何对准和/或其他必要的过程来生成初始鸟瞰图图像，即包括重叠本文档来自技高网...

【技术保护点】
1.一种全景视图系统，其包括/n多个摄像头，其用于捕获图像；/n处理器，其被配置为/n确定从捕获的图像所获得的鸟瞰图图像中的点是否位于重叠区中；以及/n在所述点位于所述重叠区中的条件下，检索与所述点的坐标相对应的融合掩模，并且根据所述融合掩模和所述点的一个或多个原始像素值来确定所述点的新像素值。/n

【技术特征摘要】
【国外来华专利技术】1.一种全景视图系统，其包括
多个摄像头，其用于捕获图像；
处理器，其被配置为
确定从捕获的图像所获得的鸟瞰图图像中的点是否位于重叠区中；以及
在所述点位于所述重叠区中的条件下，检索与所述点的坐标相对应的融合掩模，并且根据所述融合掩模和所述点的一个或多个原始像素值来确定所述点的新像素值。


2.如权利要求1所述的系统，其中所述融合掩模包括所述点的所述原始像素值的融合权重。


3.如权利要求1或2所述的系统，其中所述融合掩模与在所述重叠区内所选择的区域有关。


4.如权利要求3所述的系统，其中所选择的区域为所述重叠区内的三角形区域或扇形区域，所选择的区域的顶点为所述重叠区的边界线的交点，并且在所述点处于所选择的区域内的条件下，所述点的所述融合掩模与以下两项之间的比率有关：从所述点到所述顶点的线与所选择的区域的通过所述顶点的边界线之间的角度；所选择的区域在所述顶点处的角度。


5.如权利要求3至4中任一项所述的系统，其中所述所选择的区域中的所述点的所述新像素值根据以下方程来计算：
V＝α/θ*Vn+(1-α/θ)*Vm
其中V是指所述所选择的区域中的所述点的所述新像素值，n和m是指两个相邻摄像头并且从所述两个相邻摄像头所捕获图像形成重叠区，Vn和Vm是指分别由摄像头n和摄像头m所捕获的所述点的所述原始像素值，α是从所述点到所述所选择的区域的所述顶点的线与所述所选择的区域的和摄像头n相比更接近摄像头m的边界线之间的角度，θ是所述所选择的区域在所述顶点处的角度。


6.如权利要求3至5中任一项所述的系统，其中在所述重叠区中并且在所述所选择的区域之外的所述点的所述新像素值仅与从最接近所述点的摄像头所获得的所述点的所述原始像素值有关。


7.如权利要求1至6中任一项所述的系统，其中所述处理器还被配置为根据所述鸟瞰图图像和所述重叠区中的所述点中的每一个点的新像素值来生成新的鸟瞰图图像。


8.如权利要求1至7中任一项所述的系统，其中所述处理器还被配置为通过几何对准来处理所述捕获的图像以产生所述鸟瞰图图像。


9.一种用于处理全景视图系统中的重叠区的方法，其包括
确定从由多于一个摄像头所捕获的图像所获得的鸟瞰图图像中的点是否位于重叠区中；以及
在所述点位于所述重叠区中的条件下，检索与所述点的坐标相对应的融合掩模，并且根据所述融合掩模和所述点的一个或多个原始像素值来确定所述点的新像素值。


10.如权利要求9所述的方法，其中所述融合掩模包括所述点的所述原始像素值的融合权重。


11.如权利要求9或10所述的方法，其中所述融合掩模与在所述重叠区内所选择的区域有关。

【专利技术属性】
技术研发人员：徐敏，张青山，
申请(专利权)人：哈曼国际工业有限公司，
类型：发明
国别省市：美国;US