一种可主动预警的车载3D全景环视系统技术方案

本发明专利技术提供了一种可主动预警的车载3D全景环视系统，包括：获取各个视角方向的鱼眼图像，进行内外参标定及3D投影建模，根据内外参确定3D模型与鱼眼图像纹理的对应关系，确定世界坐标系下的融合区域，并计算融合区域的权重，再将世界坐标信息、对应的纹理坐标信息，以及融合区域的权重保存为查询表；加载查询表，获取鱼眼图像数据，基于gpu在嵌入式端进行渲染，经过光照补偿以后再从gpu缓冲区取出数据进行目标检测，获取障碍物位置信息，并对危险情况进行预警。该环视系统能够全天24小时运行，是一种具有较好视角体验的3D环视对车辆路况时刻进行监视并预警的系统。

【技术实现步骤摘要】
一种可主动预警的车载3D全景环视系统
本公开涉及车载环视系统
，尤其涉及一种可主动预警的车载3D全景环视系统。
技术介绍
随着汽车工业的快速发展，汽车拥有量迅速增多，对安全驾驶提出了新的需求和挑战，特别的，驾驶过程中的未能及时发现车辆周围异常情况是引发交通事故的重要原因之一，特别是在驾驶环境比较紧凑的时候进行驾驶。现有的车载环视主要有：(1)单个视角进行监控，常见的如倒车影像，只能显示某一个方向的驾驶路况。(2)未加入融合过程的2D环视，在车辆四周挂载鱼眼相机，进行标定重投影以后，直接将各个相机的画面按照挂载顺序组合显示，画面之间具有明显的间隙。(3)具有融合功能的2D鸟瞰环视，通过外参的标定，将鱼眼图像进行重投影，并对融合区域进行加权融合，实现最终的无缝拼接。(4)3D拼接，通过碗状建模，将鱼眼图像投影到此曲面上，呈现出3D视角的拼接画面，具有更加真实的驾驶画面。在建模方法上，不同模型最后所呈现的畸变大小以及融合区域有较大区别。现有的车载环视主要存在以下问题：(1)未进行拼接的视频监控只能提供单一视角，不够灵活方便，难以及时提供车身周围的异常驾驶环境信息。(2)具有2D拼接的环视监控，虽然可以将车身周围信息及时反馈给驾驶员，但是其具有可视范围小，畸变过大的缺点，驾驶员在观察画面时，不能及时显示车身在真实环境下的处境。特别是未加入融合的2D环视，未对画面的光照进行处理，不能保证画面的一致性，视角感受较差。(3)碗状建模的3D环视，基本可以呈现出车辆的真实驾驶路况，但是碗状模型本身平面与曲面过渡不够平滑，在交界处容易出现非常突兀的过渡区域，在远处也易形成较大的错位。并且，以上方法皆需要驾驶员主动观察视频画面，目前市面上的环视系统都缺少主动预警功能，在车速较快时也对显示加以限制，不能及时提醒驾驶员车辆周边的驾驶路况。
技术实现思路
有鉴于此，本公开实施例提供一种可主动预警的车载3D全景环视系统，该环视系统能够全天24小时运行，是一种具有较好视角体验的3D环视对车辆路况时刻进行监视并预警的系统。为了实现上述目的，本专利技术提供如下技术方案：一种可主动预警的车载3D全景环视系统，包括：获取各个视角方向的鱼眼图像，进行内外参标定及3D投影建模，根据内外参确定3D模型与鱼眼图像纹理的对应关系，确定世界坐标系下的融合区域，并计算融合区域的权重，再将世界坐标信息、对应的纹理坐标信息，以及融合区域的权重保存为查询表；加载查询表，获取鱼眼图像数据，基于gpu在嵌入式端进行渲染，经过光照补偿以后再从gpu缓冲区取出数据进行目标检测，获取障碍物位置信息，并对危险情况进行预警。进一步地，还包括，建立3D投影模型，确定每个顶点的世界坐标及三角形索引顺序，再根据内、外参确定每个顶点世界坐标对应的纹理图像坐标。进一步地，建立3D碗状模型，获取三角化的网格信息，再直接根据模型表达式计算网格的世界坐标信息。进一步地，还包括，确定世界坐标系下的融合区域，再计算该区域内网格点与边界的夹角，将该夹角与该融合区域的角度的比值作为融合区域的权重。进一步地，使用重合角度为30°的融合区域计算该区域内网格点与边界的夹角，将该夹角与30°的比值作为融合区域的权重。进一步地，所述获取鱼眼图像数据包括：获取鱼眼图像的YUV数据，计算图像的光照补偿因子，再采用像素缓冲对象管理YUV数据。进一步地，还包括，基于gpu在嵌入式端使用opengles进行渲染。进一步地，使用gpu进行渲染后还包括，使用帧缓冲对象实时获取gpu渲染后的环视画面，再进行目标检测。进一步地，使用cnn网络进行目标检测。进一步地，采用pnp算法求解相机外参，所述pnp算法为包括epnp、迭代法和p3p中的任意一种。本专利技术的可主动预警的车载3D全景环视系统，相对单纯的监控，可提供更加全面的车辆周围路况信息；相对现有的车载2D环视，可更加精确的展示车辆在真实环境中所处的位置，提供更加友好的成像画面。相对现有的车载普通3D环视，本专利技术建立的模型可较好弥补交界区域的错位与画面的畸变，同时添加的目标检测与预警，可更好地辅助驾驶员观察车辆周围的路况。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图1为本专利技术一个实施例中的可主动预警的车载3D全景环视系统示意图；图2为本专利技术一个实施例中的外参标定棋盘格摆放示意图；图3为本专利技术一个实施例中的三维全景模型俯视图；图4为本专利技术一个实施例中的三维视角全景投影模型；图5为本专利技术一个实施例中的融合区域示意图。具体实施方式下面结合附图对本公开实施例进行详细描述。以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效。显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面。应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及/或功能仅为说明性的。基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上。举例来说，可使用本文中所阐述的任何数目个方面来实施设备及/或实践方法。另外，可使用除了本文中所阐述的方面中的一或多者之外的其它结构及/或功能性实施此设备及/或实践此方法。还需要说明的是，以下实施例中所提供的图示仅以示意方式说明本公开的基本构想，图式中仅显示与本公开中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。另外，在以下描述中，提供具体细节是为了便于透彻理解实例。然而，所属领域的技术人员将理解，可在没有这些特定细节的情况下实践所述方面。本专利技术提供一种可主动预警的车载3D全景环视系统，包括：获取各个视角方向的鱼眼图像，进行内外参标定及3D投影建模，根据内外参确定3D模型与鱼眼图像纹理的对应关系，确定世界坐标系下的融合区域，并计算融合区域的权重，再将世界坐标信息、对应的纹理坐标信息，以及融合区域的权重保存为查询表；加载查询表，获取鱼眼图像数据，基于gpu在嵌入式端进行渲染，经过光照本文档来自技高网...

【技术保护点】
1.一种可主动预警的车载3D全景环视系统，其特征在于，包括：/n获取各个视角方向的鱼眼图像，进行内外参标定及3D投影建模，根据内外参确定3D模型与鱼眼图像纹理的对应关系，确定世界坐标系下的融合区域，并计算融合区域的权重，再将世界坐标信息、对应的纹理坐标信息，以及融合区域的权重保存为查询表；/n加载查询表，获取鱼眼图像数据，基于gpu在嵌入式端进行渲染，经过光照补偿以后再从gpu缓冲区取出数据进行目标检测，获取障碍物位置信息，并对危险情况进行预警。/n

【技术特征摘要】
1.一种可主动预警的车载3D全景环视系统，其特征在于，包括：
获取各个视角方向的鱼眼图像，进行内外参标定及3D投影建模，根据内外参确定3D模型与鱼眼图像纹理的对应关系，确定世界坐标系下的融合区域，并计算融合区域的权重，再将世界坐标信息、对应的纹理坐标信息，以及融合区域的权重保存为查询表；
加载查询表，获取鱼眼图像数据，基于gpu在嵌入式端进行渲染，经过光照补偿以后再从gpu缓冲区取出数据进行目标检测，获取障碍物位置信息，并对危险情况进行预警。


2.根据权利要求1所述的可主动预警的车载3D全景环视系统，其特征在于，还包括，建立3D投影模型，确定每个顶点的世界坐标及三角形索引顺序，再根据内、外参确定每个顶点世界坐标对应的纹理图像坐标。


3.根据权利要求2所述的可主动预警的车载3D全景环视系统，其特征在于，建立3D碗状模型，获取三角化的网格信息，再直接根据模型表达式计算网格的世界坐标信息。


4.根据权利要求1所述的可主动预警的车载3D全景环视系统，其特征在于，还包括，确定世界坐标系下的融合区域，再计算该区域内网格点与边界的夹角，将该夹角与该融合区域的角度的比值作为融合...

【专利技术属性】
技术研发人员：王念兵，仇开金，张琴，陈岚，
申请(专利权)人：武汉极目智能技术有限公司，
类型：发明
国别省市：湖北;42