一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品制造方法及图纸

本发明专利技术涉及一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品，其利用当前帧与前第n帧的俯视图的特征点构建优化函数，并引入车身相对位姿信息进行非线性优化，得到当前帧与前第n帧之间的相对运动信息，然后根据相对运动信息得到变换矩阵，最后利用变换矩阵进行前第n帧与当前帧之间映射，进行当前帧俯视图的盲区填充。本发明专利技术引入非线性优化可以提高透明车身效果，且将图像结合车身运动信息，可以提高匹配的效率和可靠性，加快优化收敛，进一步提高车底透明化效果。进一步提高车底透明化效果。进一步提高车底透明化效果。

【技术实现步骤摘要】
一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品


[0001]本专利技术涉及车辆辅助驾驶
，具体涉一种基于非线性优化的车底透明方法、装置、系统、存储介质及计算机程序产品。

技术介绍

[0002]近年来，汽车在人们的日常工作和生活中起到越来越重要的作用。然而，汽车驾驶操作需要经过专门的技术培训才能掌握，且在复杂的道路环境上驾驶汽车需要驾驶员不仅有娴熟的驾驶技术还需要高度集中注意力才行，这不仅降低了汽车驾驶的安全性，也提高了汽车驾驶的门槛。
[0003]在汽车行业降低汽车驾驶的门槛，提高安全性和舒适度的过程中，车载电子系统逐步发展出高级辅助驾驶系统（Advanced DriverAssistance System ADAS），该系统引入了影像技术，尤其是目前的全景环视影像系统。由分布安装在车身四周的摄像头所组成的全景环视影像系统，能够将同一时刻采集到的车辆四周的视频影像进行分析和处理，得到车身四周360度3D立体影像或2D鸟瞰图，为驾驶员掌握周边环境提供了极大的便利。
[0004]然而，当前的360度全景环视影像系统仍存在无法感知车底盲区的不足。近年来越来越多的新闻报道，一些不熟练的驾驶员，在汽车泊出或泊入的时候，对于矮小的儿童被卷入车底后还浑然不觉，造成悲惨的交通事故。由此可见车底状况显示的重要性，在汽车行驶中应同步反馈车底状况，达到更高的驾驶安全要求。

技术实现思路

[0005]本专利技术的目的在于提供一种基于非线性优化的车底透明方法、装置、设备、存储介质及计算机程序产品，其通过对车底盲区进行填充，实现车底透明化处理。
[0006]为实现上述目的，本专利技术采用的技术方案是：一种基于非线性优化的车底透明方法，其包括：相对位姿信息获取步骤，首先获取车身位姿信息，然后利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；俯视图获取步骤，获取当前帧包含车底盲区的俯视图，以及获取前第n帧已经处理过的俯视图；特征点提取步骤，从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图；从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；变换矩阵计算步骤，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵H；车底盲区填充步骤，利用变换矩阵H，将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。
[0007]所述特征点提取步骤中，确定提取区域方法为：采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。
[0008]所述特征点提取步骤中，从提点区域中提取特征点操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。
[0009]所述变换矩阵计算步骤中，将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。
[0010]所述相对位姿信息为前第n帧到当前帧之间的相对位姿信息，所述相对运动信息为前第n帧到当前帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵H将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。
[0011]所述相对位姿信息为当前帧到前第n帧的相对位姿信息，所述相对运动信息为当前帧到前第n帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵H将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。
[0012]一种基于非线性优化的车底透明装置，其包括：相对位姿信息获取模块，用于获取车身位姿信息，并利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；俯视图获取模块，用于获取当前帧包含车底盲区的俯视图以及前第n帧已经处理过的俯视图；特征点提取模块，用于从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图，还用于从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；变换矩阵计算模块，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵H；车底盲区填充模块，用于根据变换矩阵H将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。
[0013]所述特征点提取模块采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。
[0014]所述特征点提取模块从提点区域中提取特征点操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。
[0015]所述变换矩阵计算模块将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。
[0016]所述相对位姿信息为前第n帧到当前帧之间的相对位姿信息，所述相对运动信息
为前第n帧到当前帧的相对运动信息，所述车底盲区填充模块则利用变换矩阵H将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。
[0017]所述相对位姿信息为当前帧到前第n帧的相对位姿信息，所述相对运动信息为当前帧到前第n帧的相对运动信息，所述车底盲区填充模块则利用变换矩阵H将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。
[0018]一种计算机可读存储介质，其存储有指令，当所述指令在终端设备上运行时，使得所述终端设备执行如上所述的车底透明方法。
[0019]一种计算机软件程序产品，其在终端设备上运行时，使得所述终端设备执行如上所述的车底透明方法。
[0020]一种终端设备，包括处理器及存储器，所述存储器用于存储指令；所述处理器用于执行所述存储器存储的指令，以使终端设备执行如上所述的车底盲区填充方法。
[0021]采用上述方案后，本专利技术利用当前帧与前第n帧的俯视图的特征点构建优化函数，并引入车身相对位姿信息进行非线性优化，得到当前帧与第n帧之间的相对运动信息，然后根据相对运动信息得到变换矩阵，最后利用变换矩阵进行前第n帧与当前帧之间映射，进行当前帧本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于非线性优化的车底透明方法，其特征在于：所述方法包括：相对位姿信息获取步骤，首先获取车身位姿信息，然后利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；俯视图获取步骤，获取当前帧包含车底盲区的俯视图，以及获取前第n帧已经处理过的俯视图；特征点提取步骤，从当前帧包含车底盲区的俯视图和前第n帧已经处理过的俯视图中选择一个俯视图；从所选择的俯视图中确定提点区域，并从提点区域中提取出特征点；变换矩阵计算步骤，根据所选俯视图中提取出的特征点构建优化函数，并引入相对位姿信息进行非线性优化，最小化残差，得到最优解，即当前帧和前第n帧之间的相对运动信息；根据该相对运动信息计算得到变换矩阵H；车底盲区填充步骤，利用变换矩阵H，将前第n帧与当前帧的俯视图进行映射，完成当前帧俯视图中的盲区填充。2.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述特征点提取步骤中，确定提取区域方法为：采用深度学习方法识别俯视图中的地面区域作为候选提点区域，然后从候选提点区域中确定提点区域。3.根据权利要求1或2所述的一种基于非线性优化的车底透明方法，其特征在于：所述特征点提取步骤中，从提点区域中提取特征点操作如下：在提点区域进行划分网格，设置响应阈值，并根据响应阈值在网格内提取特征点；如果所提取的特征点的数量不满足要求，降低响应阈值在进行提取。4.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述变换矩阵计算步骤中，将从所选俯视图中提取出的特征点与另一俯视图进行特征匹配，然后基于该特征匹配构建优化函数，特征匹配方法为结合相对位姿信息进行快速特征点匹配；或者直接进行最小化光度残差进行非线性优化，不需要进行特征匹配。5.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述相对位姿信息为前第n帧到当前帧之间的相对位姿信息，所述相对运动信息为前第n帧到当前帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵H将前第n帧已经处理过的俯视图往当前帧映射，经过插值拟合填充到当前帧俯视图车底盲区的对应位置，完成当前帧车底透明化处理。6.根据权利要求1所述的一种基于非线性优化的车底透明方法，其特征在于：所述相对位姿信息为当前帧到前第n帧的相对位姿信息，所述相对运动信息为当前帧到前第n帧的相对运动信息，则所述车底盲区填充步骤中，利用变换矩阵H将当前帧俯视图中的车底盲区像素坐标映射到前第n帧已经处理过的俯视图的像素坐标上，并将映射后的坐标像素值进行插值拟合，然后返回车底盲区相应融合的像素并将其填充至当前帧俯视图中。7.一种基于非线性优化的车底透明装置，其特征在于：所述装置包括：相对位姿信息获取模块，用于获取车身位姿信息，并利用车身位姿信息计算前第n帧与当前帧之间的相对位姿信息，其中，n≥1；俯视图获取模块，用于获取当前帧包含车底盲区的俯视图以及前第n帧已经处理过的俯视图；特征点提取模块，用于从...

【专利技术属性】
技术研发人员：林少锋，丁小敏，王宝杰，吴伟花，
申请(专利权)人：同致电子科技厦门有限公司，
类型：发明
国别省市：