一种基于车载实时监控的车辆驾驶辅助方法及装置制造方法及图纸

本发明专利技术公开了一种基于车载实时监控的车辆驾驶辅助方法及装置，其中，所述方法包括：进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；进行视频拼接处理，形成360度全景实时视频数据；进行分帧处理，形成全景实时视频帧数据；识别全景实时视频帧数据中的目标数据，并确定目标数据在车辆当前位置的相对位置和所述目标数据的类别；进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；基于车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向车辆的驾驶用户进行驾驶辅助预警。在本发明专利技术实施例中，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性。的行驶安全性。的行驶安全性。

【技术实现步骤摘要】
一种基于车载实时监控的车辆驾驶辅助方法及装置


[0001]本专利技术涉及图像处理
，尤其涉及一种基于车载实时监控的车辆驾驶辅助方法及装置。

技术介绍

[0002]现有的汽车的驾驶辅助一般单独分为车道保持辅助系统、自动泊车辅助系统、刹车辅助系统、倒车辅助系统和行车辅助系统等多个系统；现有的车载360度全景视频监测一般与倒车辅助系统相关联，需要在用户进入倒挡之后才启动，其他情况需要用户进行手动设置才可以启动车载的360度全景视频监测，并且需要解决在正常行车过程中，如何利用车载的360度全景视频监测融合到相关的行车驾驶辅助上，从而更有利于行车驾驶的安全。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，本专利技术提供了一种基于车载实时监控的车辆驾驶辅助方法及装置，可以有效的根据车辆外部复杂环境进行有效的辅助驾驶预警，提高车辆的行驶安全性。
[0004]为了解决上述技术问题，本专利技术实施例提供了一种基于车载实时监控的车辆驾驶辅助方法，所述方法包括：
[0005]基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；
[0006]基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；
[0007]对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；
[0008]识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；
[0009]基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；
[0010]基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警。
[0011]可选的，所述基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据，包括：
[0012]在所述车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据。
[0013]可选的，所述基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据，包括：
[0014]获得设置在所述车辆四周的摄像头设备的畸变系数；
[0015]计算所述畸变系数与设置在所述车辆四周的摄像头设备之间的变换系数；
[0016]基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据。
[0017]可选的，所述基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据，包括：
[0018]利用所述变换系数对所述车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；
[0019]对所述去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；
[0020]对所述拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；
[0021]对所述曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据。
[0022]可选的，所述对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据，包括：
[0023]对所述360度全景实时视频数据进行分帧处理，获得第一全景实时视频帧数据；
[0024]对所述第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据。
[0025]可选的，所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：
[0026]基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；
[0027]基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；
[0028]基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；
[0029]对所述补全后的目标数据进行分类模糊匹配处理，确定所述补全后的目标数据所属的类别。
[0030]可选的，所述基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据，包括：
[0031]将所述全景实时视频帧数据输入卷积神经网络模型中，在卷积神经网络模型中的向前传播网络中进行不同维度的目标特征提取处理，获得不同维度的目标特征；
[0032]将不同维度的目标特征通过RPN网络进行初次候选框的筛选和定位，去除不包含类似目标的候选框；
[0033]将去除不包含类似目标的候选框输入反卷积网络中，输出与原始目标数据相同大小的校正图像；
[0034]将所述校正图像输入全连接网络与全连接层进行目标数据识别处理，获得识别目标数据。
[0035]可选的，所述基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类
别进行目标识别和/或者目标轨迹预测处理，包括：
[0036]在所述目标数据中只存在目标交通标识数据，并且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理；
[0037]在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据在车辆当前位置的正前方或者侧前方时，对所述目标交通标识数据进行识别处理，及对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；
[0038]在所述目标数据中存在目标交通标识数据、目标车辆数据和/或目标行人数据时，且所述目标交通标识数据不在车辆当前位置的正前方或者侧前方时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理；
[0039]在所述目标数据中存在目标车辆数据和/或目标行人数据时，对所述目标车辆数据和/或目标行人数据进行目标轨迹预测处理。
[0040]可选的，所述基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警，包括：
[0041]基于所述的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果在所述车辆中控屏幕上向所述车辆的驾驶用户进行显示推送，及进行语音辅助提示播放。
[0042]另外，本专利技术实施例还提供了一种基于车载实时监控的车辆驾驶辅助装置，所述装置包括：
[0043]视频采集模块：用于基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；
[0044]视频拼接模块：用于基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于车载实时监控的车辆驾驶辅助方法，其特征在于，所述方法包括：基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据；基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据；对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据；识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，所述目标数据类别包括目标交通标识数据、目标车辆数据和目标行人数据；基于所述目标数据在车辆当前位置的相对位置和所述目标数据的类别进行目标识别和/或者目标轨迹预测处理，获得所述目标数据的识别结果和/或目标轨迹预测结果；基于所述车辆的当前状态和所述目标数据的识别结果和/或目标轨迹预测结果向所述车辆的驾驶用户进行驾驶辅助预警。2.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述基于设置在车辆四周的摄像头设备进行车辆四周的实时视频采集处理，获得车辆四周的实时视频数据，包括：在所述车辆启动后，启动设置在车辆四周的摄像头设备对车辆四周进行实时视频采集处理，并将采集到的实时视频数据按照采集摄像头设置在车辆中的位置进行标记，形成车辆四周的实时视频数据。3.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述基于所述车辆四周的实时视频数据进行视频拼接处理，形成360度全景实时视频数据，包括：获得设置在所述车辆四周的摄像头设备的畸变系数；计算所述畸变系数与设置在所述车辆四周的摄像头设备之间的变换系数；基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据。4.根据权利要求3所述的车辆驾驶辅助方法，其特征在于，所述基于所述变换系数对所述车辆四周的实时视频数据进行融合拼接处理，形成360度全景实时视频数据，包括：利用所述变换系数对所述车辆四周的实时视频数据进行畸变去除处理，获得去除畸变后的实时视频数据；对所述去除畸变后的实时视频数据进行拼接处理，获得拼接后的实时视频数据；对所述拼接后的实时视频数据进行曲面投影处理，获得曲面投影后的实时视频数据；对所述曲面投影后的实时视频数据进行多波段融合处理，形成360度全景实时视频数据。5.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述对所述360度全景实时视频数据进行分帧处理，形成全景实时视频帧数据，包括：对所述360度全景实时视频数据进行分帧处理，获得第一全景实时视频帧数据；对所述第一全景实时视频帧数据进行间隔帧抽取去除冗余处理，形成全景实时视频帧数据。6.根据权利要求1所述的车辆驾驶辅助方法，其特征在于，所述识别所述全景实时视频帧数据中的目标数据，并确定所述目标数据在车辆当前位置的相对位置和所述目标数据的类别，包括：
基于卷积神经网络模型对所述全景实时视频帧数据进行目标数据的识别处理，获得识别目标数据；基于图像拼接算法对所述识别目标数据进行遮挡区域补全处理，获得补全后的目标数据；基于补全后的目标数据在所述全景实时视频帧的位置确定所述补全后的目标数据在车辆当前位置的相对位置；对所述补全后的目...

【专利技术属性】
技术研发人员：陈世彬，丁应俊，
申请(专利权)人：深圳市同进视讯技术有限公司，
类型：发明
国别省市：