一种基于视觉感知技术的车辆感知方法及装置制造方法及图纸

本发明专利技术公开了一种基于视觉感知技术的车辆感知方法及装置，所述方法包括：1)、获取当前车辆周围的视频图像；2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。应用本发明专利技术实施例提高了行车安全性。

【技术实现步骤摘要】
一种基于视觉感知技术的车辆感知方法及装置
本专利技术涉及一种车辆感知方法及装置，更具体涉及一种基于视觉感知技术的车辆感知方法及装置。
技术介绍
随着人工智能技术的发展，无人驾驶技术也越来越多的应用于实际的车辆工业中。目前，预警系统大多仅仅通过估算当前车辆与前方车辆之间的相对距离，以及相对速度，进而估算碰撞时间；在碰撞时间较小时进行预警，如果碰撞时间较大，则进行持续性的检测。但是，专利技术人发现，现有技术中利用碰撞时间进行预警，只能针对当前车辆正前方的目标车辆进行碰撞预警，对于其他行车情况如，并线、超车等无法进行预警，导致现有技术应用范围较小，进而导致现有技术条件下行车安全性不足的缺点，
技术实现思路
本专利技术所要解决的技术问题在于提供了一种基于视觉感知技术的车辆感知方法及装置，以提高行车安全性。本专利技术是通过以下技术方案解决上述技术问题的：本专利技术实施例提供了一种基于视觉感知技术的车辆感知方法，所述方法包括：1)、获取当前车辆周围的视频图像；2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。可选的，所述卷积神经网络的训练过程包括：利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；利用所述训练样本训练卷积神经网络，并利用公式，计算当前次迭代时所述卷积神经网络的定位误差损失，其中，locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；为真值检测框的中心坐标的横坐标值；为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；为真值检测框的宽；hi为检测框的高；为真值检测框的高；locloss2为标注的检测结果的定位误差损失；利用公式，计算当前次迭代的卷积神经网络的分类误差损失，其中，clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；为真值标签；clsloss2为背景类别误差；为第i个锚点对应的第j个检测框是否有对应目标；利用公式，计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；为第i个锚点中第c类的真值置信度；利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。应用本专利技术实施例，使用该方法的车辆检测算法，有效提高车辆的检出率和召回率，从而提高整体系统的预警准确性。可选的，所述目标车辆为非机动车时，所述方法还包括在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。应用本专利技术实施例，采用深度神经网络检测车辆，可以区分机动车和非机动车，实现前方非机动车预警功能。最后，根据检测目标的类别，分为机动车和非机动车，增加了对交通环境下，对行驶不稳定的非机动车的预警。可选的，所述步骤2)，包括：根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；根据预设的学习率，利用公式，对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，w″1为第二位移权重矩阵；w″2为第二尺度变化矩阵；γ为学习率；w′1为第一位移权重矩阵；w′2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。可选的，所述步骤3)，包括：将当前车辆的中心线两侧第一设定距离，以及当前车辆前方第二设定距离所形成的区域作为当前车辆前方的安全区域。可选的，所述方法还包括：获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界坐标系中，获取当前车辆与前方车辆的距离信息；利用公式，计算当前车辆与目标车辆的碰撞时间，其中，tTTC为当前车辆与目标车辆的碰撞时间；d为当前车辆与目标车辆之间的间距；Δt为当前帧图像与当前帧图像的下一帧图像之间的时间间隔；Δd为当前帧图像与当前帧图像的下一帧图像中两车距离的变化量；判断所述碰撞时间是否小于第四预设阈值；若是，执行预设操作；若否，将当前帧图像的下一帧图像作为当前帧图像，并返回执行所述获取当前车辆与前方车辆的距离信息的步骤。本专利技术实施例提供了一种基于视觉感知技术的车辆感知装置，所述装置包括：第一获取模块，用于获取当前车辆周围的视频图像；识别模块，用于利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；第二获取模块，用于根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；判断模块，用于根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全本文档来自技高网...

【技术保护点】
1.一种基于视觉感知技术的车辆感知方法，其特征在于，所述方法包括：1)、获取当前车辆周围的视频图像；2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。

【技术特征摘要】
1.一种基于视觉感知技术的车辆感知方法，其特征在于，所述方法包括：1)、获取当前车辆周围的视频图像；2)、利用预先训练的卷积神经网络，识别出所述视频图像中所包含的目标车辆；3)、根据所述当前车辆的所处车道的车道线以及所述当前车辆前方的设定距离，获取所述当前车辆前方的安全区域；4)、根据所述目标车辆的在视频图像中的位置，获取所述目标车辆的轨迹，进而判断所述目标车辆是否进入所述安全区域，若是执行预设操作，其中，所述预设操作包括：发出提醒、主动制动中的一种或组合。2.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述卷积神经网络的训练过程包括：利用含有目标车辆的图像和对应的含有目标车辆的标签，以及未含有目标车辆的图像和对应的未含有目标车辆的标签的集合生成训练样本，其中，所述目标车辆包括：机动车、非机动车以及行人中的一种或者组合；在卷积神经网络的第一设定输出层引出第一检测分支，在卷积神经网络的第二设定输出层引出第二检测分支，第一检测分支输出的目标的尺度大于第二检测分支输出的目标的尺度；利用所述训练样本训练卷积神经网络，并利用公式，计算当前次迭代时所述卷积神经网络的定位误差损失，其中，locloss1为检测结果的定位误差损失；S2为第一检测分支对应的输出层待扫描的锚点数量；B为每一个锚点对应的检测框数量；为第i个锚点对应的第j个检测框内是否含有对应于第一检测分支的目标车辆；xi为检测框的中心坐标的横坐标值；yi为检测框的中心坐标的纵坐标值；为真值检测框的中心坐标的横坐标值；为真值检测框的中心坐标的纵坐标值；∑为求和函数；i为锚点序号；j为检测框序号；wi为检测框的宽；为真值检测框的宽；hi为检测框的高；为真值检测框的高；locloss2为标注的检测结果的定位误差损失；利用公式，计算当前次迭代的卷积神经网络的分类误差损失，其中，clsloss1为目标类别误差；Ci为当前次迭代的卷积神经网络所对应的预测标签；为真值标签；clsloss2为背景类别误差；为第i个锚点对应的第j个检测框是否有对应目标；利用公式，计算当前次迭代的卷积神经网络的检测结果相对于样本标签的置信度损失，其中，confloss为目标类别误差；c为所检测的目标车辆的类别序号；class为所检测的目标车辆的类别数量；Pi(c)为第i个锚点中第c类的预测置信度；为第i个锚点中第c类的真值置信度；利用公式，Loss＝λcoord*(Locloss1+Locloss2)+clsloss1+λnoobj*clsloss2+confloss，计算当前次迭代的卷积神经网络的综合加权损失，其中，Loss为当前次迭代的卷积神经网络的综合加权损失；λcoord为定位误差损失的权重；λnoobj为非目标分类误差损失的权重；直至所述卷积神经网络收敛，其中，所述卷积神经网络收敛为所述卷积神经网络的综合加权损失小于第一预设阈值，或者所述卷积神经网络的迭代次数达到预设次数。3.根据权利要求2所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述目标车辆为非机动车时，所述方法还包括：在所述安全区域内出现非机动车和/或行人时，发出提醒，或者，在所述安全区域内出现非机动车和/或行人时，且非机动车和/或行人的轨迹变化幅度达到第二预设阈值时，发出提醒。4.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述步骤2)，包括：根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理，得到第一样本矩阵集以及第二样本矩阵集，利用高斯算法获取第一样本矩阵集对应的第一标签矩阵，以及第二样本矩阵集对应的第二标签矩阵，其中，所述切片为当前帧图像中包含有目标车辆的图像区域；根据所述第一样本矩阵、第二样本矩阵、第一标签矩阵以及第二标签矩阵利用脊回归算法进行训练得到第一位移权重矩阵和第一尺度变化矩阵，并使用所述第一位移权重矩阵和尺度变化矩阵检测当前帧的下一帧中对应于所述切片的区域内的目标位置和尺度信息；根据预设的学习率，利用公式，对所述第一位移权重矩阵和第一尺度变化矩阵进行更新，得到第二位移权重矩阵以及第二尺度变化矩阵，其中，w1”为第二位移权重矩阵；w'2'为第二尺度变化矩阵；γ为学习率；w1'为第一位移权重矩阵；w'2为第一尺度变化矩阵；w1为第一位移权重矩阵；w2为第一尺度变化矩阵；根据第二位移权重矩阵以及更新后的第二尺度变化矩阵，获取输出的特征矩阵中最大响应值，并判断所述最大响应值是否大于第三预设阈值；若是，将所述当前帧的下一帧作为当前帧，并持续检测所述目标车辆；若否，将所述当前帧的下一帧作为当前帧，并返回执行所述根据所获取的视频图像中的当前帧图像所包含的目标车辆的位置信息，将目标车辆的切片进行循环位移处理的步骤。5.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述步骤3)，包括：将当前车辆的中心线两侧第一设定距离，以及当前车辆前方第二设定距离所形成的区域作为当前车辆前方的安全区域。6.根据权利要求1所述的一种基于视觉感知技术的车辆感知方法，其特征在于，所述方法还包括：获取当前帧图像中目标车辆的位置，以及当前帧的下一帧图像中目标车辆的位置；通过摄像机标定后求得的内外参数矩阵，将目标车辆在当前帧图像以及当前帧图像的下一帧图像中的位置映射到世界...

【专利技术属性】
技术研发人员：孔斌，赵富强，杨静，王灿，
申请(专利权)人：中国科学院合肥物质科学研究院，
类型：发明
国别省市：安徽,34