多角度相机协同重要性排名约束的辅助驾驶方法技术

本发明专利技术属于辅助驾驶技术领域，尤其涉及一种多角度相机协同重要性排名约束的辅助驾驶方法，通过多角度相机拍摄的视频内容，充分利用物体级关系约束，输出物体级重要性排名，能够将周围环境中存在的人、车辆等进行重要性排名，从而依据重要性程度排名的提醒驾驶员注意，实现辅助驾驶的智能化，不仅能够实现单一车辆的驾驶辅助，同时能够实现智能化监控，而且本发明专利技术提出的重要性排名技术能用于智慧工厂中安全生产，针对智慧工厂中重要的事件提醒工人注意。工人注意。工人注意。

【技术实现步骤摘要】
多角度相机协同重要性排名约束的辅助驾驶方法


[0001]本专利技术属于辅助驾驶
，尤其涉及一种多角度相机协同重要性排名约束的辅助驾驶方法。

技术介绍

[0002]目前，车辆智能化正在进入快速发展的新阶段，自动化驾驶技术正在快速发展，但是，自动化驾驶仍然存在诸多问题，首当其冲的是目前自动驾驶技术还处于不成熟的阶段，尤其是正在运行阶段的车辆，主要集中于辅助驾驶阶段，即使是采用最新的自动驾驶系统，在驾驶过程中仍然需要人为的从中进行干预才能实现安全驾驶，并不能实现真正意义上的完全自动驾驶。与此同时，目前的自动驾驶系统并没有形成行业规范，没有相应的法律作为支撑。
[0003]随着深度学习的快速发展，深度学习逐步在传统行业的诸多方面实现智能化的应用，因其能够极大的提升智能化水平逐步得到了大范围的应用。如果在驾驶辅助系统中引入深度学习技术将非常有助于驾驶员驾驶车辆过程中安全行驶，然而，驾驶辅助系统往往基于摄像头显示，并没有完全的将车辆的摄像头充分利用，同时，摄像头之间往往是独立的个体，并没有实现摄像头之间的协同学习，在驾驶员驾驶过程中存在的事物本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，具体过程为：（1）构建视频数据集：收集车辆行驶过程中产生的道路监控视频数据，并挑选质量比较高的视频数据构建视屏数据集，并采用框标注的方式将每个物体标注类别；（2）多角度相机协同约束特征提取：将不同相机的视频数据输入特征提取网络对物体进行多角度相机协同约束特征提取，得到物体的多尺度特征信息；（3）多角度相机协同约束物体检测：将步骤（2）得到的多尺度特征输入运动信息感知模块，运动信息感知模块感知到运动信息后，将运动信息转化为物体检测特征，采用相机间像素级关系约束计算相似度的基础上，引入图关系建模，通过引入的图关系将相似性约束以邻接矩阵的方式记忆下来，从而保证相机间相似性约束能够在其内部循环约束；（4）基于位置信息的特征编码：在步骤（3）得到的特征中通过添加位置信息的方式将准确的定位信息引入到特征维度，得到基于位置信息编码的像素级关系约束；（5）基于物体级特征关系建模：将相邻帧间物体级约束关系进行建模，通过对比当前物体在不同帧之间的差异将当前物体加权，得到物体级帧间关系约束；（6）基于图关系迭代的多角度物体级排名：在步骤（5）的基础上引入基于类别信息约束的物体间特征约束，通过计算物体之间的特征之间的相似度，判定当前物体与周围物体之间的关系；（7）多角度相机协同重要性排名结果输出：采用将物体间类别关系约束与当前多尺度特征相结合的方式将当前物体级重要性排名结果输出；（8）网络训练：先将车辆行驶过程中的多角度拍摄的视频转化为单帧信息，整个数据集包含100段车辆行驶过程中的视频段，网络训练时，先将车辆行驶过程中的物体检测出来，然后将检测的结果映射为物体级特征信息，并结合类别信息输出最终的物体级重要性排名，训练完成后将精度最高的模型输出到本地文件；（9）网络测试：在网络的测试阶段，先将多角度拍摄的视频裁剪为图片后输入网络中，再加载网络精度最高的模型，并初始化网络参数，输出重要性排名结果，实现多角度相机协同重要性排名约束的辅助驾驶。2.根据权利要求1所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（1）所述质量比较高的判定标准为：场景中存在多种类型的事物且场景变化大场景中的车辆和行人处于不断变化过程中。3.根据权利要求2所述多角度相机协同重要性排名约束的辅助驾驶方法，其特征在于，步骤（2）提取特征的过程为：步骤（2）提取特...

【专利技术属性】
技术研发人员：刘寒松，王永，王国强，刘瑞，董玉超，李贤超，
申请(专利权)人：松立控股集团股份有限公司，
类型：发明
国别省市：