一种基于神经网络算法的碰撞时间计算系统和方法技术方案

本发明专利技术公开了一种基于神经网络算法的碰撞时间计算系统，涉及自动机器人的视觉避障领域，包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块和输出模块依次通信连接，神经网络训练模块从图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供基于神经网络计算碰撞时间模块使用。本发明专利技术利用单目相机的视频序列，预测稠密的碰撞时间，提高了算法的适用性。

A collision time calculation system and method based on neural network algorithm

【技术实现步骤摘要】
一种基于神经网络算法的碰撞时间计算系统和方法
本专利技术涉及自动机器人的视觉避障领域，尤其涉及一种基于神经网络算法的碰撞时间计算系统和方法。
技术介绍
随着多旋翼无人机市场的飞速增长，相关的技术也在发生日新月异的变革，在多旋翼无人机的技术诸多趋势中，避障能力是实现自动化和智能化的关键环节，完善的自主避障系统能够在很大程度上减少因操作失误造成的无人机损坏和伤及人身和障碍物的事故发生率，进而，完善的避障技术也将成为高端旋翼无人机中的标配系统。当前基于碰撞时间的避障的方法中，大多用于汽车领域中的辅助驾驶，例如前车预警，但是前车预警只关注当前主目标的碰撞时间信息，碰撞时间是稀疏的，而且只用来进行预警提醒。在现有多旋翼视觉避障研究和专利中，主要还是通过双目视觉算法或者深度传感器获取距离障碍物的绝对距离信息进行的，当然也有利用光流信息进行避障的，但是具有以下缺陷：1)采用绝对深度的方式，如果使用深度相机，则容易受光照和场景的限制，而且目前深度相机的探测距离有限，不适合无人机快速运动的条件，整体来看，成本高，抗干扰能力较差；2)使用双目相机，算法的复杂度较高，双目相机标定困难，且距离估计的误差随距离变大而成指数级增长；3)使用光流的方法，光流对光照比较敏感，对于动态场景、光照变化、纯旋转以及遮挡问题，光流目前没有通用的较好的处理方法，同时光流容易造成误匹配，对后续的算法带来一定的困难。因此，针对当前已经存在的多旋翼无人机视觉避障系统存在的成本高、算法复杂且稳定性较差的问题，本领域的技术人员致力于开发一种基于神经网络算法的碰撞时间计算系统和方法。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何利用单目相机的视频序列，预测稠密的碰撞时间，提高算法的适用性。为实现上述目的，本专利技术提供了一种基于神经网络算法的碰撞时间计算系统和方法。在本专利技术的较佳实施方式中，基于神经网络算法的碰撞时间计算系统包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，所述摄像头获取视频序列模块、所述图像预处理模块、所述基于神经网络计算碰撞时间模块、所述稠密碰撞时间处理模块和所述输出模块依次通信连接，所述神经网络训练模块从所述图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。可选地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述摄像头获取视频序列模块获取当前的图像序列，包括采集图像，输出连续的图像序列以及每帧图像对应的时间戳信息。可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述摄像头获取视频序列模块使用的传感器为普通单目相机。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述普通单目相机帧率满足30帧以上、FOV满足90以上。可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述图像预处理模块对图像序列进行预处理，格式满足神经网络的输入要求。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述图像预处理模块将前后两帧图像打包为一个单元，同时记录前后两帧的时间差，输出为时间上连续的图像单元包，同时包含对应的时间差。可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述基于神经网络计算碰撞时间模块预测并输出稠密碰撞时间。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述基于神经网络计算碰撞时间模块包括基础网络卷积模块和基础网络反卷积模块。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述基础网络卷积模块包括Net-S卷积部分和Net-C卷积部分。可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述稠密碰撞时间处理模块对稠密碰撞时间进行归一化处理，消除传感器自身带来的时间误差，同时对稠密碰撞时间进行局部区域建图，方便后续避障算法的展开。可选地，在上述任一实施例中的基于神经网络算法的碰撞时间计算系统中，所述神经网络训练模块对网络模型进行离线训练。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，所述神经网络训练模块采用训练的方法为仿真虚拟场景的预训练与基础模块训练相结合的方式进行。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算系统中，对于基础网络(Net-C网络和Net-S网络)结构，利用仿真场景进行预训练，基础网络模型收敛之后，用真实的数据对整体网络结构进行再训练，最终输出为收敛的完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。在本专利技术的另一较佳实施方式中，使用上述基于神经网络算法的碰撞时间计算系统，进行碰撞时间计算方法包括如下步骤：S1、网络模型的训练；S2、网络的正常运行。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S1包括：S11、训练数据的准备；S12、训练数据的预处理和数据增强；S13、基础网络的训练；S14、整体网络的再训练。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S11包括仿真数据制作以及真实数据集的采集，所述仿真数据分为动态场景和静态场景两种，所述动态场景的计算公式为：其中TTC为碰撞时间，D1为第一时刻图片中障碍物的距离，D2为第二时刻图片中同一个障碍物的距离，R1和R2分别为第一时刻、第二时刻相机相对于世界坐标系的旋转矩阵；所述静态场景的计算公式为：其中TTC为碰撞时间，D1为第一时刻图片中障碍物的距离，D2为第二时刻图片中同一个障碍物的距离。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S12，所述训练数据的预处理包括对所述仿真数据的碰撞时间(TTC)真值归一化处理，公式为：其中TTCp为碰撞时间(TTC)真值做归一化处理的数值，分子部分是对所述碰撞时间的范围进行限制，减小奇异值对模型的影响，分母部分是前后两帧的时间差，用来做时间的归一化，减少不同相机传感器对于模型的影响；所述数据增强扩充数据集，增强模型的泛华能力，所述数据增强包括随机调节图像的亮度、饱和度、对比度、色相，此时碰撞时间的真值保持不变。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S13，所述基础网络的训练为利用仿真数据集对两个基本的网络(Net-C网络和Net-S网络)结构进行训练，训练的策略采用递进式，第一阶段采用较高的学习率进行训练，当模型收敛速度较低时，采用较低的学习率进行再训练，模型收敛后，继续降低学习率训练，直到模型损失函数在合理的范围内终止训练。进一步地，在上述实施例中的基于神经网络算法的碰撞时间计算方法中，上述步骤S14，所述整体网络的再训练，当每一个基础网络(Net-C网络和Net-S网本文档来自技高网...

【技术保护点】
1.一种基于神经网络算法的碰撞时间计算系统，其特征在于，包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，所述摄像头获取视频序列模块、所述图像预处理模块、所述基于神经网络计算碰撞时间模块、所述稠密碰撞时间处理模块和所述输出模块依次通信连接，所述神经网络训练模块从所述图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。/n

【技术特征摘要】
1.一种基于神经网络算法的碰撞时间计算系统，其特征在于，包括摄像头获取视频序列模块、图像预处理模块、基于神经网络计算碰撞时间模块、稠密碰撞时间处理模块、输出模块、神经网络训练模块，所述摄像头获取视频序列模块、所述图像预处理模块、所述基于神经网络计算碰撞时间模块、所述稠密碰撞时间处理模块和所述输出模块依次通信连接，所述神经网络训练模块从所述图像预处理模块获取信息进行离线训练，输出收敛和完整的网络结构模型，供所述基于神经网络计算碰撞时间模块使用。


2.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述摄像头获取视频序列模块获取当前的图像序列，包括采集图像，输出连续的图像序列以及每帧图像对应的时间戳信息。


3.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述图像预处理模块对图像序列进行预处理，格式满足神经网络的输入要求。


4.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述基于神经网络计算碰撞时间模块预测并输出稠密碰撞时间。


5.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述稠密碰撞时间处理模块对稠密碰撞时间进行归一化处理，消除传感器自身带来的时间误差，同时对稠密碰撞时间进行局部区域建图。


6.如权利要求1所述的基于神经网络算法的碰撞时间计算系统，其特征在于，所述神经网...

【专利技术属性】
技术研发人员：邹丹平，杨兴隆，裴凌，郁文贤，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31