【技术实现步骤摘要】
一种基于多模态数据的船舶驾驶行为预测方法及系统
本专利技术涉及深度学习技术及智能船舶驾驶领域，具体涉及一种基于多模态数据的船舶驾驶行为预测方法及系统。
技术介绍
传统的由环境数据、船舶状态到驾驶行为的映射模型，主要是基于历史累计数据所学习的专家知识库，建立起来的基于环境状态和实时状态，到控制决策的基于状态的驾驶模型，如图1所示。这类辅助决策模型需要基于环境数据和船舶数据，首先提取环境状态和船舶的状态，然后再根据模型或经验，建立各种状态下的合理驾驶控制方法，复杂且不易实现。
技术实现思路
本专利技术的目的在于克服上述技术缺陷，提出了一种基于多模态数据的船舶驾驶行为预测方法，该方法建立了智能船舶在各个状态下，所可能采取的驾驶行为，即船舶的感知状态到可行驾驶行为的预测模型，从而指导在船舶出现各种实时状态情况下，做出可行的驾驶行为预测。为实现上述目的，本专利技术提出了一种基于多模态数据的船舶驾驶行为预测方法，所述方法包括：实时采集智能船舶的多模态数据，包括：图像数据、3D点云数据以及船舶感知的数据...
【技术保护点】
1.一种基于多模态数据的船舶驾驶行为预测方法，所述方法包括：/n实时采集智能船舶的多模态数据，所述多模态数据包括：图像数据、3D点云数据以及船舶感知的数据；/n将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。/n
【技术特征摘要】
1.一种基于多模态数据的船舶驾驶行为预测方法，所述方法包括：
实时采集智能船舶的多模态数据，所述多模态数据包括：图像数据、3D点云数据以及船舶感知的数据；
将多模态数据输入预先训练好的自主驾驶模型，输出预测的驾驶行为。
2.根据权利要求1所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述方法还包括：综合分析驾驶行为的步骤：
基于环境实时感知数据和船舶自身状态的感知数据，获取驾驶行为的状态，包括驾驶的平滑性，是否暴力驾驶或者是否疲劳驾驶。
3.根据权利要求1或2所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述自主驾驶模型采用CNN和LSTM组合的深度神经网络模型，其输入为图像数据、3D点云数据以及船舶感知的数据；输出为预测的驾驶行为；所述船舶感知的数据包括速度、加速度、角速度、天气、水文和船舶姿态；所述驾驶行为包括：转向动作、加速动作和减速动作。
4.根据权利要求3所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述方法还包括：对自主驾驶模型进行训练的步骤，具体包括：
建立包括智能船舶的多模态数据和驾驶行为的训练数据集；
将训练数据集中的图像数据与3D点云数据作为CNN的输入数据；将船舶感知的数据作为LSTM的输入数据；用驾驶行为的加速度和转角信息作为输出层的训练数据；
采用反向传播的方法训练CNN和LSTM深度神经网络，建立感知数据到决策之间的深度神经网络映射关系。
5.根据权利要求4所述的基于多模态大数据的船舶驾驶行为预测方法，其特征在于，所述建立包括智能船舶的多模态数据和驾驶行为的训练数据集，具体包括：
智能船舶在航行过程中，通过船载传感器记录船舶遇到的各种环境和船舶状态数据；同时通过船舶驾驶记录仪，记录出现上述环境和船舶状态时，有经验的驾驶人员所做的各种驾驶行为；由此获取包括智能船舶的多模态数据和驾驶行为的训练数据集；所述船载传感器包括：激光雷达、摄像头、GPS、航速、加速度和陀螺仪惯性传感器，以及风速和温度环境传感器。
6.一种基于多模态...
【专利技术属性】
技术研发人员：张宝晨，史世武，张鹭，耿雄飞，文捷，
申请(专利权)人：交通运输部水运科学研究所，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。