一种目标行为分类方法、存储介质及终端技术

本发明专利技术提供一种目标行为分类方法、存储介质以及终端。所述目标行为分类方法包括：获取多帧待识别图像，所述多帧待识别图像反映不同时刻的车道场景；根据所述多帧待识别图像，识别所述多帧待识别图像中的运动目标和车道线；获取所述运动目标的行为时间序列数据，所述行为时间序列数据包括按照所述多帧待识别图像对应的时刻顺序排列的多个相对位置关系；将所述行为时间序列数据输入预先训练好的目标行为分类模型，确定所述运动目标的行为预测结果，所述运动目标的行为预测结果包括从左侧闯入车道、从右侧闯入车道以及未闯入车道。从右侧闯入车道以及未闯入车道。从右侧闯入车道以及未闯入车道。

【技术实现步骤摘要】
一种目标行为分类方法、存储介质及终端


[0001]本专利技术涉及图像处理
，特别涉及一种目标行为分类方法、存储介质以及终端。

技术介绍

[0002]车道闯入行为预测问题的主要技术是动作识别，更准确地是高速远距场景下的动作识别。视频动作识别是指由一段连续的视频(即图像帧序列)，识别出视频中目标(主要指人)的动作。视频中包含两类特征：时间特征和空间特征，同时提取时空特征需要计算一帧之内和不同帧之间的像素的关系。
[0003]现有对车道闯入行为分类需要借助高精度导航数据以及地图信息，对网络质量、车载设备硬件、车载设备软件更新等都有较高的要求。
[0004]因此，需要一种新的对运动目标动作进行识别和分类的方法。

技术实现思路

[0005]本专利技术要解决的技术问题为：提出一种目标行为分类方法、存储介质以及终端，可以实现高速远距场景下运动目标的动作识别以及分类。
[0006]为解决上述问题，本专利技术实施例提供了一种目标行为分类方法，包括：获取多帧待识别图像，所述多帧待识别图像反映不同时刻的车道场景；根据所述多帧待识别图像，识别所述多帧待识别图像中的运动目标和车道线；获取所述运动目标的行为时间序列数据，所述行为时间序列数据包括按照所述多帧待识别图像对应的时刻顺序排列的多个相对位置关系；将所述行为时间序列数据输入预先训练好的目标行为分类模型，确定所述运动目标的行为预测结果，所述运动目标的行为预测结果包括从左侧闯入车道、从右侧闯入车道以及未闯入车道。
[0007]可选地，所述识别所述多帧待识别图像中的运动目标和车道线包括：将各帧待识别图像分别输入至训练好的运动目标检测模型和车道线检测模型，所述运动目标检测模型输出识别到的所述运动目标的像素坐标，所述车道线检测模型输出识别到的所述车道线的像素坐标。
[0008]可选地，所述运动目标以包络盒的像素坐标表示，所述车道线以其在待识别图像中像素的坐标表示。
[0009]可选地，所述获取所述运动目标的行为时间序列数据包括：将每帧待识别图像中识别得到的运动目标和当前车道线按照像素坐标映射在同一映射图像中，每帧待识别图像具有对应的映射图像；在每一映射图像中确定水平基准线，并确定所述运动目标在所述水平基准线上的第一像素坐标，以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标；根据每一映射图像中第一像素坐标、第二像素坐标和第三像素坐标，获得所述待识别图像中所述运动目标的行为时间序列数据。
[0010]可选地，所述运动目标与路面的接触线作为所述水平基准线。
[0011]可选地，所述获得所述待识别图像中所述运动目标的行为时间序列数据包括：根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的中心点在所述水平基准线上的第四像素坐标；计算每一映射图像中所述第一像素坐标与第四像素坐标的差值，以作为所述相对位置关系。
[0012]可选地，所述获得所述待识别图像中所述运动目标的行为时间序列数据包括：根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的宽度，以及所述车道线的中心点在所述水平基准线上的第四像素坐标；计算每一映射图像中所述第一像素坐标与第四像素坐标的差值，并利用所述车道线的宽度进行归一化，以作为所述相对位置关系。
[0013]可选地，所述在每一映射图像中确定水平基准线，并确定所述运动目标在所述水平基准线上的第一像素坐标，以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标之后包括：将各帧待识别图像对应的所述归一化后的所述相对位置关系及其所述运动目标的行为时间序列，进行卡尔曼滤波以获得空间平滑的行为时间序列。
[0014]可选地，所述目标行为分类模型为递归神经网络模型。
[0015]可选地，所述目标行为分类模型为两层的双向LSTM预测模型，所述两层的双向LSTM预测模型根据所述行为时间序列数据输出第一分类分数、第二分类分数以及第三分类分数，其中第一分类分数对应着被检测目标从左侧闯入车道的概率，第二分类分数对应着被检测目标从右侧闯入车道的概率，第三分类分数对应着被检测目标未闯入车道的概率；所述第一分类分数、第二分类分数以及第三分类分数中的最大值即为最终行为预测结果。
[0016]可选地，所述双向LSTM预测模型包括：两层的双向LSTM网络和一个全连接网络，所述两层的双向LSTM网络作为所述双向LSTM预测模型的输入端，用于输入行为时间序列前4阶的数据，所述两层的双向LSTM网络的最后一个神经元输出的数据作为所述全连接网络的输入数据。
[0017]可选地，所述全连接网络作为所述双向LSTM预测模型的输出端。
[0018]可选地，所述两层的双向LSTM网络的隐层个数为16，其输入数据大小为(K
×
1)，其输出数据大小为(32
×
K)；所述全连接网路的输入数据大小为(32
×
1)，输出数据为3个；其中K为20
‑
40之间的自然数。
[0019]本专利技术实施例还提供一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述方法的步骤。
[0020]本专利技术实施例还提供一种终端，包括存储器和处理器，所述存储器上存储有能够在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述方法的步骤。
[0021]与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：
[0022]本专利技术技术方案通过获取映射图像中运动目标与车道线在水平基准线上的相对位置关系，采用已经训练好的预测模型对车道闯入行为进行快速准确的预测，无需使用任何导航数据和高精地图信息，对车载设备、无线网络质量的要求低。
[0023]进一步地，采用递归神经网络预测模型基于所述行为时间序列对运动目标的行为进行分类，结合采用单目相机进行拍摄，即使在远距的场景下也能够捕获小目标的位置特征，解决了远距场景下难以捕获小目标动作的问题，且本专利技术技术方案成本低，准确度高。
[0024]进一步地，利用所述车道线的宽度对所述相对位置关系进行归一化处理，准确描述了运动轨迹，解决了高速造成图像抖动的问题。
附图说明
[0025]图1是本专利技术实施例提供的一种目标行为分类方法的流程示意图；
[0026]图2是本专利技术实施例提供的一种获取所述运动目标的行为时间序列数据方法的流程示意图；
[0027]图3是本专利技术实施例一种具体应用场景的示意图；
[0028]图4是本专利技术实施例根据图3所示应用场景获得的车道线和运动目标的像素值曲线示意图；
[0029]图5是图2所示S303的一种具体实施方式的流程示意图；
[0030]图6是本专利技术实施例一种所述第一像素坐标第二像素坐标第二像素坐标随时间变化的相对位置关系示意图；
[0031]图7是本专利技术实施例归一化后所述第一像素坐标第二像素坐标第二像素坐标随时间变化的相对位置关系的具体示意图；以及
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标行为分类方法，其特征在于，包括：获取多帧待识别图像，所述多帧待识别图像反映不同时刻的车道场景；根据所述多帧待识别图像，识别所述多帧待识别图像中的运动目标和车道线；获取所述运动目标的行为时间序列数据，所述行为时间序列数据包括按照所述多帧待识别图像对应的时刻顺序排列的多个相对位置关系；将所述行为时间序列数据输入预先训练好的目标行为分类模型，确定所述运动目标的行为预测结果，所述运动目标的行为预测结果包括从左侧闯入车道、从右侧闯入车道以及未闯入车道。2.根据权利要求1所述的目标行为分类方法，其特征在于，所述识别所述多帧待识别图像中的运动目标和车道线包括：将各帧待识别图像分别输入至训练好的运动目标检测模型和车道线检测模型，所述运动目标检测模型输出识别到的所述运动目标的像素坐标，所述车道线检测模型输出识别到的所述车道线的像素坐标。3.根据权利要求2所述的目标行为分类方法，其特征在于，所述运动目标以包络盒的像素坐标表示，所述车道线以其在待识别图像中像素的坐标表示。4.如权利要求2所述的目标行为分类方法，其特征在于，所述获取所述运动目标的行为时间序列数据包括：将每帧待识别图像中识别得到的运动目标和当前车道线按照像素坐标映射在同一映射图像中，每帧待识别图像具有对应的映射图像；在每一映射图像中确定水平基准线，并确定所述运动目标在所述水平基准线上的第一像素坐标，以及所述车道线的两条线在所述水平基准线上的第二像素坐标和第三像素坐标；根据每一映射图像中第一像素坐标、第二像素坐标和第三像素坐标，获得所述待识别图像中所述运动目标的行为时间序列数据。5.根据权利要求4所述的目标行为分类方法，其特征在于，所述运动目标与路面的接触线作为所述水平基准线。6.根据权利要求4所述的目标行为分类方法，其特征在于，所述获得所述待识别图像中所述运动目标的行为时间序列数据包括：根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的中心点在所述水平基准线上的第四像素坐标；计算每一映射图像中所述第一像素坐标与第四像素坐标的差值，以作为所述相对位置关系。7.根据权利要求4所述的目标行为分类方法，其特征在于，所述获得所述待识别图像中所述运动目标的行为时间序列数据包括：根据每一映射图像中所述第二像素坐标和所述第三像素坐标确定所述车道线的宽度，以及所述车道线的中心点在所述水平基准线上的第四像素坐标；计算每一映射图像中所述第一像素坐标与第四像素坐标的差值，并利...

【专利技术属性】
技术研发人员：邓志东，张睿文，鹿红超，
申请(专利权)人：清华大学，
类型：发明
国别省市：