【技术实现步骤摘要】
本专利技术涉及计算机图像领域，具体来说涉及一种基于deep-sort的非机动车违规占道识别跟踪方法与装置。
技术介绍
1、在我国，随着经济高速发展，车辆拥有量一直保持高速增长的势头。但是相应的，交通事故发生的频率一直居高不下。在种种交通事故中，涉及非机动车的交通事故数量多，发生频率高，且根据上海警方发布的报告显示，涉及非机动车交通事故超过六成都需要非机动车车主付主要责任或同等责任。可见，数量庞大的非机动车和其车主素质良莠不齐，经常仗着非机动车的灵活机动频繁违反交通法，这是造成相关交通事故频发的重要原因。
2、非机动车以自行车、电瓶车、摩托车等为主，它们机动灵活、操纵方便，不需要像机动车那样在城市中寻找停车位，仅在路边便可以做短暂停留。因为上述种种优点，非机动车是短途出行的极佳选择，在生活中收到普罗大众的欢迎，因而在中国保有量非常巨大，闹市街区随处可见。但随之而来的是，非机动车用户遵守交通法规的意识非常淡薄，违规占道、逆行等行为很常见，为了应对这样的情况，有限的警力不可能在各个路口盘查，无法有效惩罚此类交通违规行为，致使人民群众遭受重大生命财产损失。
3、面对这样的情况，最好能够对违规占道的非机动车进行实时的识别与跟踪，并施加相应惩罚措施，以法律约束此类层出不穷的行为。但是非机动车常见于交通繁忙的道路上，不相干的干扰信息多，十分影响常规算法对非机动车的识别；同时非机动车行驶过程中常常被其他车辆行人遮挡，这会造成目标丢失的问题。专利号cn 110348332 b的专利改进了sort算法对机动车、非机动车和行人
技术实现思路
1、本专利技术的目的在于提供一种基于deep-sort的非机动车违规占道行驶的识别跟踪方法与装置，通过以改进的图像语义分割算法识别违规占道的非机动车作为识别器，然后采用deep-sort算法实时跟踪识别器输出的违规占道行驶的非机动车目标，解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：
2、一种基于deep-sort的非机动车违规占道行驶的识别跟踪方法，包括：
3、识别器部分和跟踪器部分，这两者具体工作流程如图2所示。下面依据图2和图3做详细说明。
4、s10：获取交通流视频数据，提取包含非机动车和车道的关键帧，标注所述关键帧中的非机动车和车道，将带标注的关键帧作为第一数据集的元素构建第一数据集；
5、具体的，获取公路主干道和十字路口的交通流视频，提取关键帧，用开源工具labelme分别标出非机动车和机动车道的识别框，形成第一数据集。
6、s20：对所述第一数据集做预处理，按照预定比例分割为训练数据集和测试数据集。
7、数据预处理包括水平翻转、亮度调整、添加随机噪声，按照7：3的比例分割数据集，训练数据集占据7成，测试数据集占据3成。
8、s30：训练识别器，以所述训练数据集训练改进的语义分割网络，以所述测试数据集验证识别器性能，调节参数使所述识别器在预定指标下达到最佳识别效果；
9、改进的语义分割网络为改进的bisenet语义分割网络，改进的模块有深度可分离空间路径模块和注意力特征提取模块。具体的，识别器网络结构如图3所示，原有的bisenet语义分割模型包含空间路径模块、上下文路径模块、特征融合模块，在本专利技术中空间路径模块被深度可分离空间路径模块替换，持此之外，深度可分离空间路径模块替换和上下文路径模块之前加装注意力特征提取模块。这两个模块的工作原理和组成如下所示：
10、深度可分离空间路径模块以深度可分离卷积改造原有的空间路径。
11、具体的，所述空间路径有三个标准卷积层，所述上下文路径有轻量级模型xception39和一个全局池化层组成，对所述bisenet语义分割网络的改进为用深度可分离卷积改造原有bisenet语义分割网络的空间路径，改造后的空间路径由一个标准卷积层和两层深度可分离卷积层再加上一层卷积核大小为1×1、步长也是1的卷积层组成
12、进一步的，深度可分离卷积将普通卷积化解为两个步骤，先后为逐通道卷积和逐点卷积。
13、注意力特征提取模块将cbam模块添加到所述bisenet语义分割网络中，在空间路径和上下文路径之前。注意力特征提取模块的具体结构也如图3所示，包含通道注意力模块和空间注意力模块，以通道注意力在前空间注意力在后的方式串联。这样的混合注意力模块能更全面地提取对识别非机动车更重要的信息，对于提升识别精度有正面效果。
14、具体的，所述混合注意力模块cbam包含一个通道注意力模块和一个空间注意力模块，所述通道注意力模块与所述空间注意力模块先后串联。
15、具体的，预定指标为参数量、检测速度、平均交并比、f1-score，在这些指标达到最优时，输出识别器参数。
16、s40：用所述识别器识别实时交通视频中非机动车信息和车道信息，根据预定的判别规则判断非机动车是否存在违规占道行为，输出违规占道非机动车的识别框数据，标记为bic-detk，k为状态标记，所述k为大于等于1的整数；
17、具体的，所述s40的判别规则根据具体违规行为而变化，所述具体违规行为包括占用机动车道、人行道、应急车道、专用车道，横穿马路，逆行。
18、具体的，可以根据非机动车识别框中心点在车道识别框中的运行轨迹判断非机动车是否横穿马路，是否逆行。
19、进一步的，bic-detk为识别框的数据，包括均值和协方差两部分，均值包括k为状态标记，k为大于1的整数，(α,β)是中心，γ和δ分别是宽度和高度，后四个分别是前四个参数的速度，协方差ρ为均值数据的协方差。这两组数据是deep-sort算法需要的数据，在这一步输出到跟踪器后，正式开始跟踪步骤。
20、s50：输入所述bic-detk-1到deep-sort算法，包括如下几个步骤：
21、s51：对所述bic-detk-1执行卡尔曼预测步骤并输出k状态的轨迹框bic-trak；
22、s52：对所述bic-detk和所述bic-trak做级联匹配，根据所述bic-trak和所述bic-detk的级联匹配结果执行下一个操作：当所述bic-trak匹配成功时，执行卡尔曼更新步骤；
23、s53：接收所述s52中匹配不成功的所述bic-trak和所述bic-detk执行iou匹配，根据匹配结果执行下一步操作：当所述bic-trak匹配成功时本文档来自技高网...
【技术保护点】
1.一种基于Deep-Sort的非机动车违规占道的识别跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述S20的数据预处理包括水平翻转、亮度调整、添加随机噪声，所述分割比例为7：3。
3.根据权利要求1所述的方法，其特征在于，所述S30语义分割网络采用复合BiSeNet网络模块，所述复合BiSeNet模块包括深度可分离空间路径模块、注意力特征提取模块；
4.根据权利要求1所述的方法，其特征在于，所述S30的预设指标为参数量、检测速度、平均交并比、F1-Score。
5.根据权利要求1所述的方法，其特征在于，所述S40的判别规则根据具体违规行为而变化，所述具体违规行为包括占用机动车道、人行道、应急车道、专用车道，横穿马路，逆行。
6.根据权利要求1所述的方法，其特征在于，所述S50中所述级联匹配需要加权计算马氏距离和余弦距离作为匈牙利算法的代价矩阵，所述IOU匹配根据交并比计算匈牙利算法所需的代价矩阵。
7.根据权利要求1所述的方法，其特征在于，所述S50级联匹配和IOU匹配根
8.一种基于Deep-Sort的非机动车违规占道的识别跟踪装置，采用如权利要求1-7的任一一项所述的方法，其特征在于，包括：
9.根据权利要求8提供的一种装置，其特征在于，所述识别器训练模块的预设指标为参数量、检测速度、平均交并比、F1-Score。
10.根据权利要求8提供的一种装置，其特征在于，所述跟踪器模块中所述级联匹配需要加权计算马氏距离和余弦距离作为匈牙利算法的代价矩阵，所述IOU匹配根据交并比计算匈牙利算法所需的代价矩阵。
...【技术特征摘要】
1.一种基于deep-sort的非机动车违规占道的识别跟踪方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述s20的数据预处理包括水平翻转、亮度调整、添加随机噪声，所述分割比例为7：3。
3.根据权利要求1所述的方法，其特征在于，所述s30语义分割网络采用复合bisenet网络模块，所述复合bisenet模块包括深度可分离空间路径模块、注意力特征提取模块；
4.根据权利要求1所述的方法，其特征在于，所述s30的预设指标为参数量、检测速度、平均交并比、f1-score。
5.根据权利要求1所述的方法，其特征在于，所述s40的判别规则根据具体违规行为而变化，所述具体违规行为包括占用机动车道、人行道、应急车道、专用车道，横穿马路，逆行。
6.根据权利要求1所述的方法，其特征在于，所述s50中所述级联匹配需要加权计算马氏距离和余弦距离作为匈牙利算法的代价矩阵，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。