本申请涉及一种非机动车违规驾驶行为检测方法方法、装置、嵌入式设备、存储介质和计算机程序产品。该方法包括：定义非机动车违规检测的目标类型，基于所述目标类型制作违规检测数据集；搭建网络结构，基于所述违规检测数据集采用知识蒸馏算法训练所述网络，得到轻量化模型；获取视频数据，对视频数据划定感兴趣区域和检测区域；对检测区域的检测目标通过轻量化模型进行检测，得到驾驶行为检测结果；基于驾驶行为检测结果，进行驾驶行为判别；若判别结果为存在违规行为，则保存违规类型，截取违规图像。采用本方法能够有效的平衡了精度和速度的关系，降低了对设备算力的消耗，减少了违规行为的误判和漏判，并方便部署在嵌入式设备应用。应用。应用。
【技术实现步骤摘要】
非机动车违规驾驶行为检测方法、装置和嵌入式设备
[0001]本申请涉及人工智能
，特别是涉及一种非机动车违规驾驶行为检测方法、装置、嵌入式设备、存储介质和计算机程序产品。
技术介绍
[0002]随着城镇化的快速发展和城市人口增加，机动车和非机动车数量增长迅速，行驶安全问题得到了更多的关注和研究。相较于机动车，非机动车具有车身小、保护设备不足和限制措施少等特点，容易发生事故且造成重大损失。在未佩戴头盔和违规载人的场景中，非机动车更有可能造成人员伤亡。
[0003]近年来，智慧城市和人工智能产业得到飞速发展，相对应的硬件和算法也得到大量完善，推进了对机动车和非机动车的检测方面的研究，如检测算法中的yolo系列算法、知识蒸馏算法中的FGD算法。其中，针对机动车的闯红灯、超速和超载等行为检测，有效的减少了违规行为的发生和维护了驾驶员的行驶安全。为此，对非机动车驾驶员未戴头盔、违规载人和逆行等行为进行检测，也将有效的提升非机动车道的通畅程度和非机动车驾驶员的安全度。
[0004]已有大量方法应用于非机动车违规行为检测，主要可分为一阶段和两阶段两部分。一阶段的以检测为主，检测到相应目标根据逻辑规则进行判断，具有快速高效的优势。两阶段的以“检测+追踪”为主，先对目标进行检测，再追踪目标的运动轨迹，进而判断目标的行为是否违规，具有防止目标错乱的优点。由于检测目标的数据集少、小目标检测难度大和选用的嵌入式设备算力有限，现有的方法难以取得好的检测效果，容易造成误判和漏判，而且，现有方法需要算力高的嵌入式设备，成本高难以得到推广和落地应用。
技术实现思路
[0005]基于此，有必要针对上述技术问题，提供一种能够提升违规行为检测的精度和速度且降低算力的非机动车违规驾驶行为检测方法、装置、嵌入式设备、计算机可读存储介质和计算机程序产品。
[0006]第一方面，本申请提供了一种非机动车违规驾驶行为检测方法。该方法包括：
[0007]步骤A：定义非机动车违规检测的目标类型，基于目标类型制作违规检测数据集；
[0008]步骤B：搭建网络结构，基于违规检测数据集采用知识蒸馏算法训练网络，得到轻量化模型；
[0009]步骤C：获取视频数据，对视频数据划定感兴趣区域和检测区域；
[0010]步骤D：对检测区域的检测目标通过轻量化模型进行检测，得到驾驶行为检测结果；
[0011]步骤E：基于驾驶行为检测结果，进行驾驶行为判别；
[0012]步骤F：若判别结果为存在违规行为，则保存违规类型，截取违规图像；若判别结果为无违规行为，则返回步骤D继续处理。
[0013]在其中一个实施例中，步骤B：搭建网络结构，基于违规检测数据集进采用知识蒸馏算法训练网络，得到轻量化模型，包括：
[0014]步骤B1：对违规检测数据集的图像通道和尺寸进行预处理；
[0015]步骤B2：搭建训练模型使用的特征提取模块、特征融合和检测信息输出模块；
[0016]步骤B3：基于违规检测数据集训练教师模型；
[0017]步骤B4：基于教师模型和违规检测数据集训练轻量化模型。
[0018]在其中一个实施例中，步骤B4：基于教师模型和违规检测数据集训练轻量化模型，包括：
[0019]步骤B41：输入违规检测数据集进行训练，得到教师模型和轻量化模型的每一轮的特征融合前和融合后的第一学生特征、第二学生特征、第三学生特征、第一教师特征、第二教师特征、第三教师特征和轻量化模型的损失值；
[0020]步骤B42：将教师模型和轻量化模型的第一学生特征、第二学生特征、第三学生特征、第一教师特征、第二教师特征、第三教师特征输入知识蒸馏优化网络，得到第一损失、第二损失和第三损失；
[0021]步骤B43：获取训练损失，将所述训练损失进行传递迭代；训练损失为第一损失、第二损失、第三损失和模型自身损失的和；
[0022]步骤B44：判断是否收敛或达到最大训练次数，当收敛或达到最大训练次数时，保存轻量化模型；否则，返回步骤B41继续进行训练。
[0023]在其中一个实施例中，步骤C：获取视频数据，对视频数据划定感兴趣区域和检测区域，包括：
[0024]步骤C1：对轻量化模型进行格式转化和量化，并部署入嵌入式设备；
[0025]步骤C2：启动嵌入式设备，获取视频数据；
[0026]步骤C3：根据非机动车车道特点划定感兴趣区域，在感兴趣区域进行目标检测；
[0027]步骤C4：在感兴趣区域内，划定检测区域；检测区域用于驾驶行为的判别。
[0028]在其中一个实施例中，步骤E：基于驾驶行为检测结果，进行驾驶行为判别，包括：根据非机动车的特点，将未配戴头盔和违规载人进行同时判断：
[0029]当检测目标经过检测区域时，识别检测目标；
[0030]当识别出的检测目标中存在非机动车时，截取此时的视频帧，获得截取图像，将截取图像作为二次检测的模型输入；
[0031]对截取图像进行预处理和二次识别，得到处理后图像；
[0032]在二次检测中，对处理后图像进行连续三次检测，若发现连续三次检测中的检测目标中有两次存在人和头盔时，对人和头盔的数量进行比较；
[0033]根据比较结果对驾驶行为进行判别。
[0034]在其中一个实施例中，步骤E：基于驾驶行为检测结果，进行驾驶行为判别，还包括：判断非机动车逆行行为：
[0035]当在检测区域检测到的检测目标中存在非机动车时，对非机动车进行跟踪；
[0036]根据跟踪的结果判断非机动车的移动方向，与设置检测区域方向一致即为顺行，与设置检测区域方向相反即为逆行。
[0037]第二方面，本申请还提供了一种非机动车违规驾驶行为检测装置。该装置包括：
[0038]数据获取模块，用于定义非机动车违规检测的目标类型，基于目标类型制作违规检测数据集；
[0039]模型构建模块，用于搭建网络结构，基于所述违规检测数据集采用知识蒸馏算法训练所述网络，得到轻量化模型；
[0040]视频处理模块，用于获取视频数据，对视频数据划定感兴趣区域和检测区域；
[0041]检测模块，用于对检测区域的检测目标通过轻量化模型进行检测，得到驾驶行为检测结果；
[0042]判定模块，用于基于驾驶行为检测结果，进行驾驶行为判别；
[0043]处理模块，若判别结果为存在违规行为，则保存违规类型，截取违规图像；若判别结果为无违规行为，则返回检测模块继续处理。
[0044]第三方面，本申请还提供了一种嵌入式设备。所述嵌入式设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0045]步骤A：定义非机动车违规检测的目标类型，基于目标类型制作违规检测数据集；
[0046]步骤B：搭建网络结构，基于违规检测数据集采用知识蒸馏算法训练所述网络，得到轻量化模型；
[00本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种非机动车违规驾驶行为检测方法，其特征在于，所述方法包括：步骤A：定义非机动车违规检测的目标类型，基于所述目标类型制作违规检测数据集；步骤B：搭建网络结构，基于所述违规检测数据集采用知识蒸馏算法训练所述网络，得到轻量化模型；步骤C：获取视频数据，对所述视频数据划定感兴趣区域和检测区域；步骤D：对所述检测区域的检测目标通过轻量化模型进行检测，得到驾驶行为检测结果；步骤E：基于所述驾驶行为检测结果，进行驾驶行为判别；步骤F：若判别结果为存在违规行为，则保存违规类型，截取违规图像；若判别结果为无违规行为，则返回步骤D继续处理。2.根据权利要求1所述的方法，其特征在于，所述步骤B：搭建网络结构，基于所述违规检测数据集采用知识蒸馏算法训练所述网络，得到轻量化模型，包括：步骤B1：对所述违规检测数据集的图像通道和尺寸进行预处理；步骤B2：搭建训练模型使用的特征提取模块、特征融合和检测信息输出模块；步骤B3：基于所述违规检测数据集训练教师模型；步骤B4：基于所述教师模型和所述违规检测数据集训练轻量化模型。3.根据权利要求2所述的方法，其特征在于，所述步骤B4：基于所述教师模型和所述违规检测数据集训练轻量化模型，包括：步骤B41：输入违规检测数据集进行训练，得到教师模型和轻量化模型的每一轮的特征融合前和融合后的第一学生特征、第二学生特征、第三学生特征、第一教师特征、第二教师特征、第三教师特征和轻量化模型的损失值；步骤B42：将所述教师模型和轻量化模型的第一学生特征、第二学生特征、第三学生特征、第一教师特征、第二教师特征、第三教师特征输入知识蒸馏优化网络，得到第一损失、第二损失和第三损失；步骤B43：获取训练损失，将所述训练损失进行传递迭代；所述训练损失为所述第一损失、第二损失、第三损失和模型自身损失的和；步骤B44：判断是否收敛或达到最大训练次数，当收敛或达到最大训练次数时，保存轻量化模型；否则，返回步骤B41继续进行训练。4.根据权利要求1所述的方法，其特征在于，所述步骤C：获取视频数据，对所述视频数据划定感兴趣区域和检测区域，包括：步骤C1：对所述轻量化模型进行格式转化和量化，并部署入嵌入式设备；步骤C2：启动所述嵌入式设备，获取视频数据；步骤C3：根据非机动车车道特点划定感兴趣区域，在所述感兴趣区域进...
【专利技术属性】
技术研发人员：李征，付本刚，
申请(专利权)人：江苏航天大为科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。