一种机器人识别道路交通执法行为并提供规范化辅助的方法技术

本发明专利技术公开了一种机器人识别道路交通执法行为并提供规范化辅助的方法，本发明专利技术将垂直领域（道路交通执法）与人工智能的算法相结合，使人工智能算法产生应用层价值；灵活应用算法知识与实际应用场景的结合，对交警执法场景进行建模，充分发挥专家知识的作用；辅助交警执法，将交警执法场景规范化建模，减少交警执法的变化性，充分体现规范性和统一性，降低交警执法难度，本发明专利技术主要是对交通执法场景和深度学习相结合，充分发挥专家知识的作用，建立垂直领域的神经网络，并通过优化现有技术，得到了交通执法领域更业、精准性更高的深度学习模型，解决执法场景规范化辅助的问题。

A Robot Method for Recognizing Road Traffic Law Enforcement Behavior and Providing Standardized Assistance

【技术实现步骤摘要】
一种机器人识别道路交通执法行为并提供规范化辅助的方法
本专利技术涉及交警执法与信息处理
，具体是一种机器人识别道路交通执法行为并提供规范化辅助的方法。
技术介绍
目前，对于视频的获取来说，一般情况下，获取视频数据的主流方案是环境感知技术，它是通过传感器、摄像头、激光雷达等传感器来获取环境信息，经由传感器的数据融合、物体监测和分类等步骤，完成视频数据的采集。对于视频语义分割，目前大多数先进的视频语义分割模型均采用backbone（特征网络）加上contextmodeling（上下文模块）的结构组成，特征网络是一个层次比较深的classification（分类）网络，比如常见的resnet（一种神经网络）等，特征网络层用于获取图像中数量更多、质量更好的特征表示，然后通过上下文模块，为图像的特征之间建立关系，从而获得整个图像的场景信息。因此，现有技术具有以下缺点，一是抗噪能力低，实验室进行的实验和生成的模型是在严格受限的环境下采集的数据，比如单纯的实验室环境，人造数据获取环境等，为了保证实验效果，这种数据一般都是背景简单、个体单一而且没有较大遮挡的材料。然而在实际应用和生活场景中，视频信息个体差异性大，尺寸各异，视频分辨率层次不齐，拍摄角度不一样，在不采用领域细分、不借助人工设定分类范围的情况下，上述数据问题会大大提升算法型分类难度，最终导致算法模型的可应用性降低、应用效果较差。二是，图像数据仍有不足，目前应用广泛的数据集大都是基于通用领域建立的，通用领域数据集追求广泛度的特点决定了它在某一个细分领域下的图像数据欠缺丰富性。近年来，学术界与工业界在不断积累细分领域数据集，如李飞飞团队做出的VisualGenome，以及专注人脸识别领域的WIDERFACE。这些数据集各有所长，但也存在一些问题，如样本类别不均衡等。以李飞飞团队做的ImageNet为例，IamgeNet问世许久，至今仍然具有权威性和丰富性，但其1500万图像数据对应了2万多个分类，只有在“人”的分类下数据相对丰富，针对交警执法场景下细分领域的数据几乎空白。三是，没有针对场景进行深挖，目前的视频语义分割技术应用策略仍然是“以广度识别为主、深度解析为辅”，主要应用于视频语义化提取，包括软广告投放、图像语义提取等广泛的领域和场景识别，缺乏对垂直领域、固定范围的场景进行深度的场景建模和场景的深度分析。四是，没有将技术与道路交通专家知识的结合，已有的道路交通领域与人工智能技术的结合基本应用于车辆类型识别、车辆颜色识别、无牌车监测等方面，没有跳出物体识别、物体分类的基础范围，没有将道路交通违法场景进行建模分析，将图像识别与执法场景模型进行关联，自动化检测执法场景，辅助执法规范流程，预警执法风险。究其原因，一是，因为针对广泛领域进行视频数据采集和识别，分类时需要考虑的分类的多样性与复杂性，以及场景的相似性，增加了数据的噪音和复杂程度。二是因为，对道路交通领域的数据采集主要来自道路摄像头等，角度比较单一，且分辨率难以保证，对于数据只进行简单的主体识别和场景判断。三是因为，没有道路交通领域的专家知识作为支撑，无法对交警执法场景进行建模分析，没有辅助交警规范化执法的思想理念。因此，本专利技术提供了一种机器人识别道路交通执法行为并提供规范化辅助的方法，以解决上述
技术介绍
中提出的问题。
技术实现思路
本专利技术的目的在于提供一种机器人识别道路交通执法行为并提供规范化辅助的方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种机器人识别道路交通执法行为并提供规范化辅助的方法，其特征在于，其包括以下步骤：（1）视频数据获取：通过传感器、摄像头或激光雷达中的一种或者几种来获取环境信息，将环境信息、场景信息通过视频、语音的方式获取，并通过视频、语音语义化转化成文本数据，对多个数据源的文本化数据进行融合，获取初步的道路交通视频信息，完成数据的获取输入；（2）视频处理：运用双重镜头边缘检测方法对视频进行处理；（3）关键帧抽取：基于步骤（2）中视频处理的初筛的结果，进行关键帧抽取；（4）视频摘要：基于AlexNet网络结构，对其进行定向改进，即在AlexNet网络结构的第八个全连接层后，基于交通执法场景分类情况，将图片分类进一步精确细分到100个分类下，以便于提高下一步场景识别的精确度和缩小分类范围，提高准确率；（5）执法场景匹配：进行执法场景建模，通过视频摘要信息与执法场景进行匹配，确定视频信息所属的执法场景，并动态的循环分析视频信息；（6）执法规范提示：通过将执法视频信息作为输入量，进入执法场景模型进行分析和预测，分析交警执法现场的规范性，执法场景模型设定具体场景的执法规范流程，对交警进行执法辅助。作为本专利技术进一步的方案，在所述步骤（2）的视频处理中，双重镜头边缘检测方法是检测视频中发生镜头切换的帧，将类似的帧进行抽样保留，具体方法是首先读取并解码一个视频窗口，将视频窗口平分成两个子窗口，计算每个子窗口首尾两帧之间的差异性——差异性衡量包括色调、饱和度、亮度、像素相似性条件，如果相似度低于60%，则认为视频场景发生变化，初步认为此时锁定的帧为关键帧。作为本专利技术进一步的方案，在所述步骤（3）中，对关键帧抽取采用基于帧间差的方法，首先通过读取视频，以及计算每两帧之间的帧间差分，计算出平均帧间差分强度，然后对所有帧按照平均帧间差分强度进行排序，选取平均帧间差分强度大于0.4的10%-20%的图片作为关键帧。作为本专利技术进一步的方案，在所述步骤（5）中，执法场景建模采用卷积神经网络模型，为了保证数据在经过Relu方法的激励层过后，依然保持正态分布的状态，手动对激励层的输出数据进行修正，采用下面的公式手动修正：X(k)代表激励过后的输出；E[X(k)]代表输出X(k)的期望；Var[X(k)]代表输出X(k)的方差；通过视频摘要信息与执法场景进行匹配，确定视频信息所属的执法场景，并动态的循环分析视频信息。与现有技术相比，本专利技术的有益效果是：本专利技术针对上述现有技术存在缺陷，本专利技术在与道路交通领域专家知识结合基础上，优化镜头分割与关键帧提取算法，细分场景、角色与流程建模，实现机器人对交警执法行为的理解。本专利技术在视频数据获取以及视频处理方面，本专利技术旨在优化现有环境感知技术与镜头边缘检测技术，以确保交警执法视频分割的精确性与稳定性；视频语义分析方面，本专利技术通过构建道路交通领域专家知识库，引入专家知识辅助交通执法场景细分类，优化交警执法角色、行为以及流程的识别算法；提升垂直领域实用性方面，本专利技术在对视频的场景、角色、行为、流程等法律要素进行精准识别后，训练机器人理解交通执法法律法规的语义，并以此推理交警执法规范性程度，达到执法规范化辅助的效果。附图说明图1为一种机器人识别道路交通执法行为并提供规范化辅助的方法的流程结构示意图；图2为一种机器人识别道路交通执法行为并提供规范化辅助的方法中的AlexNet网络结构结构示意图；图3为一种机器人识别道路交通执法行为并提供规范化辅助的方法中的AlexNet网络结构中进行平滑处理结构示意图；图4为一种机器人识别道路交通执法行为并提供规范化辅助的方法中的经过优化的神经网络基本机构、参数、内存消耗结构示意图；图5为一种机器人识别道路交本文档来自技高网...

【技术保护点】
1.一种机器人识别道路交通执法行为并提供规范化辅助的方法，其特征在于，其包括以下步骤：（1）视频数据获取：通过传感器、摄像头或激光雷达中的一种或者几种来获取环境信息，将环境信息、场景信息通过视频、语音的方式获取，并通过视频、语音语义化转化成文本数据，对多个数据源的文本化数据进行融合，获取初步的道路交通视频信息，完成数据的获取输入；（2）视频处理：运用双重镜头边缘检测方法对视频进行处理；（3）关键帧抽取：基于步骤（2）中视频处理的初筛的结果，进行关键帧抽取；（4）视频摘要：基于AlexNet网络结构，对其进行定向改进，即在AlexNet网络结构的第八个全连接层后，基于交通执法场景分类情况，将图片分类进一步精确细分到100个分类下，以便于提高下一步场景识别的精确度和缩小分类范围，提高准确率；（5）执法场景匹配：进行执法场景建模，通过视频摘要信息与执法场景进行匹配，确定视频信息所属的执法场景，并动态的循环分析视频信息；（6）执法规范提示：通过将执法视频信息作为输入量，进入执法场景模型进行分析和预测，分析交警执法现场的规范性，执法场景模型设定具体场景的执法规范流程，对交警进行执法辅助。

【技术特征摘要】
1.一种机器人识别道路交通执法行为并提供规范化辅助的方法，其特征在于，其包括以下步骤：（1）视频数据获取：通过传感器、摄像头或激光雷达中的一种或者几种来获取环境信息，将环境信息、场景信息通过视频、语音的方式获取，并通过视频、语音语义化转化成文本数据，对多个数据源的文本化数据进行融合，获取初步的道路交通视频信息，完成数据的获取输入；（2）视频处理：运用双重镜头边缘检测方法对视频进行处理；（3）关键帧抽取：基于步骤（2）中视频处理的初筛的结果，进行关键帧抽取；（4）视频摘要：基于AlexNet网络结构，对其进行定向改进，即在AlexNet网络结构的第八个全连接层后，基于交通执法场景分类情况，将图片分类进一步精确细分到100个分类下，以便于提高下一步场景识别的精确度和缩小分类范围，提高准确率；（5）执法场景匹配：进行执法场景建模，通过视频摘要信息与执法场景进行匹配，确定视频信息所属的执法场景，并动态的循环分析视频信息；（6）执法规范提示：通过将执法视频信息作为输入量，进入执法场景模型进行分析和预测，分析交警执法现场的规范性，执法场景模型设定具体场景的执法规范流程，对交警进行执法辅助。2.根据权利要求1所述的一种机器人识别道路交通执法行为并提供规范化辅助的方法，其特征在于，在所述步骤（2）的视频处理...

【专利技术属性】
技术研发人员：刘昌鑫，王毅，杜向阳，吕森凤，穆乐，
申请(专利权)人：南京擎盾信息科技有限公司，
类型：发明
国别省市：江苏,32