一种铁路货车车厢号识别抓拍方法及系统技术方案

本发明专利技术公开了一种铁路货车车厢号识别抓拍方法及系统。解决现有技术操作复杂且准确度和置信度不高，以及容易出现的问题。本发明专利技术使用深度神经网络检测车厢号区域和数字区域，得到车厢号区域的位置信息、类别和置信度，以及数字区域的位置、类别和置信度；针对识别出的数字车牌号排列使用的基于置信度和欧式距离利用匈牙利算法的匹配方式进行。操作更加方便，准确度和置信度高，避免误识别的现象。

【技术实现步骤摘要】
一种铁路货车车厢号识别抓拍方法及系统
本专利技术涉及视频监控
，尤其是涉及一种铁路货车车厢号识别抓拍方法及系统。
技术介绍
货运铁路运输占据我国国内货运运输周转量的70％以上，因此铁路运输部门对货运列车车厢的装载内容和装载顺序有较强的监控需求。在铁路运输实践中，因为一些特殊原因，原本计划中的车厢可能装载了其他货物，或者出现少装、漏装的情况，给货运单位带来直接或者间接的经济损失。因此需要安排工人对货运列车的车厢号、装载货物情况进行人工核实记录。一般货运列车的整车长度约为800米至1000米，单次人工巡查工作耗时在半小时至一小时之间，巡查效率较低、工人的劳动强度较高，也容易出现人为记录失误，造成资源浪费。因此，使用设备自动识别火车车厢号并记录火车车厢上的货物可以较好解决上述问题。但是与传统的汽车车牌识别不同，火车车厢号是直接使用油漆在火车车厢外部进行喷涂书写的，车厢号区域不像汽车车牌区域有明显与环境不通的颜色。相反，车厢号区域与其他不含有字符的火车车皮具有相近的纹理特征，同时由于火车车厢外部有较多凹凸的金属结构，这进一步增加了车厢号区域纹理特征的复杂程度和检测识别难度。其次，由于货运火车往往装载了煤炭等容易无损车厢号标识的货物，再加上钢铁的锈蚀、油漆的脱落，字符检测和识别的难度相对于汽车车牌识别的难度也有明显的上升。再次火车车厢种类多，其上的车厢号的格式也有较多变化和差异，例如有的车厢号长度为七位，有的车厢号长度仅为三位。此外，火车车厢上还有其他字符包括载重量、自重、容积等信息，这些无效的字符信息都会对车厢号的识别产生较大干扰。最后，由于在抓拍的过程中车厢一般在持续移动，所以也要解决视频运动模糊造成的识别困难以及车厢号重复上报等时间域上的问题。现有技术中也包括识别列车车厢号的技术，技术如下：基于滑窗搜索的机动车号牌识别方法，包括步骤：1)对当前帧中出现在场景内的各车辆进行目标跟踪定位；2)对提取的单个待识别的车牌图像进行尺寸归一化处理与二值化处理，再根据先验信息确定车牌图像中各字符分割中心；3)用标准字符尺寸的窗口在各字符的分割中心以及分割中心左右滑窗搜索各m次得到滑窗识别结果；4)车牌中每个字符的滑窗识别结果并放入该位置字符对应投票池中，计算各字符投票池中识别结果比例最高且大于决策阈值的作为单个字符的最终识别结果。该方案中使用的边缘检测、形态学处理、投影差分等操作，且需要对字符进行分割，操作复杂且准确度和置信度不高。还有一种车牌识别方法及车牌识别设备，根据原始车牌分类器检测现场的无车场景，收集现场的静态负样本；将静态负样本添加到车牌识别设备的原始训练集中，得到第一训练集，根据第一训练集训练第一车牌分类器；根据第一车牌分类器检测现场的有车场景，收集现场的动态负样本，将动态负样本添加到第一训练集中，得到第二训练集，根据第二训练集训练第二车牌分类器，并根据第二车牌分类器进行车牌识别。这样，利用第二训练集训练的第二车牌分类器能够去除静态负样本和动态负样本，此时现场可能出现的绝大部分负样本都能够被第二车牌分类器拒绝，从而达到对车牌的精确识别，减少车牌识别设备的误检率。该专利技术使用数据训练Adaboost作为第一车牌分类器，并进一步训练了SVM分类器对分割出来的字符进行分类识别，针对识别出的字符内容排列车牌号主要是根据识别出字符的个数和单个字符的置信度进行考虑，容易出现误识别的问题。
技术实现思路
本专利技术主要是解决现有技术操作复杂且准确度和置信度不高，以及容易出现的问题，提供了一种铁路货车车厢号识别抓拍方法及系统。本专利技术的上述技术问题主要是通过下述技术方案得以解决的：一种铁路货车车厢号识别抓拍方法，包括以下步骤：S1.进行初始化和配置；S2.循环从监控数据流中抓取当前帧静态图片数据；S3.静态检测识别，对静态图片数据采用深度神经网络检测车厢号区域和数字区域，与标准车厢号模板进行匹配分析，获取当前车厢号的静态检测识别结果；运动状态判定，同时根据静态图片数据计算当前帧静态图片数据与紧前帧静态图片数据中特征点的平均偏移距离，进一步计算出列车运动方向和速度；对静态图像数据分别进行静态检测识别和运动方向判定。其中静态检测识别包括对静态图片数据进行深度神经网络模型CNN分析处理和空间位置匹配处理，采用深度神经网络模型CNN检测车厢号区域和数字区域得到静态图片数据内的车厢号区域类别号、车厢号区域位置、车厢号区域置信度、数字类别号、数字区域位置、数字置信度。具体的车厢号区域和数字类别号采用范围为1-Nclass，类别号1-9分别对应数字1-9，类别号10对应数字0，类别号11-Nclass对应不同车厢号区域格式即类型。检测车厢号区域位置和数字区域位置为矩形框，表示方式为(xi1，yi1，xi2，yi2)，其中(xi1，yi1)代表矩形框左上角顶点坐标，(xi2，yi2)代表矩形框右下角顶点坐标。车厢号区域置信度和数字区域置信度c取值范围[0.000，1.000]，数字越大表示检测结果越可信。运动方向判定包括采用LK光流计算方法，计算当前帧静态图片数据与紧前帧图片数据两个图像数据中特征点的偏移水平投影距离，再进一步计算出列车运动方向和速度。S4.连续序列分析，累计到设定数量静态检测识别结果后，对多个检测识别结果进行统计分析，获取车厢号各数字位上置信度最高的数字，生成连续序列分析结果；该步骤为连续序列分析步骤，由于进行智能分析时列出一直处于行进状态，获取的视频画面可能出现模糊情况，从而导致静态检测识别中得到的检测识别结果中含有无法判断的数字位，因此需要对连续多个静态检测识别结果进行统计分析。本步骤在连续序列分析模块中进行，在初始化过程中，连续序列分析模块会确定分析过中需要累计的静态检测识别结果的个数，在累计到设定个数后进行统计分析。S5.抓拍控制，根据列车运动方向和速度，以及获得的连续序列分析结果控制多个摄像机选取最佳抓拍时机进行抓拍，获取清楚的图片；通过设定冷却时间和延迟时间来判断抓拍时机。冷却时间可以避免由于连续序列分析模块出现个别数字位判断错误导致短时间内连续输出不同的分析结果。冷却时间根据运动速度和列车车厢长度计算而出，并根据每次分析过程中得到的运动速度动态调整冷却时间。延迟时间的设置可以避免当车厢号抓拍相机抓拍车厢号时，车厢整体可能尚未进入最佳拍摄位置的问题。在满足抓拍时机条件时向多个抓拍摄像机发送抓拍信号，得到列车顶部各个角度的抓拍图片。最终将车厢顶部抓拍图片、车厢号抓拍图片、车厢号信息、列车方向信息录入到数据库。根据得到的车厢号信息，运动速度信息控制其他摄像机选取最佳抓拍时机进行抓拍，保证整个车厢装载的内容和车厢号信息都能被清楚准确的抓拍到。S6.循环步骤S2-S5，直到获取列车所有车厢的车厢号和图片。在完成抓拍动作后，完成当前分析循环，即完成当前车厢的分析，等待下一个车厢到来，开始下一次分析循环，直到每一节车厢车厢号分析和车厢图片拍摄都完成，然后结束。本专利技术使用深度神经网络检测车厢号区域和数字区域，得到车厢号区域的位置信息、类别和置信度，以及数本文档来自技高网...

【技术保护点】
1.一种铁路货车车厢号识别抓拍方法，其特征在于：包括以下步骤：/nS1.进行初始化和配置；/nS2.循环从监控数据流中抓取当前帧静态图片数据；/nS3.静态检测识别，对静态图片数据采用深度神经网络检测车厢号区域和数字区域，与标准车厢号模板进行匹配分析，获取当前车厢号的静态检测识别结果；/n运动状态判定，同时根据静态图片数据计算当前帧静态图片数据与紧前帧静态图片数据中特征点的平均偏移距离，进一步计算出列车运动方向和速度；/nS4.连续序列分析，累计到设定数量静态检测识别结果后，对多个检测识别结果进行统计分析，获取车厢号各数字位上置信度最高的数字，生成连续序列分析结果；/nS5.抓拍控制，根据列车运动方向和速度，以及获得的连续序列分析结果控制多个摄像机选取最佳抓拍时机进行抓拍，获取清楚的图片；/nS6.循环步骤S2-S5，直到获取列车所有车厢的车厢号和图片。/n

【技术特征摘要】
1.一种铁路货车车厢号识别抓拍方法，其特征在于：包括以下步骤：
S1.进行初始化和配置；
S2.循环从监控数据流中抓取当前帧静态图片数据；
S3.静态检测识别，对静态图片数据采用深度神经网络检测车厢号区域和数字区域，与标准车厢号模板进行匹配分析，获取当前车厢号的静态检测识别结果；
运动状态判定，同时根据静态图片数据计算当前帧静态图片数据与紧前帧静态图片数据中特征点的平均偏移距离，进一步计算出列车运动方向和速度；
S4.连续序列分析，累计到设定数量静态检测识别结果后，对多个检测识别结果进行统计分析，获取车厢号各数字位上置信度最高的数字，生成连续序列分析结果；
S5.抓拍控制，根据列车运动方向和速度，以及获得的连续序列分析结果控制多个摄像机选取最佳抓拍时机进行抓拍，获取清楚的图片；
S6.循环步骤S2-S5，直到获取列车所有车厢的车厢号和图片。


2.根据权利要求1所述的一种铁路货车车厢号识别抓拍方法，其特征是初始化包括对静态检测识别、连续序列分析、运动状态判定、抓拍控制步骤进行初始化，
静态检测识别，加载深度神经网络模型、多种含有标准数字位置信息的类型的标准车厢号区域模板，确定第一阈值T1、第二阈值T2；
连续序列分析，初始化统计分析器，确定后续分析中需要累计的静态检测识别结果的个数、第三阈值T3；
运动状态判定，初始化视频帧序列、图片缓存区，确定第四阈值T4；
抓拍控制，初始化抓拍冷却时间、计时器、上一次抓拍信息参数；
配置包括配置画面中车厢号检测识别区域和视频画面中列车进站方向指示参数。


3.根据权利要求2所述的一种铁路货车车厢号识别抓拍方法，其特征是步骤S2的具体过程包括从监控数据流中抓取当前帧静态图片数据，从静态图片数据中截取车厢号检测识别区域图片，生成检测区域子图片，将检测区域子图片分别进行静态检测识别和运动状态判定。


4.根据权利要求2或3所述的一种铁路货车车厢号识别抓拍方法，其特征是步骤S3中静态检测识别的具体过程包括：
S301.接收传送来的图片，采用深度神经网络进行检测，获得图片内车厢号区域类别号、车厢号区域位置、车厢号区域置信度、数字类别号、数字区域位置、数字置信度；
S302.将根据深度神经网络得到的检测信息和标准车厢号区域模板进行匹配分析，得到个车厢号区域检测结果和个数字区域检测结果；
S303.判断是否为零，若是结束本步骤，返回步骤S2，若否进入下一步骤；
S304.对个车厢号区域中每个车厢号区域Li的置信度ci进行校准，其中校准后的车厢号区域置信度为



其中ai为车厢号区域长宽比，




为标准车厢号区域长宽比，且
判断是否大于第一阈值T1，若是将该车厢号区域Li加入到候选车厢号区域中；
S305.从候选车厢号区域中选取置信度最高的车厢号区域为最优车厢号区域Lm，其中m＝argmax(ci)；
S306.对检测到个数字区域中每一个数字区域Di,与最优车厢号区域Lm进行相交面积与两个区域中较小面积的比值计算，表达式如下，



其中为最优车厢号区域Lm面积，为数字区域Di面积，为两个区域相交面积；
判断是否等于1，若是则该数字区域Di完全包含在最优车厢号区域Lm中，将该数字区域Di加入至候选数字区域中；
S307.根据标准车厢号模板匹配计算当前车厢号数字个数计算每一对候选数字区域Di和标准数字区域的匹配分值wij，其中标准车厢号模板包括对应个数的标准数字区域j为标准数字区域个数，



其中，候选数字区域Di的坐标为(xi1,yi1,xi2,yi2)，标准数字区域的的坐标为(xj1,yj1,xj2,yj2)，根据最优车厢号区域Lm的坐标将数字区域Di的坐标转换成以最优车厢号区域为坐标系的参考坐标(xi1′,yi1′xi2′,yi2′)，转换方式为，












同理，获得标准数字区域的参考坐标(xj1′,yj1′xj2′,yj2′)，计算数字区域Di和标准数字区域的欧氏距离distij，



各匹配分值wij构成匹配分值矩阵，采用匈牙利算法计算得出每个标准数字区域的最佳匹配Wbest，最佳匹配Wbest设定为匹配分值w′ij，w′ij∈Wbest，对每个最佳匹配Wbest的匹配分值w′ij进行阈值判断，判断数字区域Di和标准数字区域的中点欧氏距离是否小于第二阈值T2，若是则该匹配分值w′ij为有效匹配分值，若否将该匹配分值w′ij置零；
S308.根据有效匹配分值得到标准数字区域对应的数字内容，根据非有效匹配分值则认为对应的标准数字区域暂时...

【专利技术属性】
技术研发人员：覃浩轩，王增锹，
申请(专利权)人：杭州智诺科技股份有限公司，
类型：发明
国别省市：浙江;33