基于机器视觉的轨道交通站台门与列车间异物监测装置制造方法及图纸

本发明专利技术为基于机器视觉的轨道交通站台门与列车间异物监测装置，该装置采集轨道交通站台门与列车之间可见光图像、红外光图像及深度图像，整合成立体空间三维图像，可覆盖拍摄视角内所有目标，通过对立体空间图像数据分析后，可识别图像中事件，包括轨行区是否有异物，列车是否在站，列车编制数，站台门与列车门的开关状态，站台滑动门门缝、列车门门缝，列车与站台门间是否有异物入侵，异物大小、种类和异物是否影响行车安全等主要事件，驱动异物报警安全继电器，并实时传输监测结果和现场实时图像。可实现区域内无死角、全区域检测，不受车型、间隙空间大小、震动和环境照度影响，适用于地下、地面和地上站台环境，适用于无人驾驶环境。

Machine Vision-based Foreign Object Monitoring Device between Rail Transit Platform Door and Train

The invention is a foreign body monitoring device between rail transit platform doors and trains based on machine vision. The device collects visible light image, infrared light image and depth image between rail transit platform doors and trains, integrates three-dimensional image of volume space, and can cover all targets in shooting perspective. After analyzing the three-dimensional space image data, events in the image, including rail travel, can be recognized. Whether there are foreign bodies in the area, whether the train is at the station, the number of trains, the switch status of platform doors and train doors, the sliding door seams of platform doors and train door seams, whether there are foreign body intrusion between the train and platform doors, whether the size, type and foreign body affect the traffic safety and other major events, drive foreign body alarm safety relay, and real-time transmission of monitoring results and real-time image on the spot. It can realize no dead angle and whole area detection in the area. It is not affected by vehicle type, clearance space size, vibration and environmental illumination. It is suitable for underground, ground and ground platform environment, and for unmanned driving environment.

【技术实现步骤摘要】
基于机器视觉的轨道交通站台门与列车间异物监测装置
本专利技术属于轨道交通安全保障领域，涉及一种基于机器视觉的轨道交通站台门与列车间异物监测装置。
技术介绍
目前地铁、轻轨、动车和高铁等轨道交通已普遍或开始设置站台门，然而站台门与列车之间的间隙(风险空间)常会发生一些影响安全的事件，已造成多起死人事件和重大延误。风险空间是指列车在站台停靠期间，站台门与列车之间为前后面、站台踏板所在平面与列车车门顶部所在平面为下上面的立体区域。异物是指站台门与列车门关好后，列车离站之前，风险空间新增的影响地铁设施、乘客安全和列车正常运营的人体部位或物品。风险空间发生的异物事件包括在站台门与列车之间的站台踏板上、防踏空胶条上和防踏空胶条与列车之间空隙上的间隙异物，站台滑动门门缝和列车门门缝所夹的异物，以及站台固定门与列车之间的间隙异物。因而异物检测装置需检测列车是否在站；建立每一趟列车进站停稳未开门时风险空间中的图像(即背景模型)、判断站台滑动门与列车门开关状态及门缝位置；以及站台滑动门与列车门关好后，在列车离站之前时刻，与背景模型比较，判断风险空间是否新增人体部位或物品等异物；测量异物三维尺寸，评估异物对行车与乘客危害程度，给出是否可发车信号和异物存在位置。为了确保行车安全，地铁设计规范(GB50157-2003)中要求各设备设计和安装不能超出限界要求。关闭后的地铁直线站台门与关闭后的列车门之间存在可能190mm的间隙，曲线站台门可能存在270mm间隙，而且每个站台滑动门位置的间隙不同，即使同一个站台因运行车型不同间隙也有较大差别；如果是动车或高铁的站台门，站台门与列车间隙将达到60cm～100cm左右。该风险空间足以容纳危害乘客、各种危害或不影响行车安全的物体，如常见有乘客、雨伞、钱包、手机、水瓶、塑料袋和纸屑等。按《站台屏蔽门系统技术规范》和地铁列车塞拉门设计技术规范，当滑动站台门所夹异物尺寸<5mm*40mm(厚*高)，或地铁列车塞拉门的门缝所夹异物尺寸<25mm*60mm(厚*高)时，站台门与列车门的安全系统将不会报警，认为站台滑动门与列车门已关好，因而常会出现人体手指、头发和衣角、背包带、塑料袋等异物体悬挂在列车门门缝或站台滑动门门缝上，这些异物可能会影响行车安全和乘客安全，也可能不影响。此外，由于地铁发车频率高、发车间隔短(最短90s)、在站时间短(25s～40s)、车门多(六编组30门，八编组40门)、上下客流量大，异物发生位置的随机性，因此风险空间异物事件的发生概率及司机无法发现的概率都大大增加，同时因异物位置确认和处理时间而造成的列车延误也大大增加。目前异物自动检测技术主要有设有3～6个光轴的红外光幕、2～3光轴的激光光幕两种，也有人工瞭望灯带+红外光幕、激光光幕方式。但现有技术受震动、灰尘、环境照度和气流干扰影响较大，存在着检测盲区大、漏检率高、误报率高和检测时间长等缺陷，只能检测人和大异物，无法判断异物是否对行车安全产生影响，又无现场视频图像存档，无法事后追责，且增加了列车在站时间。现有异物检测技术无法满足地铁市场运营和未来地铁自动驾驶需求。目前针对地铁站台门与列车之间异物检测成果有CN108089202A(于2018年5月29日公开)、CN108001461A(于2018年5月8日公开)，采用单层激光扫描光幕的测量方式，因没有机械旋转部分，可靠性相对较高；通过激光发射模块发射的线形光斑投射在站台门与列车之间的中心线上，激光检测模块检测反射线形光斑，计算出线形光斑在限界区的各反射点与激光发射模块的距离，比较实时距离与预设距离的差值大小判断是否有异物。但此检测方式的检测区间仅为一个面，盲区很大，也存在激光测量的普遍缺陷，例如因探测物(如表面比较光滑的列车门、站台门、不锈钢踏板)的折射率和反射率极低(如黑色等吸光物体)而漏检物体。专利技术专利申请CN106864463A(于2017年6月20日公开)，采用安装在站台门与列车之间混凝土顶梁下部的四层激光扫描光幕(即四层激光扫描传感器，层与层之间的角度为2°)进行异物检测，能有效检测落在四层角度为0°、2°、4°和6°扫描面上的异物，可较精确获得落在扫描面上的障碍物形状大小以及位置信息，因激光透性过强，可以有效避免外界光照的干扰，但因站台门与列车门存在大面积的玻璃，也存在激光透过玻璃导致目标误判的缺点和激光测量的普遍缺陷，例如因探测物(如表面比较光滑的列车门、站台门、不锈钢踏板)的折射率和反射率极低(如黑色等吸光物体)而漏检物体。同时，在安装高度2.4m位置，在站台门踏板处层与层的间距为84mm，第一层与第四层间距为250mm，检测范围是固定的，不能扫描到站台门与列车门之间所有可能存在异物的位置，只能检测较大异物，检测盲区较大，也不能视频确认异物种类和判定异物是否会影响行车安全。专利技术专利CN108520243A(于2018年9月11日公开)，采用站台门与列车车门之间不存在任何障碍物的情况下对站台门与列车车门之间提前拍摄的整幅彩色图像(基准图像)与待分析整幅彩色图像匹配的方式确定是否有异物。其中彩色图像分解成CMYK颜色空间的C、M、Y三通道数据，对整幅图像各通道成分进行独立分析，可提高准确性。但因站台门与列车门存在大面积的玻璃，站台侧和轨道侧照度差异较大，二维彩色图像易受到站台门与列车门玻璃、站台门外和列车车厢内人的多少和排布位置等环境照度改变和阴影影响而产生误报问题，且站台门关闭后风险空间照度低，颜色通道信息量少，整幅图像比较容易淹没小异物检测。专利申请CN104777521A(于2015年7月15日公开)、CN108001460A(于2018年5月8日公开)，采用双目视觉(双可见光摄像头)进行列车车门与站台门之间异物检测，虽能获得检测区域中的物体距离信息，能提高检测精度和可靠性，但仍不能解决二维彩色图img(x,y)易受环境照度和阴影影响而误报率较大的问题。将RGB图像和单层激光扫描光幕融合的复合异物检测方法(CN104777522A，于2015年7月15日公开)，通过拍摄区风险空间二维彩色图img(x,y)和扫描到风险空间一个面的一维距离信息Dis(x)，与标准图像(无异物时风险空间)的ImgB(x,y)和一维距离信息DisB(x)进行绝对值(色彩分布差异和一个面上距离差)比较，采用通用的多项式展开形式作为判断函数，当门限大于设定值就判为异物。该方法实际融合了激光扫描平面的彩色图像信息与激光扫描的距离信息，能大大提高落在激光扫描面上的异物检测精度，如人等大异物，但对非落在扫描面的异物检测精度和减少误报率没有任何改善，也存在激光测量的普遍缺陷，仍存在二维彩色图img(x,y)易受到站台门与列车门玻璃，站台门外和列车车厢内人的多少和排布位置等环境照度改变和阴影影响而产生误报问题，整幅图像比较容易淹没小异物检测。为解决二维彩色图img(x,y)易受环境照度影响而误报率较大问题，专利技术专利CN104049281A(于2014年9月17日公开)在站台门与列车之间站台踏板高度位置设置与周围环境色彩对比鲜明的条带状物品，通过设置在站台门之上站台门与列车之间上方的摄像头拍摄条状物的完整性判断有无异物，误报率极低，能有效检测人和较大异物，也能把每个风本文档来自技高网...

【技术保护点】
1.基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，包括：视觉传感器(1)：视觉传感器包括主动成像的红外深度图像传感器，红外深度图像传感器获得深度图像D(x，y)和红外视频图像IR(x，y)；图像处理单元(2)：具有多核处理器和存储单元，用于对视觉传感器(1)获取的图像进行存储、处理与识别，得出判断结果；控制与输入输出单元(3)：分别与视觉传感器(1)、图像处理单元(2)连接，协调它们之间的工作，并与上位机进行双向通信；所述视觉传感器(1)安装在站台每个滑动门与列车门之间的上方，用于在列车站停靠期间采集对应站台滑动门区域图像、列车门区域图像和站台滑动门与列车门之间的间隙图像，以及列车不在站时采集与站台相接轨行区的图像；所述视觉传感器(1)还安装在站台固定门或应急门与列车之间的上方，用于在列车站停靠期间采集站台固定门或应急门与列车之间的间隙图像，以及列车不在站时采集与站台相接轨行区部分的图像信息；所述视觉传感器(1)采集的D(x，y)和IR(x，y)图像经图像处理单元(2)预处理与校正整合成三维图像IRD(x，y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法得出以下判断结果：比较列车不在站时与列车在站时关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车在站时关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车进站停稳且列车门、站台滑动门未过开时与列车门、站台滑动门开门后关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门又关门后关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时轨行区关键构造物区域无异物背景模型与列车不在站时轨行区关键构造物区域图像的差异，判断轨行区是否有新增异物与人。...

【技术特征摘要】
1.基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，包括：视觉传感器(1)：视觉传感器包括主动成像的红外深度图像传感器，红外深度图像传感器获得深度图像D(x，y)和红外视频图像IR(x，y)；图像处理单元(2)：具有多核处理器和存储单元，用于对视觉传感器(1)获取的图像进行存储、处理与识别，得出判断结果；控制与输入输出单元(3)：分别与视觉传感器(1)、图像处理单元(2)连接，协调它们之间的工作，并与上位机进行双向通信；所述视觉传感器(1)安装在站台每个滑动门与列车门之间的上方，用于在列车站停靠期间采集对应站台滑动门区域图像、列车门区域图像和站台滑动门与列车门之间的间隙图像，以及列车不在站时采集与站台相接轨行区的图像；所述视觉传感器(1)还安装在站台固定门或应急门与列车之间的上方，用于在列车站停靠期间采集站台固定门或应急门与列车之间的间隙图像，以及列车不在站时采集与站台相接轨行区部分的图像信息；所述视觉传感器(1)采集的D(x，y)和IR(x，y)图像经图像处理单元(2)预处理与校正整合成三维图像IRD(x，y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法得出以下判断结果：比较列车不在站时与列车在站时关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车在站时关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车进站停稳且列车门、站台滑动门未过开时与列车门、站台滑动门开门后关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门又关门后关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时轨行区关键构造物区域无异物背景模型与列车不在站时轨行区关键构造物区域图像的差异，判断轨行区是否有新增异物与人。2.根据权利要求1所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，所述视觉传感器(1)还包括被动成像的视频图像传感器，视频图像传感器采集经周围环境光反射或外加光源反射成像的视频图像RGB(x，y)；所述视觉传感器(1)采集到的D(x，y)、IR(x，y)和RGB(x，y)图像，经图像处理单元(2)预处理与配准校正整合成三维图像RGBIRD(x，y)，在此基础上进行图像中的关键构造物区域的图像分割，采用多源图像融合的方法得出以下判断结果：比较列车不在站时与列车在站时关键构造物区域图像的差异，判断列车是否进站、在站、出站、列车编组数和停靠站台位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车在站时关键构造物区域图像的差异，判断列车的车门和站台滑动门的开关状态及其门扇间的位置；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门后关键构造物区域图像的差异，判断站台滑动门和列车门之间有无人与新增物，还判断站台固定门、应急门与列车之间有无人与异物；比较列车进站停稳且列车门、站台滑动门未开过时与列车门、站台滑动门开门又关门后关键构造物区域的图像差异，判断站台滑动门和列车门之间有无异物和人，还判断站台固定门、应急门与列车之间有无人与异物；比较列车不在站时轨行区关键构造物区域无异物背景模型与列车不在站时轨行区关键构造物区域图像的差异，判断轨行区是否有新增异物与人。3.根据权利要求1或2所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，所述红外深度图像传感器为基于结构光的深度图像传感器、基于飞行时间的深度图像传感器或多层激光扫描传感器，视角H方向大于50°、V方向视角大于30°，采样频率大于10帧/s；基于飞行时间的深度图像传感器用在地面站台或高架站台时，抗环境光干扰大于10klx；多层激光扫描传感器的扫描线与线之间的夹角为0.18°、0.36°、0.5°或1°，最大扫描角度为96°、180°、270°或360°；扫描层数为4层、8层、16层、32层、64层或128层，扫描层与层之间角度为0.5°、1°、2°、3°或3.5°，扫描频率大于10帧/s。4.根据权利要求2所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，采用同一场景的二维图像RGB(x，y)、深度图像D(x，y)和红外图像IR(x，y)，选取图像不变性关联特征和构造物几何特性，对特征点进行相似度量，找到匹配的特征点对；以D(x，y)或RGB(x，y)图像为基准图像，通过匹配的特征点对图像的坐标变换参数，并进行因所述视觉传感器(1)安装位置造成的图像几何失真进行校正，获得x方向平行站台门平面、y方向为垂直站台平面的一个坐标体系的三维图像RGBIRD(x，y)；基于RGBIRD(x，y)图像，采用多源图像融合的方式进行区域分割，获取站台滑动门区关键构造物图像RGBIRDPSD(x，y)、列车门区关键构造物图像RGBIRDRLA(x，y)、站台滑动门与列车门之间间隙关键构造物图像RGBIRDGAP(x，y)、站台固定门或应急门与列车之间间隙关键构造物图像RGBIRDFIXGAP(x，y)；列车不在站时检测出轨行区无异物，由此时站台门与轨行区之间的边缘图像RGBIRDRLA1O(x，y)和轨道图像RGBIRDRLA2O(x，y)组成下趟列车不在站时的轨行区关键构造物区无异物背景模型RGBIRDRLAO(x，y)；列车进站停稳且站台滑动门与列车门未开过时，由站台滑动门扇边框图像RGBIRDPSD1If(x，y)和站台滑动门前端边梃内侧边与相邻门扇前端边梃的内侧边间的图像RGBIRDPSD2If(x，y)组成的站台滑动门区关键构造物图像RGBIRDPSDIf(x，y)，由列车车门门扇边框图像RGBIRDRLA1f(x，y)、门扇前端的护指胶条内侧边缘及相邻护指胶条内侧边缘间图像RGBIRDRLA2If(x，y)构成的列车门区关键构造物图像RGBIRDRLAIf(x，y)，站台滑动门与列车门之间的踏板图像RGBIRDGAP1If(x，y)、防踏空胶条图像RGBIRDGAP2If(x，y)和防踏空胶条与列车之间的空隙图像RGBIRDGAP3If(x，y)组成的间隙区关键构造物图像RGBIRDGAPIf(x，y)，为列车在站站台滑动门区域图像RGBIRDPSDIf(x，y)、列车门区域图像RGBIRDRLAIf(x，y)和站台滑动门与列车门间隙区域图像RGBIRDGAPIf(x，y)为无异物背景模型；当在站台固定门或应急门与列车之间安装了视觉传感器，列车进站停稳且站台滑动门与列车门未开过时，站台固定门或应急门与列车之间的踏板图像RGBIRDFIXGAP1If(x，y)和踏板与列车之间的空隙图像RGBIRDFIXGAP2If(x，y)组成的站台固定门或应急门与列车间的间隙区域图像RGBIRDFIXGAPIf(x，y)为无异物物背景模型。5.根据权利要求1所述基于机器视觉的轨道交通站台门与列车间异物监测装置，其特征在于，对深度图像D(x，y)和红外图像IR(x，y)进行因视觉传感器(1)安装位置造成的图像几何失真进行校正，获得到x方向平行站台门平面、y方向为垂直站台平面的一个三维图像IRD(x，y)；基于IRD(x，y)图像采用多源图像融合的方式进行区域分割，获取站台滑动门区关键构造物图像IRDPSD(x，y)、列车门区关键构造物图像IRDRLA(x，y)和站台门与列车之间间隙区关键构造物图像IRDGAP(x，y)；列车不在站检测出轨行区无异物，由此时站台滑动门与轨行区之间的边缘图像IRDRLA1O(x，y)和轨道图像IRDRLA2O(x，y)组成下趟列车不在站时的轨行区关键构造物区无异物背景模型IRDRLAO(x，y)；列车在站...

【专利技术属性】
技术研发人员：靳守杰，刘伟铭，李海玉，王玮，刘兰，李文轩，范贵慈，赖胜波，郑仲星，
申请(专利权)人：广州地铁集团有限公司，华南理工大学，
类型：发明
国别省市：广东,44