基于双目视觉传感器的轨道机器人检测方法技术

基于双目视觉传感器的轨道机器人检测方法，本发明专利技术涉及轨道机器人检测方法。本发明专利技术的目的是为了解决现有隧道道路路程长，封闭性强，构造物多，通讯不便，一旦出现突发事故，将对巡检人员的人身安全造成极大的威胁的问题。基于双目视觉传感器的轨道机器人检测方法过程为：步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统；步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标。本发明专利技术用于双目视觉传感器的轨道机器人检测领域。

Detection method of orbit robot based on binocular vision sensor

The invention relates to a track robot detection method based on binocular vision sensor, and the invention relates to a detection method for a track robot. The aim of the present invention is to solve the problem that the existing tunnel road has long distance, strong sealing, many structures and inconvenient communication, and it will cause a great threat to the personal safety of the inspectors once there is a sudden accident. The detection method of track robot based on binocular vision sensor is: Step 1, take two infrared binocular vision sensors as the infrared binocular stereo vision system of the track robot; step two, establish an ideal image model of the binocular vision system based on the infrared binocular stereo vision system, according to the parallax and ideal imaging mode. The 3D spatial position coordinates of the digital image are obtained. The invention is applied to the field of orbit detection for binocular vision sensors.

【技术实现步骤摘要】
基于双目视觉传感器的轨道机器人检测方法
本专利技术涉及轨道机器人检测方法。
技术介绍
随着社会经济技术的发展，交通发展四通八达，越来越多的交通轨道涉及到了隧道。隧道的搭建是现代化大型城市交通发展的特色和发展方向，地铁，公路都是隧道化交通的实例。巡检是确保地下隧道安全稳定运行的主要手段。目前传统的交通隧道巡检方法主要依靠人工及少量环境监控器实现。但是由于隧道道路路程长，封闭性强，构造物多，通讯不便，一旦出现突发事故，将对巡检人员的人身安全造成极大的威胁。
技术实现思路
本专利技术的目的是为了解决现有隧道道路路程长，封闭性强，构造物多，通讯不便，一旦出现突发事故，将对巡检人员的人身安全造成极大的威胁的问题，而提出基于双目视觉传感器的轨道机器人检测方法。基于双目视觉传感器的轨道机器人检测方法具体过程为：步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；数字图像以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；红外传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。本专利技术的有益效果为：本专利技术使用机器人代替人类进行隧道巡检，相对于人工巡检而言，隧道机器人具有以下优势：本专利技术使用机器人可以全天候运行，不会出现疲劳；对恶劣环境的适应性更强；即使在巡检过程中发生危险，也无需担心人身伤害事故，不会对巡检人员的人身安全造成威胁；此外，通常人工巡检方式所能获得的所有信息，机器人皆可以在隧道内检测，通过通信方式反馈给控制站巡检人员获得。因此隧道机器人可以代替人工方式，成为一种有效的隧道施工，检修手段。本专利技术机器人能够准确的识别在隧道环境下的事故位置，在恶劣环境下进行定位，提高了人工寻找故障点的效率和安全性。并且可以自主对事故点进行处理，预防事故的蔓延。增加隧道监巡检系统的智能性与安全性，本专利技术采用通过基于双目视觉传感器的轨道机器人检测方法预计在典型应用场景中自主避障错误率低于5％，提高识别精度。附图说明图1为本专利技术双目视觉传感器的指示模型示意图；图2为本专利技术红外双目视觉传感器成像模型示意图。具体实施方式具体实施方式一：本实施方式的基于双目视觉传感器的轨道机器人检测方法具体过程为：步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；(对比两张针对相同物体不同角度的拍摄图像可以获得视差。不同角度是指双目处于不同角度，分别对相同物体进行拍摄。视差就是两张图片中不同的地方)；红外双目定位系统作为隧道检测定位机器人的识别系统，能够在隧道内出现异常情况时，及时发现异常情况发生位置，准确定位机器人的操作目标。利用双目立体定位算法准确获得机器人目标位置，将目标位置信息反馈给机器人，再对目标进行准确动作。红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；红外双目视觉传感器焦平面为焦距点所在的平面，过第一焦点(前焦点或物方焦点)且垂直于系统主光轴的平面称第一焦平面，又称前焦面或物方焦面。数字图像在计算机中以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；m、n为矩阵的维度，取值为正整数；红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型,根据视差和理想成像模型得到数字图像的三维空间位置坐标。具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；具体过程为：1)、像素平面坐标系：建立像素平面坐标系O-UV；所述O表示像素平面坐标系原点，U为数字图像中像素点位置所对应的长的分辨率的值，上限等于红外双目视觉传感器分辨率的长；V为数字图像中像素点位置所对应的宽的分辨率的值，上限等于红外双目视觉传感器分辨率的宽；将数字图像像素在像素平面坐标系中表示为(u,v)；图中的O-UV是像素平面坐标系；像素平面坐标系是在数字图形处理中十分常见和广泛应用的坐标系。2)、成像平面坐标系：成像平面坐标系与像素平面坐标系截然不同，像素平面坐标系中的变化值意味着单个像素在数字化图形中所在的位置。与之不同的是，成像平面坐标系使用的是像素点在成像器件上的长度坐标。成像平面坐标系使用的是二维坐标系，横坐标与纵坐标的取值范围表示成像靶面的大小尺寸。在图1中，o1-xy被称为成像平面坐标系。建立成像平面坐标系O1-XY；所述X表示成像平面坐标系x轴，Y表示成像平面坐标系y轴；O1点表示数字图像的主点(摄影中心与像平面的垂线与像平面的交点,称为像主点)，由红外双目视觉传感器的光轴和数字图像平面交叉而成；将数字图像像素在成像平面坐标系成像靶面(靶面指的是在相机镜头上的平面)中表示为(x,y)；成像平面坐标系与像素平面坐标系之间的关系式表示如下：其中，数字图像的主点O1在像素平面坐标系中的焦平面阵列几何中心，表示为(u0,v0)，dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置；3)、红外双目视觉传感器坐标系：红外视觉传感器所在的位置设定为原点，用原点来描述投影到视觉传感器成像平面上的空间坐标点；在图1中，oc-XcYcZc是红外视觉传感器所在的坐标系；建立红外双目视觉传感器坐标系oc-XcYcZc；所述oc表示红外双目视觉传感器的光心；Xc表示红外双目视觉传感器坐标系的x轴，平行于成像平面坐标系的x轴；Yc表示红外双目视觉传感器坐标系的y轴，平行于成像平面坐标系的y轴；Zc表示红外视觉传感器的光轴主轴；将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc)；红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下：其中，f为红外双目视觉传感器的焦距；λ为两个坐标系之间的倾斜因子，表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度；4)、世界坐标系：将数字二维图像和空间三维中的点建立对应的关系；确立视觉传感器在世界坐标系下的位姿与方向。针对视觉传感器建一个世界坐标系，该坐标系以视觉传感器为基础。图1中，建立世界坐标系ow-X本文档来自技高网...

【技术保护点】
1.基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述方法具体过程为：步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；数字图像以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标。

【技术特征摘要】
1.基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述方法具体过程为：步骤一、将两台红外双目视觉传感器作为轨道机器人红外双目立体视觉系统，具体过程为：两台红外双目视觉传感器对隧道内部图像进行采样，得到同一场景下同时在两种不同角度拍摄的视频图像；采用图像处理法对视频图像中的目标特征进行识别，得到目标特征在两幅图像中的视差；红外双目视觉传感器焦平面阵列将图像投射到红外双目视觉传感器表面的红外辐射转换成电信号，位于红外双目视觉传感器中的信号调理单元将电信号采样，量化成数字，图像重构形成数字图像；数字图像以m*n维矩阵的形式储存，数字图像矩阵中的每一个元素为数字图像的一个像素；红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；步骤二、根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标。2.根据权利要求1所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述步骤一中红外双目视觉传感器将三维空间场景中的每一点构建成二维图像，采用数学公式对二维图像进行构建，实现不同坐标系之间的转换，构成红外双目立体视觉系统；具体过程为：1)、建立像素平面坐标系O-UV；所述O表示像素平面坐标系原点，U为数字图像中像素点位置所对应的长的分辨率的值，上限等于红外双目视觉传感器分辨率的长；V为数字图像中像素点位置所对应的宽的分辨率的值，上限等于红外双目视觉传感器分辨率的宽；将数字图像像素在像素平面坐标系中表示为(u,v)；2)、建立成像平面坐标系O1-XY；所述X表示成像平面坐标系x轴，Y表示成像平面坐标系y轴；O1点表示数字图像的主点，由红外双目视觉传感器的光轴和数字图像平面交叉而成；将数字图像像素在成像平面坐标系中表示为(x,y)；成像平面坐标系与像素平面坐标系之间的关系式表示如下：其中，数字图像的主点O1在像素平面坐标系中的焦平面阵列几何中心，表示为(u0,v0)，dx,dy分别表示数字图像像素在成像平面坐标系中的x轴和y轴的位置；3)、建立红外双目视觉传感器坐标系oc-XcYcZc；所述oc表示红外双目视觉传感器的光心；Xc表示红外双目视觉传感器坐标系的x轴，平行于成像平面坐标系的x轴；Yc表示红外双目视觉传感器坐标系的y轴，平行于成像平面坐标系的y轴；Zc表示红外视觉传感器的光轴主轴；将图像像素在红外双目视觉传感器坐标系中表示为(xc,yc,zc)；红外双目视觉传感器坐标系与像素平面坐标系之间的关系式表示如下：其中，f为红外双目视觉传感器的焦距；λ为两个坐标系之间的倾斜因子，表示红外双目视觉传感器坐标系与像素平面坐标系之间不正交的角度；4)、建立世界坐标系ow-XwYwZw；所述ow为世界坐标系圆心，Xw为世界坐标系的x轴，Yw为世界坐标系的y轴，Zw为世界坐标系的z轴；将图像像素在世界坐标系中表示为(xw,yw,zw)；设定世界坐标系ow-XwYwZw为双目视觉系统的理想成像模型所在的坐标系；世界坐标系与红外双目视觉传感器坐标系之间的转换关系式如下：其中，R表示旋转矩阵，tab表示平移矩阵；像素平面坐标系与世界坐标系之间的转换关系式如下：其中K为红外双目视觉传感器的内参矩阵。3.根据权利要求2所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述旋转矩阵R为3*3阶正交旋转矩阵；平移矩阵tab为1*3阶平移矩阵。4.根据权利要求3所述基于双目视觉传感器的轨道机器人检测方法，其特征在于：所述步骤二中根据红外双目立体视觉系统建立双目视觉系统的理想成像模型，根据视差和理想成像模型得到数字图像的三维空间位置坐标；具体过程为：将两个红外双目视觉传感器编号为a和b，在两个红外双目视觉传感器所放置的位置分别建立红外双目视觉传感器坐标系oca-XcaYcaZca和ocb-XcbYcbZcb；在两个红外双目视觉传感器所放置的位置分别建立成像平面坐标系O1a-XaYa和O1b-XbYb；在两个红外双目视觉传感器所放置的位置分别建立像素平面坐标系Oa-UaVa和Ob-UbVb；P和P′是三维空间中的任意两点；空间点P(xw,yw,zw)投影到红外双目视觉传感器a像素平面坐标系中，双目视觉系统的理想成像模型表达式如下：其中，fa为红外双目视觉传感器a的焦距；(u...

【专利技术属性】
技术研发人员：张文，
申请(专利权)人：张文，
类型：发明
国别省市：山西,14