用于焚烧状况识别的立体视觉监测方法技术

本发明专利技术涉及计算机视觉技术领域的监测方法，具体为用于焚烧状况识别的立体视觉监测方法，建立双目立体视觉系统；对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；获得燃烧物三维表面的曲面；计算获得的燃烧物三维表面的曲面与获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。本发明专利技术监测焚烧火线的精确位置，为进一步智能控制焚烧状况提供依据。

【技术实现步骤摘要】
用于焚烧状况识别的立体视觉监测方法
本专利技术涉及计算机视觉
的监测方法，具体为用于焚烧状况识别的立体视觉监测方法。
技术介绍
本专利技术涉及焚烧状况的识别，例如单不仅限于垃圾焚烧中焚烧火线的辨识。垃圾焚烧是世界各国广泛采用的城市垃圾处理技术，配备热能回收与利用装置的垃圾焚烧处理系统，正逐渐上升为焚烧处理的主流。但是目前垃圾焚烧时不能自动化、智能化地感知焚烧炉内垃圾焚烧状况，通常需要要求操作人员人为观察垃圾的焚烧状态是否理想，难以客观准确地获得焚烧炉内垃圾料层厚度，更难以判断垃圾焚烧的整体状态。现有与本专利技术近似的垃圾焚烧炉内状态监控实现方案主要是通过单目摄像头采集垃圾焚烧炉内的视频或图像，对图像进行亮度识别或是特征提取来获得火焰的燃烧状态，也有通过建立火焰识别模型并对火焰识别模型进行训练来获得火焰的燃烧状态，进而对垃圾焚烧炉是否需要进料进行判断。现有技术采用的图像或者视频检测方案缺乏空间深度信息，而且由于垃圾多不透明难以获得准确的料层厚度，从信息源角度来讲，现有辨识方案存在重要的信息缺失。由此，现有技术通过采集垃圾焚烧炉内的视频或图像等数据计算或训练学习获得的火焰信息得到火焰的燃烧状态，不能完全反映出垃圾焚烧炉内的垃圾焚烧状态信息，尤其不能反映出火焰的前、后、左、右位置信息，更不能反映出现存垃圾焚烧炉中的垃圾厚度信息，本专利技术针对以上现有技术的缺点提出了一种基于立体视觉的垃圾燃烧炉内料层厚度测量，并在此基础上获得火线的精准三维状态信息，因此可以支持自动化、智能化的垃圾焚烧炉控制。<br>
技术实现思路
鉴于现有技术的缺陷，本专利技术提供一种用于焚烧状况识别的立体视觉监测方法，监测焚烧火线的精确位置，为进一步智能控制焚烧状况提供依据。避免现有监测技术中缺少燃烧物层厚的精确三维信息，并且不能精准定位火线的问题。为了达到上述目的，本专利技术提供的技术方案是一种用于焚烧状况识别的立体视觉监测方法，其包括如下步骤：步骤1：建立双目立体视觉系统；进一步的，所述建立双目立体视觉系统是指：在焚烧空间内安置两台相同参数的摄像头，摄像头用于拍摄焚烧空间内的图片。步骤2：在焚烧空间内未进料时进行双目相机标定；进一步的，所述步骤2中双目相机标定是指：在焚烧空间内摆放标定物体，采用双目立体视觉系统拍摄若干组同一时刻焚烧空间内标定物体的照片。需要说明的是，优选的，所述标定物体采用网格状的矩形，标定物体在图像上的视野占有的比例超过1/3，标定物体内的网格大小不少于十个像素，摆放标定物体的时，标定物体在相机中被拍全。步骤3：对左、右相机进行单相机标定；得到左、右相机的内部参数和外部参数；进一步的，所述步骤3中单相机标定是指：通过不同坐标系之间的转换，将像素空间的信息转换为空间位置信息；如下公式：式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数；sj为比例因子；Aj为摄像机内参数，记为分为x,y方向上的归一化焦距；φj为扭曲系数；为摄像机主光轴与图像平面交点的像素坐标；Rj为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为αj,βj,γj分别为旋转矩阵Rj的三个列向量，记为Tj为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为Pi＝[XwiYwiZwi1]T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标。步骤4：根据步骤3中得到的所述左、右相机的内部参数和外部参数对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；进一步的，所述步骤4中获得焚烧空间的三维空间信息的方法为：先通过焚烧空间对角的两个像素点和来计算焚烧空间对角的两个三维空间点(x1,y1,z1)和(x2,y2,z2)，具体算法如下：式中，j＝1或r,j＝1对应左摄像机的参数，j＝r对应右摄像机的参数，sj为比例因子；Aj为摄像机内参数，记为分为x,y方向上的归一化焦距；为扭曲系数；为摄像机主光轴与图像平面交点的像素坐标；Rj为摄像机坐标系相对于世界坐标系3×3正交旋转矩阵，为摄像机外参数，记为αj,βj,γj分别为旋转矩阵Rj的三个列向量，记为Tj为摄像机坐标系相对于世界坐标系3×1平移矢量，为摄像机外参数，记为Pi＝[XwiYwiZwi1]T分别标定板圆点中心在图像坐标系和世界坐标系中的齐次坐标；然后利用上述得到的三维点来计算焚烧空间宽度△x＝x2-x1；焚烧空间高度△y＝y2-y1；焚烧空间斜度信息三维平面方程的公式为Ax+By+Cz+D＝0；然后利用最小二乘的方法来拟合得到焚烧空间的三维平面方程。步骤5：在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，依据双目立体视觉计算得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；进行曲面拟合获得燃烧物三维表面的曲面；优选的，所述步骤5使用BRISK特征描述算法检测关键点。具体的，所述步骤5中得到若干关键点的三维空间信息Pij(x,y,z)，进行曲面拟合获得燃烧物三维表面的曲面的方法为：借助B样条进行三维点的曲面拟合，在三维空间中，给定(m+1)×(n+1)个空间点Pij(i＝0,1,...,n；j＝0,1,...,m)，称为m×n次参数曲面，数学表达式为：其中Pij(i＝0,1,2...n；j＝0,1,2...m)是控制顶点，共计(m+1)×(n+1)个顶点，Fi,n(x)Fj,m(y)为B样条基底函数；求和号上下即为k的取值；具体表达式为：步骤6：计算所述步骤5获得的燃烧物三维表面的曲面与步骤4获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。步骤7：在检测到的燃烧物表面处，基于步骤5检测到的关键点筛选出燃烧物与火焰相交处的火线关键点；然后根据得到火线关键点的位置进行曲线拟合,获得火线三维空间位置，进行线性插值计算(xi,yi,zi),(xj,yj,zj)两点间各点位置：其中d为两点间距离；并对上述检测关键点对校正前和校正后的视频帧进行匹配，以将校正之后的图像上的点对应到实际拍摄的视频帧上，从而将火线曲线显示在实际拍摄到的视频上。进一步的，所述焚烧空间为焚烧炉排；所述燃烧物为垃圾。需要说明的是，本专利技术的关键点是基于立体视觉的方法进行目标的三维位置信息获取，借助进料前获得焚烧空间三维空间信息，并在进料后再次进行双目立体视觉定位，从而由前后差获得焚烧空间内部燃烧物料层厚度，且获得火线三维信息。本专利技术的有益效果：与现有技术相比，首先我们采用的方法是立体视觉的方法，与单目相比，能够获得燃烧物层厚的立体信息，其次，在燃烧物表面进行火线三维定位，能够确定火焰的本文档来自技高网...

【技术保护点】
1.用于焚烧状况识别的立体视觉监测方法，其特征在于：/n步骤1：建立双目立体视觉系统；/n步骤2：在焚烧空间内未进料时进行双目相机标定；/n步骤3：对左、右相机进行单相机标定；得到左、右相机的内部参数和外部参数；/n步骤4：根据步骤3中得到的所述左、右相机的内部参数和外部参数对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；/n步骤5：在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，依据双目立体视觉计算得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；进行曲面拟合获得燃烧物三维表面的曲面；/n步骤6：计算所述步骤5获得的燃烧物三维表面的曲面与步骤4获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。/n

【技术特征摘要】
1.用于焚烧状况识别的立体视觉监测方法，其特征在于：
步骤1：建立双目立体视觉系统；
步骤2：在焚烧空间内未进料时进行双目相机标定；
步骤3：对左、右相机进行单相机标定；得到左、右相机的内部参数和外部参数；
步骤4：根据步骤3中得到的所述左、右相机的内部参数和外部参数对焚烧空间进行立体识别；获得焚烧空间的三维空间信息，所述焚烧空间的三维空间信息包括三维平面信息、宽度信息、高度信息和斜度信息中的一种或多种；
步骤5：在焚烧空间内燃烧物燃烧时，根据燃烧图像检测关键点，依据双目立体视觉计算得到有效燃烧区内燃烧物表面检测到的若干关键点的三维空间信息；进行曲面拟合获得燃烧物三维表面的曲面；
步骤6：计算所述步骤5获得的燃烧物三维表面的曲面与步骤4获得的焚烧空间的三维平面信息之间的距离，获得燃烧物层厚以及燃烧物空间分布三维信息。


2.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤5使用BRISK特征描述算法检测关键点。


3.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤5中得到若干关键点的三维空间信息Pij(x,y,z)，进行曲面拟合获得燃烧物三维表面的曲面的方法为：
借助B样条进行三维点的曲面拟合，在三维空间中，给定(m+1)×(n+1)个空间点Pij(i＝0,1,...,n；j＝0,1,...,m)，称为m×n次参数曲面，数学表达式为：



其中Pij(i＝0,1,2...n；j＝0,1,2...m)是控制顶点，共计(m+1)×(n+1)个顶点，Fi,n(x)Fj,m(y)为B样条基底函数；具体表达式为：








4.根据权利要求1所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述立体视觉监测方法还包括步骤7：
在检测到的燃烧物表面处，基于步骤5检测到的关键点筛选出火线关键点；然后根据得到火线关键点的位置进行曲线拟合,获得火线三维空间位置，进行线性插值计算(xi,yi,zi),(xj,yj,zj)两点间各点位置：



其中d为两点间距离；并对上述检测关键点对校正前和校正后的视频帧进行匹配，以将校正之后的图像上的点对应到实际拍摄的视频帧上，从而将火线曲线显示在实际拍摄到的视频上。


5.根据权利要求1-4中任意一项所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述焚烧空间为焚烧炉排；所述燃烧物为垃圾。


6.根据权利要求1-4中任意一项所述用于焚烧状况识别的立体视觉监测方法，其特征在于：所述步骤1中建立双目立体视觉系统是指：
在焚烧空间内安置两台相同参数的摄像头，摄...

【专利技术属性】
技术研发人员：赖康生，刘惠，王晓旭，
申请(专利权)人：大连亚泰华光电技术有限公司，
类型：发明
国别省市：辽宁;21