平面动态检测系统及检测方法技术方案

本发明专利技术提供了一种平面动态检测系统及检测方法，一惯性传感器可持续取得一惯性数据，一深度摄像机可于一观视范围内持续取得实体物件(例如平面或地面)的一深度影像，而一运算装置经组态可持续判断惯性传感器所取得的加速度及角速度是否超出一阈值，以判断惯性传感器本身或其所搭载装置的运动状态，其中，运算装置可依据加速度、深度影像坐标、深度值及内参矩阵，初始化或持续更新惯性传感器于稳定状态时，实体物件于摄像机坐标系中的一平面方程式，也可透过VIO演算法取得深度摄像机的位姿信息，以持续修正惯性传感器于快速移动时的平面方程式。

【技术实现步骤摘要】
平面动态检测系统及检测方法
本专利技术涉及计算机视觉技术，尤指一种可参考深度影像、彩色影像及惯性数据，以达成准确检测平面及动态更新平面于三维空间中的相对位置的「平面动态检测系统及检测方法」。
技术介绍
为了于需要3D信息的应用(例如AR/VR服务)提供更为真实的互动效果，检测现实中的平面即相当关键，若以检测属于地面的平面为目标，则检测地面的方法可以为：(a)假设地面为最大的平面并利用RANSAC(RandomSampleConsensus，随机取样)演算法，或是利用HoughTransform(霍夫转换)演算法找到三维空间中最大的平面，并定义其为地面；(b)假设地面在影像中各扫描线(scanline)上的Z值为最大，并于修正摄像机姿态(rollrotation)后以影像中Z值最大且符合C曲线(fitcurveC)的像素集合，定义其为地面。然而在许多情况下，前述(a)方法所假设的最大平面往往并非地面(例如影像中的最大平面可能为走廊的墙面)，而可能发生RANSAC或HoughTransform演算法判断错误的情形，并且，RANSAC演算法具备正确资料(inliers)至少需要占50％以上的限制，HoughTransform演算法也相当耗时；前述(b)方法也可能发生影像中Z值最大且符合C曲线的像素集合，其并非是地面的情形。再者，无论利用何种方法检测影像中的平面，在深度传感器(如深度摄影机)获取深度影像后，依照点云库(PointCloudLibrary，PCL)的常规熟知作法，皆需将深度传感器取得的每个像素(pixel)，先后与一摄像机投影反矩阵(inversecameramatrix)及一深度值作矩阵乘法运算，以转换成点云(PointCloud)坐标系中的多个三维坐标，即如本项关系式所示：其中，为点云坐标系中的三维坐标，Z为深度值，K-1为摄像机投影反矩阵，而K通常为一内部参数(内部参数为深度传感器的固有性质参数，主要有关于摄像机坐标与影像坐标间的转换关系)，为深度影像于中每个像素的影像坐标(其处于影像坐标系)；其后，再令此些三维坐标的特征点集合以点云的型态呈现，接着，再以前述(a)或(b)等方法检测点云影像中的平面，但前述对每个像素均作矩阵乘法的方式，计算量相当庞大而有不佳的计算效能。综上可知，常规熟知检测三维空间中平面的作法，针对不同的平面类型(例如地面、墙面等平面)，须先作强烈假设而可能有平面类型误判的问题，同时也有计算效能不佳的缺点，依此，如何提出一种可更准确检测平面、更节省计算资源的「平面检测系统及检测方法」，乃有待解决的问题。
技术实现思路
为达上述目的，本专利技术提出一种平面动态检测系统，包含：一惯性传感器、一深度摄像机及一运算装置，其中，惯性传感器包含一加速度计及一陀螺仪；深度摄像机可持续获取一深度影像，以持续输入深度摄像机于一观视范围内对于一或多个实体物件的一深度影像坐标及一深度值；运算装置分别耦接于惯性传感器及深度摄像机，运算装置具有一运动状态判断单元及一平面检测单元，运动状态判断单元供以持续判断惯性传感器所取得的一加速度信息及一角速度信息是否超出一阈值，并且，若未超出阈值，平面检测单元可依据加速度信息、深度影像坐标、深度值及一内部参数矩阵计算出一法向量及一距离常数，并以法向量及距离常数，初始化或持续更新惯性传感器于稳定状态时，实体物件于一摄像机坐标系中的一平面方程式；反之，若已超出阈值，平面检测单元可依据加速度信息的一重力加速度，执行一视觉惯性里程计演算法，以求得深度摄像机的一位姿信息，并基于位姿信息的一旋转矩阵及一位移信息，持续修正惯性传感器于快速移动时的平面方程式，而平面方程式的意涵，即位于一平面上的任意点及垂直于该平面的法线，可唯一定义出三维空间中的该平面。为达上述目的，本专利技术也提出一种平面动态检测方法，包含：(1)一检测惯性数据步骤：一惯性传感器持续取得一加速度信息及一角速度信息等惯性数据；(2)一判断运动状态步骤：一运算装置持续判断惯性传感器所取得的一加速度信息及一角速度信息是否超出一阈值，以判断惯性传感器的运动状态；(3)一第一更新平面方程式步骤：若未超出阈值，运算装置依据加速度信息、深度影像坐标、深度值及一内部参数矩阵计算出一法向量及一距离常数，并以法向量及距离常数，初始化或持续更新惯性传感器于稳定状态时，实体物件于一摄像机坐标系中的一平面方程式；以及(4)一第二更新平面方程式步骤：若已超出阈值，运算装置依据加速度信息的一重力加速度，执行一视觉惯性里程计演算法，以求得深度摄像机的一位姿信息，并基于位姿信息的一旋转矩阵及一位移信息，持续修正惯性传感器于快速移动时的平面方程式。为使贵审查委员得以清楚了解本专利技术的目的、技术特征及其实施后的功效，兹以下列说明搭配图示进行说明，敬请参阅。附图说明图1为本专利技术的系统架构图；图2为本专利技术的平面检测方法流程图(一)；图3为本专利技术的平面检测方法流程图(二)；图4为本专利技术于另一较佳实施例的系统架构图。具体实施方式下面将结合本申请实施例中的附图对本申请进行说明。请参阅「图1」，其为本专利技术的系统架构图，本专利技术提出一种平面动态检测系统1，主要包含一惯性传感器10、一深度摄像机20及一运算装置30，其中：(1)惯性传感器(InertialMeasurementUnit,IMU)10包含一加速度计(accelerometer/G-Seosor)101及一陀螺仪(Gyroscope)102，可持续取得的一加速度信息及一角速度信息；(2)深度摄像机20可持续获取一深度影像，以持续输入深度摄像机20于一观视范围内对于一或多个实体物件的一深度影像坐标及一深度值，并且，深度摄像机20可被组态为采用一飞行时间法方案(TimeofFlight，TOF)、一结构光光案(StructuredLight)或一双目视觉方案(StereoVisual)量测出前述实体物件的深度的深度传感器，其中，飞行时间法方案是指深度摄像机20可作为一ToF摄像机，并利用发光二极体(LED)或雷射二极体(LaserDiode，LD)发射出红外光，当照射到实体物件的物体表面的光反射回来后，由于光速为已知，故可藉此利用一个红外光影像传感器，来量测实体物件于不同深度的位置将光线反射回来的时间，进而能推算出实体物件于不同位置的深度及实体物件的深度影像；结构光方案是指深度摄像机20可利用雷射二极体(LaserDiode，LD)或数位光源处理器(DLP)打出不同的光线图形，并透过特定光栅绕射至实体物件的物体表面上，进而形成光斑图案(Pattern)，而由于实体物件于不同深度的位置所反射回来的光斑图案会发生扭曲，故当反射回来的光线进入红外光影像传感器后，即可反推实体物件的立体结构及其深度影像；双目视觉方案指深度摄像机20可作为一双目摄像机(stereocamera)，并利用至少两个摄像镜头拍摄实体物件及深度摄像机20所产生的视差(disparity)，透过三角测量(Triang本文档来自技高网...

【技术保护点】
1.一种平面动态检测系统，其特征在于，包含：/n一惯性传感器，其包含一加速度计及一陀螺仪；/n一深度摄像机，供以持续获取一深度影像，以持续输入该深度摄像机于一观视范围内对于一或多个实体物件的一深度影像坐标及一深度值；/n一运算装置，其与所述惯性传感器及所述深度摄像机分别耦接，所述运算装置具有一运动状态判断单元及一平面检测单元，所述运动状态判断单元及所述平面检测单元通讯连接，所述运动状态判断单元供以持续判断所述惯性传感器所取得的一加速度信息及一角速度信息是否超出一阈值；/n若未超出该阈值，所述平面检测单元被组态为依据所述加速度信息、所述深度影像坐标、所述深度值及一内部参数矩阵计算出一法向量及一距离常数，并以所述法向量及该距离常数，初始化或持续更新所述惯性传感器于稳定状态时，所述实体物件于一摄像机坐标系中的一平面方程式；以及/n若已超出该阈值，所述平面检测单元被组态为依据所述加速度信息的一重力加速度，执行一视觉惯性里程计演算法，以求得所述深度摄像机的一位姿信息，并基于所述位姿信息的一旋转矩阵及一位移信息，持续修正该惯性传感器于快速移动时的所述平面方程式。/n

【技术特征摘要】
1.一种平面动态检测系统，其特征在于，包含：
一惯性传感器，其包含一加速度计及一陀螺仪；
一深度摄像机，供以持续获取一深度影像，以持续输入该深度摄像机于一观视范围内对于一或多个实体物件的一深度影像坐标及一深度值；
一运算装置，其与所述惯性传感器及所述深度摄像机分别耦接，所述运算装置具有一运动状态判断单元及一平面检测单元，所述运动状态判断单元及所述平面检测单元通讯连接，所述运动状态判断单元供以持续判断所述惯性传感器所取得的一加速度信息及一角速度信息是否超出一阈值；
若未超出该阈值，所述平面检测单元被组态为依据所述加速度信息、所述深度影像坐标、所述深度值及一内部参数矩阵计算出一法向量及一距离常数，并以所述法向量及该距离常数，初始化或持续更新所述惯性传感器于稳定状态时，所述实体物件于一摄像机坐标系中的一平面方程式；以及
若已超出该阈值，所述平面检测单元被组态为依据所述加速度信息的一重力加速度，执行一视觉惯性里程计演算法，以求得所述深度摄像机的一位姿信息，并基于所述位姿信息的一旋转矩阵及一位移信息，持续修正该惯性传感器于快速移动时的所述平面方程式。


2.如权利要求1所述的平面动态检测系统，其特征在于，所述平面检测单元也被组态为对所述深度影像坐标与所述深度值执行一内积运算，而持续生成所述实体物件于一影像坐标系的一三维坐标，并以该三维坐标、所述内部参数矩阵与所述加速度信息演算该平面方程式。


3.如权利要求1或2所述的平面动态检测系统，其特征在于，所述运算装置也供以对所述法向量执行一迭代最佳化演算法或一高斯牛顿演算法求得一最佳法向量，并以所述最佳法向量取代所述法向量而演算出所述平面方程式。


4.如权利要求1或2所述的平面动态检测系统，其特征在于，还包括一彩色摄像机，其分别耦接于所述深度摄像机及该运算装置，供以持续获取所述实体物件的一彩色影像，以供运算装置确立所述实体物件的所述深度影像坐标及一彩色影像坐标之间的对应关系。


5.一种平面动态检测方法...

【专利技术属性】
技术研发人员：萧淳泽，
申请(专利权)人：南京深视光点科技有限公司，
类型：发明
国别省市：江苏;32