一种采用视线跟踪的小车控制方法技术

本发明专利技术属于机器视觉领域，涉及一种基于视线跟踪的小车控制系统。包括步骤为：第一步为标定步骤：(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P‑CR向量；(2)采用最小二乘法，计算眼部图像的P‑CR向量和场景图像中的坐标的对应关系式；第二步为控制步骤：(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。本发明专利技术将视线跟踪技术和智能小车的控制进行了有效的结合；无需任何辅助手段，通过大脑－眼睛－小车的一致性假设实现对小车的控制。

【技术实现步骤摘要】
一种采用视线跟踪的小车控制方法
本专利技术属于机器视觉领域，涉及一种基于视线跟踪的小车控制系统。
技术介绍
机器视觉是通过光学的装置和非接触的传感器自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。其属于计算机视觉的一个分支，它的组成可以分为：图像的获取、图像分析与处理还有输出显示控制三个部分组成。机器视觉技术的出现至今才不到四十年的时间，图像的处理、理解与识别很多理论和技术仍非常不成熟，同时图像采集系统也存在相当多的局限性，因此机器视觉技术还处于新生的阶段，还有很大的发展空间。视线跟踪，即通过对人眼注视点的追踪和定位来进行视觉注意力分配测试，是一种对人眼运动特性的检测和识别，可以有效地探索人脑对外部信息的加工和控制机制。其在研究心理学、广告评估、人机交互、军事等均具有重要的研究价值。较为常用的视线跟踪方法通常是从视频图像中提取眼动信息，进而用眼动信息估计视线方向，来达到视线跟踪的目的。其中，眼动信息可用来分析执行特定任务(如阅读、驾驶、查找等)时个体视觉注意力的模式。眼球运动往往是根据注视和扫视进行分析。因此，基于大脑－眼睛一致性假设，我们只要跟踪人的视线，即可判断出其此时的行为或者想法，进而能够通过分析视觉信息实现智能的人机控制等智能行为。目前，控制小车运动的技术局限于采用外界辅助手段来实现对其控制，例如：采用手柄遥控或小车寻迹轨道去到达既定目的地。本专利技术无需任何外界手段，只需带上本设备通过注视点的追踪去控制小车运动。
技术实现思路
本专利技术所要解决的技术问题是：实现眼睛无缺陷的人可以通过视线去控制小车到达注视点附近的功能，提供了一种基于机器视觉跟踪视线和定位智能小车的方法。为解决上述技术问题，本专利技术是采用如下技术方案实现的，结合附图说明如下：一种采用视线跟踪的小车控制方法，包括两大步骤：第一步为标定步骤，所述标定步骤包括以下两个小步骤：(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P-CR向量；眼部图像的P-CR向量为瞳孔中心坐标与普尔钦光斑中心坐标相减形成的向量；(2)采用最小二乘法，计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式；第二步为控制步骤，所述控制步骤包括以下两个小步骤：(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。技术方案中所述标定点设置12个，每个标定点是直径为30个像素的黑色的实心圆，12个标定点在PC界面以4*3形式排列，每个相邻的标定点均相隔200像素值，并按顺序显示。技术方案中所述计算标定点在场景图像中的坐标，包括以下步骤：(1)使用者注视电脑给出的标定点，场景摄像头获取正前方的场景图像；(2)对场景图像进行预处理，进行高斯平滑和灰度化，并采用最大类间方差OSTU算法求最佳阈值，进而将图像进行二值化；(3)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；(4)计算步骤(3)获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心；(5)重复(1)至(4)步，直到找到标定点在场景图像中的位置。技术方案中所述计算和该标定点对应的眼部图像的P-CR向量，包括以下步骤：(1)使用者注视场景，眼部摄像头获取眼部图像；(2)对眼部图像进行预处理，进行中值滤波和灰度化，对整幅眼部图像的每个像素点都加上180像素值，并采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法检测边缘并提取眼部图像中所有轮廓；(3)计算所有轮廓的面积，以便于去除面积大于500像素点和小于200点像素的轮廓，得到瞳孔轮廓；用最小二乘法实现对瞳孔轮廓做椭圆拟合，获得近似瞳孔椭圆；(4)采用质心法求该椭圆的中心，从而获得瞳孔中心；(5)在眼部图像中截取瞳孔中心周围边长为80个像素点的正方形的图像，选定阈值为200像素值，将该正方形的图像进行二值化，用质心法求取普尔钦光斑中心；(6)用瞳孔中心坐标减去普尔钦光斑中心坐标得到眼部图像的P-CR向量。技术方案中所述计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式，包括以下步骤：(1)获得标定点在场景图像中的坐标以及与其相对应的眼部图像的P-CR向量；(2)将获得的标定点场景图像中的坐标与眼部图像的P-CR向量对之后，利用二次多项式拟合，采用下面的6参数二次多项式来拟合获得的标定点与眼部图像的P-CR向量的映射关系；将12个标定点在场景图像中的坐标以及对应的眼部图像中的P-CR向量带入式：其中，(xg，yg)表示标定点在场景图像中的坐标，(xe，ye)表示眼部图像中的P-CR向量，a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]表示二次多项式的参数；(3)采用最小二乘法拟合最优参数：a＝[a0,a1,a2,a3,a4,a5]和b＝[b0,b1,b2,b3,b4,b5]，得到眼部图像的P-CR向量与场景图像中的坐标对应关系式。技术方案中所述计算小车中心和朝向，包括以下步骤：(1)将场景图像分解为R，G和B三个通道灰度图，将B通道灰度图减去R通道灰度图得到B-R灰度图；(2)对B-R灰度图采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法去检测边缘；(3)提取B-R灰度图的轮廓，计算轮廓面积并去除面积大于1000像素和小于400像素的轮廓，得到小车轮廓；(4)用质心法求小车轮廓中心坐标，得到小车中心坐标；(5)在场景图像中截取小车轮廓大小的的小车图像，并将小车图像分解为R，G和B三个通道灰度图；用R通道灰度图减去B通道灰度图得到R-B灰度图；采用质心法计算红色条形指向标的中心坐标；(6)将红色条形指向标的中心坐标与小车中心坐标相减，得到朝向向量，并计算该朝向向量的角度。技术方案中所述控制小车运动到所注视的物体附近，具体包括以下步骤：(1)将场景图像的注视点坐标与小车中心坐标相减，得到走向向量；计算走向向量的角度和模值；(2)若朝向向量的角度比走向向量的角度小，则向蓝牙发送G控制小车左转；否则发送C控制小车右转，直到两角度相差不到5度，发送Z控制小车停止；(3)校准角度后，若模值大于20个像素点，则向蓝牙发送A控制小车前进；否则发送Z，控制小车停止。与现有技术相比本专利技术的有益效果是：与现有技术相比，本专利技术的有益效果是：将视线跟踪技术和智能小车的控制进行了有效的结合。无需任何辅助手段，通过大脑－眼睛－小车的一致性假设实现对小车的控制。另外，本专利技术指出，利用视线跟踪技术可以实现对其他可控制运动物体的驱动，例如：轮椅，婴儿车等。附图说明下面结合附图对本专利技术作进一步的说明：图1为本专利技术的结构组成示意框图；图2为本专利技术的功能实现步骤流程图；图3为本专利技术的计算标定点在场景图像中的坐标流程图；图4为本专利技术的计算眼部图像的P-CR向量流程图；图5为本专利技术的计算眼部图像的P-CR向量与场景图像中的坐标对应关系流程图；图6为本专利技术的计算小车中心和朝向流程图；图7为本专利技术的控制小车运动到所注视的物体附近流程图；图8为本专利技术的整体设计框图；图中：1为头盔；本文档来自技高网...

【技术保护点】
1.一种采用视线跟踪的小车控制方法，其特征在于，包括两大步骤：第一步为标定步骤，所述标定步骤包括以下两个小步骤：(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P‑CR向量；(2)采用最小二乘法，计算眼部图像的P‑CR向量和场景图像中的坐标的对应关系式；第二步为控制步骤，所述控制步骤包括以下两个小步骤：(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。

【技术特征摘要】
1.一种采用视线跟踪的小车控制方法，其特征在于，包括两大步骤：第一步为标定步骤，所述标定步骤包括以下两个小步骤：(1)依次注视电脑给定的12个标定点，分别计算标定点在场景图像中的坐标和该标定点对应的眼部图像的P-CR向量；(2)采用最小二乘法，计算眼部图像的P-CR向量和场景图像中的坐标的对应关系式；第二步为控制步骤，所述控制步骤包括以下两个小步骤：(1)注视地面上的物体，场景摄像头获取场景图像和眼部摄像头获取眼部图像，对场景图像做处理，计算小车中心和朝向；(2)计算注视点在场景图像中的坐标，通过蓝牙控制小车运动到所注视的物体附近。2.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：所述标定点设置12个，每个标定点是直径为30个像素的黑色的实心圆，12个标定点在PC界面以4*3形式排列，每个相邻的标定点均相隔200像素值，并按顺序显示。3.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：所述计算标定点在场景图像中的坐标，包括以下步骤：(1)使用者注视电脑给出的标定点，场景摄像头获取正前方的场景图像；(2)对场景图像进行预处理，进行高斯平滑和灰度化，并采用最大类间方差OSTU算法求最佳阈值，进而将图像进行二值化；(3)提取场景图像中所有的轮廓，求每个轮廓的面积，去除面积大于600和小于200像素点的轮廓；(4)计算步骤(3)获得的轮廓的最大外接椭圆，用质心法计算椭圆的中心；(5)重复(1)至(4)步，直到找到标定点在场景图像中的位置。4.根据权利要求1所述的一种采用视线跟踪的小车控制方法，其特征在于：所述计算和该标定点对应的眼部图像的P-CR向量，包括以下步骤：(1)使用者注视场景，眼部摄像头获取眼部图像；(2)对眼部图像进行预处理，进行中值滤波和灰度化，对整幅眼部图像的每个像素点都加上180像素值，并采用圆形卷积核的开运算平滑轮廓，消除小的突出物；利用Canny边缘检测算法检测边缘并提取眼部图像中所有轮廓；(3)计算所有轮廓的面积，以便于去除面积大于500像素点和小于200点像素的轮廓，得到瞳孔轮廓；用最小二乘法实现对瞳孔轮廓做椭圆拟合，获得近似瞳孔椭圆；(4)采用质心法求该椭圆的中心，从而获得瞳孔中心；(5)在眼部图像中截取瞳孔中心周围边长为80个像素点的正方形的图像，选定阈值为200像素值，将该正方形的图像进行二值化，用质心法求取普尔钦光斑中心；(6)用瞳孔中心坐标减去普尔钦光斑中...

【专利技术属性】
技术研发人员：陈万忠，马春晖，王晓旭，蒋鋆，李昕迪，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22