The invention discloses an electric wheelchair control system and method based on visual tracking. The system comprises a processor and an eye-movement instrument connected with the processor. The output end of the processor is connected with a motor driver, and the motor of the electric wheelchair is connected with the output end of the motor driver. The method includes steps: 1. Eye movement image acquisition and transmission; 2. Eye movement image processing; 3. Path planning; 4. Electric wheelchair movement. The invention has novel and reasonable design, perfect function, fast operation speed, high recognition accuracy, few associated equipment, and is not limited by time, space, external environment, etc. It can reduce the operating burden of electric wheelchair operators, and can avoid mistakes, has strong practicability, good use effect and is convenient for popularization and use.
【技术实现步骤摘要】
一种基于视觉跟踪的电动轮椅控制系统及方法
本专利技术属于智能电动轮椅控制
，具体涉及一种基于视觉跟踪的电动轮椅控制系统及方法。
技术介绍
轮椅是康复的重要工具，它不仅是肢体残疾者的代步工具，更重要的是使他们借助于轮椅进行身体锻炼和参与社会活动，老年人及残疾人使用轮椅已经非常普遍，然而在我们日常生活中可以看到轮椅重心固定且导向轮在很大程度上也起着承重轮的作用，使用时较为费力，普通轮椅一般由轮椅架、车轮、刹车装置及座位四部分组成。现代科技的进步也使得轮椅得到了很大的发展，出现了电动轮椅、GPS电动轮椅、特制轮椅、运动轮椅等多功能轮椅，电动轮椅的出现给人们提供了自动代步、按摩、高度调节和爬坡功能，满足了更多人的需求。然而，虽然现有的轮椅一般可以实现轮椅最基本的功能，但是目前的轮椅均为手动控制，轮椅作为残疾人最重要的自主移动平台。对于渐冻人患者、中风患者、瘫痪患者来说，普通轮椅需要用户转动大车轮或按键控制行进方向，普通轮椅无法操作，不便于患有手部残疾的人进行操控。此外，患者在出行时，被其他事物所吸引注意力后，当遇到突发情况时如果反应不够迅速，不能及时操纵轮椅的移动，就会有巨大的安全隐患存在。眼动控制技术用于人机交互可以将人的双手解放出来做一些其他重要的工作,另外,该技术也可以帮助残疾人使用计算机,使残疾人可以尽量正常的生活和娱乐。可靠的视线估计方法通过人眼睛的运动控制计算机,使人们轻松的实现了自己的目的意图,可以广泛应用于医学、交通、军事及娱乐等各个方面,提供全新的信息输入手段,全面提升社会科技水平,加速了以人作为中心的智能化技术的发展与实现。视线跟踪也称眼...
【技术保护点】
1.一种基于视觉跟踪的电动轮椅控制系统，其特征在于：包括处理器(1)以及与处理器(1)相接的眼动仪(2)，所述处理器(1)的输出端接有电机驱动器(3)，所述电动轮椅的电机(4)与电机驱动器(3)的输出端连接。
【技术特征摘要】
1.一种基于视觉跟踪的电动轮椅控制系统，其特征在于：包括处理器(1)以及与处理器(1)相接的眼动仪(2)，所述处理器(1)的输出端接有电机驱动器(3)，所述电动轮椅的电机(4)与电机驱动器(3)的输出端连接。2.按照权利要求1所述的一种基于视觉跟踪的电动轮椅控制系统，其特征在于：所述处理器(1)为DSP数字信号处理器。3.一种采用如权利要求1所述系统进行基于视觉跟踪的电动轮椅控制的方法，其特征在于，该方法包括以下步骤：步骤一、眼动图像采集及传输：眼动仪(2)对坐在电动轮椅上的人的眼动图像进行采集并将采集到的眼动图像实时传输给处理器(1)；步骤二、眼动图像处理：处理器(1)调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值；步骤三、路径规划：处理器(1)调用路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径；步骤四、电动轮椅运动：处理器(1)根据规划的路径控制电动轮椅从当前位置到达眼睛注视点位置。4.按照权利要求3所述的方法，其特征在于：步骤二中所述处理器(1)调用眼动图像处理模块对眼动图像进行处理，得到人眼睛注视点的特征值的具体过程为：步骤201、所述处理器(1)调用图像灰度化处理模块，对眼动图像进行灰度化处理；步骤202、所述处理器(1)调用图像高斯滤波处理模块，对眼动图像进行高斯滤波处理；步骤203、所述处理器(1)调用图像二值化处理模块，并采用Otsu自适应阈值分割方法对眼动图像进行二值化处理；步骤204、所述处理器(1)调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理；步骤205、所述处理器(1)调用角膜反射光斑中心提取处理模块，并采用加权质心定位算法对眼动图像进行角膜反射光斑中心提取处理；步骤206、所述处理器(1)调用注视点标定处理模块，将步骤204处理得到的瞳孔中心和步骤205处理得到的角膜反射光斑中心的相对偏移量代入预先构建的瞳孔光斑相对偏移量与注视点的映射函数关系式中，标定出人眼的注视点。5.按照权利要求4所述的方法，其特征在于：步骤201中所述处理器(1)调用图像灰度化处理模块，对眼动图像进行灰度化处理时，采用加权平均法进行，具体方法为：所述处理器(1)根据公式f(x′，y′)＝0.212671R(x′，y′)+0.715160G(x′，y′)+0.072169B(x′，y′)对眼动图像上位置(x′,y′)处的RGB三个分量进行加权平均，得到加权平均后的系数值f(x′,y′)并保存，其中，R(x′,y′)为眼动图像上位置(x′,y′)处的R分量，G(x′,y′)为眼动图像上位置(x′,y′)处的G分量，B(x′,y′)为眼动图像上位置(x′,y′)处的B分量。6.按照权利要求4所述的方法，其特征在于：步骤204中所述处理器(1)调用瞳孔中心定位处理模块，对眼动图像进行瞳孔中心定位处理时，采用代数距离最小的最小二乘法进行椭圆拟合，并采用莱特准则对椭圆拟合的结果进行优化，剔除粗大误差点，直至拟合得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；具体过程为：步骤2041、所述处理器(1)在二值化处理后的眼动图像中，提取出瞳孔轮廓曲线；步骤2042、所述处理器(1)从瞳孔轮廓曲线上任意取6个特征点，带入公式Bxy+C(y2-x2)+Dx+Ey+F＝-x2进行椭圆拟合，并添加约束条件A+C＝1，解方程组得到方程系数A、B、C、D、E、F的值；步骤2043、所述处理器(1)根据公式计算椭圆的中心点坐标(xo,yo)；步骤2044、所述处理器(1)将瞳孔轮廓曲线上的特征点p′(xτp′,yτp′)与椭圆的中心点连接，得到与点p′(xτp′,yτp′)对应的拟合椭圆上的点p(xτp,yτp)；其中，τ的取值为1～N的自然数，N为取的瞳孔轮廓曲线上的特征点的总个数且N的取值为大于1的正整数；步骤2045、所述处理器(1)根据公式计算点p′(xτp′,yτp′)与点p(xτp,yτp之)间的像素距离l(τ)；步骤2046、所述处理器(1)将τ的值从1取到N，对l(τ)进行基于莱特准则的数据分析，将l(τ)不满足条件时瞳孔轮廓曲线上的点定义为粗大误差点，并将瞳孔轮廓曲线上的粗大误差点剔除，再返回执行步骤2042～步骤2046，直至l(τ)全部满足条件，得到最优的椭圆，并将椭圆的中心确定为瞳孔中心；其中，判断l(τ)是否满足条件的过程为：步骤20461、所述处理器(1)根据公式计算τ的值从1取到N时l(τ)的算术平均值步骤20462、所述处理器(1)根据公式计算标准差σ；步骤20463、所述处理器(1)根据公式计算残差lb(τ)；步骤20464、所述处理器(1)将τ的值从1取到N，并将lb(τ)的值与-3σ和3σ比较，当lb≤-3σ或lb≥3σ时，将l(τ)对应的瞳孔轮廓曲线上的点定义为粗大误差点。7.按照权利要求4所述的方法，其特征在于：步骤206中所述构建瞳孔光斑相对偏移量与注视点的映射函数关系式时，采用9参数拟合函数，用户注视呈田字格显示的9个参考点，所述电动轮椅控制系统测量瞳孔与光斑的相对位置偏移量，然后通过最小二乘曲线拟合确定出瞳孔光斑相对偏移量与注视点的映射函数关系式。8.按照权利要求7所述的方法，其特征在于：步骤三中所述处理器(1)调用路径规划模块规划出电动轮椅从当前位置到达眼睛注视点位置的路径时，采用遗传算法进行路径规划，并采用改进的细菌觅食优化算法产生遗传算法的初始群体；具体过程为：步骤301、环境建模：将电动轮椅看作一个点，并设置电动轮椅与环境中障碍物的理想间隔距离为步骤302、染色体编码：将电动轮椅到达眼睛注视点的整个路径表示为其中为第i′段路径段的矢量表示，它的两个端点分别表示为Pi′和Pi′+1，符号“+”表示矢量的运算；用O表示原点，将表示为整个机器人的运动路径表示为路点矢量集合n为路点总数，中i′的取值为1～n-1，为原点O到端点Pi′的路径段的矢量表示，为原点O到端点Pi′+1的路径段的矢量表示；设Pi′的坐标点表示为(xpi′,ypi′)，将路径以坐标点形式储存，完成对染色体的编码，所有的路径T是可能的一个满足条件路径；步骤303、群体初始化：采用改进的细菌觅食优化算法产生从当前位置到眼睛注视点的可行路径集合，作为遗传算法的初始群体；步骤304、构造适应度函数：构造适应度函数为f(p)＝wd·dist(p)+ws·smooth(p)+wc·clear(p)，其中，dist(p)为路径长度且用公式表示为d(Li′,Li′+1)表示Li′与Li′+1之间的距离，Li′+1为第i′+1段路径段的矢量表示，wd为路径长度的加权系数；smooth(p)为平滑度且用公式表示为ψ为电动轮椅的理想偏转角度且S′为场景面积，OS′为所有障碍物所占的面积，κ为电动轮椅的偏转角度，ws为平滑度的加权系数；clear(p)为间隔度且用公式表示为γi′为第i′段路径段离障碍物的最短距离，wc为间隔度的加权系数；步骤305、遗传操作，具体过程包括：步骤3051、选择遗传操作的参数；所述遗传操作的参数包括种群规模、交叉概率和变异概率；步骤3052、交叉算子：对两个对象进行随即分割，然后重组得到两个新的个体；采用的线段的相交函数为当第i′段路径段与所有的障碍物不相交时的取值为0，当第i′段路径段与障碍物相交时的取值为1，并定义该段路径段与障碍物相交状态变化函数为当第i′+1段路径段与障碍物相交且第i′段路径段与所有的障碍物不相交时g′i′的取值为1，当第i′段路径段与障碍物相交且第i′+1段路径段与所有的障碍物不相交时g′i′的取值为-1，当第i′+1段路径段与障碍物相交且第i′段路径段与障碍物相交时，或者第i′+1段路径段与所有的障碍物不相交且第i′段路径段与所有的障碍物不相交时g′i′的取值为0；选择分割点的原则是：选择g′i′为1时对应的变化点作为1号父个体的第一分割点，选择紧随该点之后使得g′i′为-1的点作为第2分割点；对于2号父个体，选择过程恰好相反，选择g′i′为-1时对应的变化点作为2号父个体的第一分割点，选择紧随该点之后使得g′i′为1的变化点作...
【专利技术属性】
技术研发人员：潘红光，温帆，黄向东，米文毓，倪琪，张奇，黄心怡，高磊，雷心宇，薛纪康，苏涛，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：陕西,61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。