一种视觉跟踪方法和跟踪装置制造方法及图纸

技术编号:15640363 阅读:461 留言:0更新日期:2017-06-16 05:26
本发明专利技术的视觉跟踪方法和视觉跟踪装置,用于解决眼部对象无法准确实时定位的技术问题。包括:获取眼部图案;建立眼部对象关键点;利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据。避免了大量冗余图像信号的处理,精简了图像处理的运算量。眼部关键点的建立采用监督或半监督学习,利用量化工具形成具有较高的标定数据质量,关键点标定数据在图像处理方法中对眼部对象如虹膜数据的分类起到定向裁剪的效果,满足眼部对象的准确定位。并有利于进一步确定其他眼部对象如瞳孔边界,进一步形成准确的视觉焦点和视觉运动轨迹。

【技术实现步骤摘要】
一种视觉跟踪方法和跟踪装置
本专利技术涉及生物反馈信号数据处理
,特别涉及一种视觉信号数据处理。
技术介绍
视觉识别和追踪主要是判断眼球瞳孔的注意方向和注意轨迹,由于瞳孔是由巩膜、虹膜等生理器官和组织构成,导致瞳孔的围成具有较大的个体化差异,其中以虹膜的差异最大。目前的技术手段主要采用对眼部进行图像识别,利用二值特征、梯度直方图等,结合膨胀腐蚀等滤波操作,来达到提取虹膜位置的目的。但是上述方法基本是基于先验知识,针对复杂的生物个体差异,需要确定较多的假设参数集合和阈值范围,只能在有限的场景下有效,准确度低不能针对实时场景中动态形象的虹膜处理。
技术实现思路
有鉴于此,本专利技术实施例提供一种视觉跟踪方法和跟踪装置,用于解决眼部对象无法准确实时定位的技术问题。本专利技术的视觉跟踪方法,包括:获取眼部图案;建立眼部对象关键点;利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据。还包括:将眼部对象的连续变化,形成视觉跟踪数据;将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。所述获取眼部图案包括:获取脸部的五官轮廓;根据眼部特征点裁剪出对称的眼部图像。所述建立眼部对象关键点包括:利用半人工或自动的方式建立眼部对象;利用半人工或自动的方式形成眼部对象的关键点。所述利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据包括:将眼部图案的像素数据导入ERT算法作为训练数据进行处理;将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果;根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。所述将眼部对象的连续变化,形成视觉跟踪数据包括:在实时获取的眼部图案中,根据眼部对象的相对位置变化形成视觉跟踪数据;在实时获取的眼部图案中,根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。所述将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化包括:建立眼部对象和/或眼部对象的关键点,与眼部三维模型或二维模型中的对象和对象的关键点的映射,形成虚拟视觉焦点;利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动,形成虚拟视觉的变化。本专利技术的视觉跟踪装置,包括:图像获取模块,用于获取眼部图案;关键数据建立模块,用于建立眼部对象关键点;对象识别模块,用于利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定虹膜位置,形成视觉焦点数据。还包括:视觉跟踪数据生成模块,用于将眼部对象的连续变化,形成视觉跟踪数据;虚拟视觉控制模块,用于将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。所述图像获取模块包括:轮廓获取子模块,用于获取脸部的五官轮廓;图像裁剪子模块,用于根据眼部特征点裁剪出对称的眼部图像。所述关键数据建立模块包括:眼部对象建立子模块,用于利用半人工或自动的方式建立眼部对象;对象关键点建立子模块,用于利用半人工或自动的方式形成眼部对象的关键点。所述对象识别模块包括:图像导入子模块,用于将眼部图案的像素数据导入ERT算法作为训练数据进行处理;图像处理子模块,用于将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果;眼部对象位置生成子模块,用于根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。所述视觉跟踪数据生成模块包括:眼部对象轨迹生成子模块,用于在实时获取的眼部图案中,根据眼部对象的相对位置变化形成视觉跟踪数据;对象关键点轨迹生成子模块,用于在实时获取的眼部图案中,根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。所述虚拟视觉控制模块包括:虚拟焦点生成子模块,用于建立眼部对象和/或眼部对象的关键点,与眼部三维模型或二维模型中的对象和对象的关键点的映射,形成虚拟视觉焦点;虚拟视觉生成子模块,用于利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动,形成虚拟视觉的变化。本专利技术的视觉跟踪方法和视觉跟踪装置在利用成熟的脸部检测技术基础上确定眼部图案,避免了大量冗余图像信号的处理,精简了图像处理的运算量。眼部关键点的建立采用监督或半监督学习,利用量化工具形成具有较高的标定数据质量,关键点标定数据在图像处理方法中对眼部对象如虹膜数据的分类起到定向裁剪的效果,满足眼部对象的准确定位。并有利于进一步确定其他眼部对象如瞳孔边界,进一步形成准确的视觉焦点和视觉运动轨迹。附图说明图1为本专利技术一实施例的视觉跟踪方法的流程图。图2为本专利技术一实施例的视觉跟踪方法的流程图。图3为本专利技术一实施例的视觉跟踪方法的流程图。图4为现有技术中确定的脸部五官轮廓的68特征点示意图。图5为本专利技术一实施例的视觉跟踪方法中左眼图案中眼部对象关键点的结构示意图。图6为本专利技术一实施例的视觉跟踪装置的架构示意图。图7为本专利技术一实施例的视觉跟踪装置的架构示意图。图8为本专利技术一实施例的视觉跟踪装置的架构示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记,不表示执行顺序。图1为本专利技术一实施例的视觉跟踪方法的流程图。如图1所示,本专利技术实施例的视觉跟踪方法包括:步骤10:获取眼部图案;步骤20:建立眼部对象关键点;步骤30:利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据。本专利技术实施例的视觉跟踪方法在利用成熟的脸部检测技术基础上确定眼部图案,避免了大量冗余图像信号的处理,精简了图像处理的运算量。眼部关键点的建立采用监督或半监督学习,利用量化工具形成具有较高的标定数据质量,关键点标定数据在例如ERT(EnsembleofRegressionTrees)处理方法中对眼部对象如虹膜数据的分类起到定向裁剪的效果,满足眼部对象虹膜边界的准确定位。并有利于进一步确定其他眼部对象如瞳孔边界。图2为本专利技术一实施例的视觉跟踪方法的流程图。如图2所示,在上述实施例基础上,本专利技术实施例的视觉跟踪方法还包括:步骤40:将眼部对象的连续变化,形成视觉跟踪数据;步骤50:将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。本专利技术实施例的视觉跟踪方法,将人眼的连续视觉焦点数据形成视觉跟踪数据,基于成熟的坐标变化过程,就可以形成拟人对象眼部的虹膜对象和瞳孔对象的相应动作,实现拟人对象对真人视觉眼神的同步正反馈,丰富拟人对象的情感表达清晰度。图3为本专利技术一实施例的视觉跟踪方法的流程图。如图3所示,在本专利技术一实施例的视觉跟踪方法中,步骤10还包括:步骤11:获取脸部的五官轮廓。五官轮廓的获取例如dlib人脸检测模型获得68特征点(如图4所示),需要明确的是五官轮廓的特征点不能用于精确描述五官的位置和特点。步骤12:根据眼部特征点裁剪出对称的眼部图像。如图4和图5所示,裁剪以68特征点为例,采用最小外接矩形算法分别裁剪出特征点37~42眼部包围的左眼图案和特征点43~48包围的右眼图案。在本专利技术一实施例的视觉跟踪方法中,步骤20还包括:本文档来自技高网...
一种视觉跟踪方法和跟踪装置

【技术保护点】
一种视觉跟踪方法,包括:获取眼部图案;建立眼部对象关键点;利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据。

【技术特征摘要】
1.一种视觉跟踪方法,包括:获取眼部图案;建立眼部对象关键点;利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据。2.如权利要求1所述的视觉跟踪方法,还包括:将眼部对象的连续变化,形成视觉跟踪数据;将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化。3.如权利要求2所述的视觉跟踪方法,其特征在于,所述获取眼部图案包括:获取脸部的五官轮廓;根据眼部特征点裁剪出对称的眼部图像。4.如权利要求2所述的视觉跟踪方法,其特征在于,所述建立眼部对象关键点包括:利用半人工或自动的方式建立眼部对象;利用半人工或自动的方式形成眼部对象的关键点。5.如权利要求2所述的视觉跟踪方法,其特征在于,所述利用眼部对象关键点作为对象处理方法的测试数据处理眼部图案,确定眼部对象位置,形成视觉焦点数据包括:将眼部图案的像素数据导入ERT算法作为训练数据进行处理;将确定的眼部对象及眼部对象关键点作为测试数据修正ERT算法的处理结果;根据修正的处理结果形成眼部对象的准确轮廓和准确的相对位置关系。6.如权利要求2所述的视觉跟踪方法,其特征在于,所述将眼部对象的连续变化,形成视觉跟踪数据包括:在实时获取的眼部图案中,根据眼部对象的相对位置变化形成视觉跟踪数据;在实时获取的眼部图案中,根据眼部对象的相应关键点的相对位置变化形成视觉跟踪数据。7.如权利要求2所述的视觉跟踪方法,其特征在于,所述将视觉跟踪数据作为控制信号用于虚拟视觉的动作变化包括:建立眼部对象和/或眼部对象的关键点,与眼部三维模型或二维模型中的对象和对象的关键点的映射,形成虚拟视觉焦点;利用视觉跟踪数据控制眼部三维模型或二维模型中的对象和/或对象的关键点的移动,形成虚拟视觉的变化。8.一种视觉跟踪装置,包括:图像获取模块,用于获取眼部图案;关键数据建立模块,用于建立眼部对象关键点;对象识别模块,用于利用眼...

【专利技术属性】
技术研发人员:周鸣金宇林伏英娜
申请(专利权)人:迈吉客科技北京有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1