一种用于目标跟踪的人机交互装置制造方法及图纸

本发明专利技术提供了一种用于目标跟踪的人机交互装置，包括头盔设备，在头盔设备上设置有信息处理器、显示装置、视线追踪系统和多个摄像头。摄像头安装于头盔设备四周，摄像头用于实时拍摄所述头盔设备周围的场景视频并将拍摄的场景视频传输至所述信息处理器；视线追踪系统与信息处理器对接，视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪场景中的跟踪目标；信息处理器用于将场景视频进行融合拼接，得到360度的全景视频，还用于对从视线追踪系统确定的跟踪目标进行跟踪；显示装置用于接收并显示。本发明专利技术可自由的选择需要跟踪的目标，并可以360度无盲点地进行检测、跟踪目标物体，跟踪丢失率低，精确度高。

【技术实现步骤摘要】
一种用于目标跟踪的人机交互装置
本专利技术涉及人机交互领域，具体涉及一种用于目标跟踪的人机交互装置。
技术介绍
目前已有的目标跟踪设备大部分都是固定的摄像机设备，通过固定摄像机设备的旋转，单角度实时检测和跟踪目标物体。例如，通过固定的摄像头或网络摄像机获取场景中的图像，采集的图像视频数据通过处理器进行存储，并采用特定的算法对获得的图像进行处理、实时分析，快速检测出目标物体，并进行跟踪。这种目标跟踪算法依赖目标物体的选取，选取条件需要通过软件提前设置、然而，很多时候可能由于角度问题无法实时对目标物体进行检测跟踪，且其设备一般都是固定装置，体积相对比较庞大，移动性差，跟踪的范围有限，无法有效地对跟踪目标进行有效跟踪。
技术实现思路
针对上述问题，本专利技术提供一种用于目标跟踪的人机交互装置。该人机交互装置可移动、多角度地拍摄周围场景，并能够实时显示周围场景，可通过人眼视线人与装置的交互，自由、实时地选择需要跟踪的目标，并可以360度无盲点地检测、跟踪目标物体，跟踪丢失率低，精度高。本专利技术的目的采用以下技术方案来实现：一种用于目标跟踪的人机交互装置，该装置包括头盔设备，在所述头盔设备上设置有信息处理器、显示装置、视线追踪系统和多个摄像头。摄像头安装于头盔设备四周，摄像头用于实时拍摄头盔设备周围的场景视频并将拍摄的场景视频传输至信息处理器。视线追踪系统与信息处理器对接，视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪场景中的跟踪目标。信息处理器用于将场景视频进行融合拼接，得到360度的全景视频，还用于对从视线追踪系统确定的跟踪目标进行跟踪。显示装置用于接收并显示所述全景视频。本专利技术的有益效果为：本专利技术利用头盔装置的可移动性，通过多个摄像头可多角度拍摄周围场景，通过显示装置实时显示周围场景，通过视线追踪系统可实现人与装置的交互，人眼可自由、实时地选择需要跟踪的目标，并可以360度无盲点地进行检测、跟踪目标物体，跟踪丢失率低，精度高。附图说明利用附图对本专利技术作进一步说明，但附图中的实施例不构成对本专利技术的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。图1是本专利技术的原理图；图2是本专利技术视线追踪系统的框架结构图；图3是本专利技术的信息处理器的框架结构图。附图标记：头盔设备1；信息处理器2；显示装置3；视线追踪系统4；摄像头5；红外光源6；摄像机7；目标获取模块21；初始化模块22；跟踪模块23；外观评价子模块231；运动评价子模块232；定位子模块233；目标尺度更新及选择子模块234；具体实施方式结合以下实施例对本专利技术作进一步描述。一种用于目标跟踪的人机交互装置，该人机交互装置包括头盔设备1，在头盔设备1上设置有信息处理器2、显示装置3、视线追踪系统4和多个摄像头5。摄像头5安装于头盔设备1四周，摄像头5用于实时拍摄头盔设备1周围的场景视频并将拍摄的场景视频传输给信息处理器2。视线追踪系统4与信息处理器2对接，视线追踪系统4通过对使用者的人眼视线追踪，确定使用者选择跟踪场景中的跟踪目标。信息处理器2用于将场景视频进行融合拼接，得到360度的全景视频，还用于对从视线追踪系统4确定的跟踪目标进行跟踪。显示装置3用于接收并显示。可选地，摄像头5至少4个，分别安装于头盔设备1四周的前后左右四面，显示装置3为眼镜式微型显示屏。信息处理器2包括目标获取模块21、初始化模块22和跟踪模块23；所述目标获取模块21根据视线追踪系统4得到的跟踪目标，从所述全景视频中选取一帧图像作为起始帧，并在起始帧中标记出跟踪目标；初始化模块22用于对起始帧进行初始化处理，跟踪模块23根据所述初始化模块22的初始化结果，对跟踪目标进行跟踪。所述对起始帧进行初始化处理，具体包括：(1)从起始帧中跟踪目标所在的目标区域内采样一定数量的局部图像块作为正训练样本，从目标区域附近的背景区域内随机采样一定数量的局部图像块作为负训练样本；(2)从正训练样本和负训练样本中提取起始帧的图像特征，该图像特征包括：正训练样本的颜色特征、梯度特征及其相对于跟踪目标中心的空间位置偏移信息和负训练样本的颜色特征及梯度特征；根据得到的图像特征构建一个决策树为I的霍夫森林检测器；(3)从目标区域内随机采用一定数量的局部图像块作为光流跟踪块，并对光流跟踪块的初始位置进行随机初始化。所述跟踪模块23包括外观评价子模块231、运动评价子模块232、定位子模块233和目标尺度更新及选择子模块234；所述外观评价子模块231用于对通过霍夫森林检测器后的t时刻的视频帧中跟踪目标中心位置坐标进行霍夫投票，根据投票结果得到外观特征置信度值；所述运动评价子模块232用于根据跟踪目标在空时域的运动信息，对光流跟踪块进行处理，输出t时刻的视频帧中跟踪目标中心位置坐标的运动特征置信度值；所述定位子模块233用于根据获得外观特征置信度值和运动特征置信度值对t时刻时的视频帧中跟踪目标中心位置坐标进行估计，得到跟踪目标中心位置估计坐标；所述目标尺度更新及选择子模块234用于根据定位子模块233得到的估计坐标，实现对目标区域的尺度更新同时从更新后t时刻的视频帧中重新选取正训练样本、负训练样本和光流跟踪块，根据重新选取的正训练样本和负训练样本对霍夫森林检测器进行更新。优选地，对跟踪目标的中心位置坐标进行霍夫投票，根据投票结果得到外观特征置信度值，具体包括：(1)载入t时刻时的视频图像，从该视频图像中提取一定数量的局部图像块，并将每个局部图像块通过霍夫森林检测器，霍夫森林检测器中的决策树判断局部图像块是否属于跟踪目标，当决策树判定局部图像块属于跟踪目标时，则对跟踪目标中心位置坐标进行霍夫投票，并累积投票结果，其中对视频图像坐标(x,y)处的累积投票值计算公式如下：式中，为t时刻时支持跟踪目标中心位置坐标位于坐标(x,y)处的累积投票值，H为感兴趣区域，感兴趣区域是指目标区域及其目标区域附近的背景区域，I表示霍夫森林检测器中决策树的总数，Li(a′,b′)表示中心坐标是(a′,b′)的局部图像块经过第i个决策树模型所到达的叶子节点，p((x,y)|Li(a′,b′))表示中心坐标是(a′,b′)的局部图像块经过第i个决策树模型的条件下，跟踪目标中心位置坐标位于(x,y)的概率；(2)计算所有可能为跟踪目标中心位置坐标的累积投票值，利用下式计算所有可能为跟踪目标中心位置坐标点的外观特征置信度值：其中，为t时刻时跟踪目标中心位置坐标位于(x,y)处的外观特征置信度值，为t时刻跟踪目标中心位置坐标位于(x,y)处的累积投票值，H为感兴趣区域，为所有可能为跟踪目标中心位置坐标点处的累积投票值构成的集合；有益效果：外观评价子模块231是基于霍夫森林模型实现的，根据上一时刻视频帧训练得到的霍夫森林检测器对下一时刻视频图像中的跟踪目标的中心位置坐标进行累积投票，选取投票峰值最高的坐标作为跟踪目标的中心位置，该做法降低了目标尺度变化或者姿态变化对外观置信度值的影响，提高了对目标追踪的准确度，有利于对后续跟踪目标进行精确定位。优选地，对光流跟踪块进行处理，输出t时刻时的视频图像中跟踪目标的中心位置坐标的运动置信度值，具体包括：(1)根据从所述初始化模块22得到的光流跟踪块，利用本文档来自技高网...

【技术保护点】
1.一种用于目标跟踪的人机交互装置，其特征在于，所述装置包括头盔设备，在所述头盔设备上设置有信息处理器、显示装置、视线追踪系统和多个摄像头；所述摄像头安装于所述头盔设备四周，所述摄像头用于实时拍摄所述头盔设备周围的场景视频并将拍摄的场景视频传输至所述信息处理器；所述视线追踪系统与所述信息处理器对接，所述视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪场景中的跟踪目标；所述信息处理器用于将所述场景视频进行融合拼接，得到360度的全景视频，还用于对从所述视线追踪系统确定的跟踪目标进行跟踪；所述显示装置用于接收并显示所述全景视频。

【技术特征摘要】
1.一种用于目标跟踪的人机交互装置，其特征在于，所述装置包括头盔设备，在所述头盔设备上设置有信息处理器、显示装置、视线追踪系统和多个摄像头；所述摄像头安装于所述头盔设备四周，所述摄像头用于实时拍摄所述头盔设备周围的场景视频并将拍摄的场景视频传输至所述信息处理器；所述视线追踪系统与所述信息处理器对接，所述视线追踪系统通过对使用者的人眼视线追踪，确定使用者选择跟踪场景中的跟踪目标；所述信息处理器用于将所述场景视频进行融合拼接，得到360度的全景视频，还用于对从所述视线追踪系统确定的跟踪目标进行跟踪；所述显示装置用于接收并显示所述全景视频。2.根据权利要求1所述的人机交互装置，其特征在于，所述摄像头至少4个，分别安装于头盔设备四周的前后左右四面，所述显示装置为眼镜式微型显示屏。3.根据权利要求2所述的人机交互装置，其特征在于，所述信息处理器包括目标获取模块、初始化模块和跟踪模块；所述目标获取模块根据所述视线追踪系统得到的跟踪目标，从所述全景视频中选取一帧图像作为起始帧，并标记起始帧中跟踪目标；所述初始化模块用于对起始帧进行初始化处理，所述跟踪模块根据所述初始化模块的初始化结果，对跟踪目标进行跟踪。4.根据权利要求3所述的人机交互装置，其特征在于，所述对起始帧进行初始化处理，具体包括：(1)从起始帧中跟踪目标所在的目标区域内采样一定数量的局部图像块作为正训练样本，从目标区域附近的背景区域内随机采样一定数量的局部图像块作为负训练样本；(2)从正训练样本和负训练样本中提取起始帧的图像特征，该图像特征包括：正训练样本的颜色特征、梯度特征及其相对于跟踪目标中心的空间位置偏移信息和负训练样本的颜色特征及梯度特征，根据得到的图像特征构建一个决策树为I的霍夫森林检测器；(3)从目标区域内随机采用一定数量的局部图像块作为光流跟踪块，并对光流跟踪块的初始位置进行随机初始化。5.根据权利要求4所述的人机交互装置，其特征在于，所述跟踪定位模块包括外观评价子模块、运动评价子模块、定位子模块和目标尺度更新及选择子模块；所述外观评价子模块用于对通过霍夫森林检测器后的t时刻的视频帧中跟踪目标中心位置坐标进行霍夫投票，根据投票结果得到外观特征置信度值；所述运动评价子模块用于根据跟踪目标在空时...

【专利技术属性】
技术研发人员：李文清，
申请(专利权)人：李文清，
类型：发明
国别省市：安徽,34