用于在无约束环境中检测人类视线和手势的系统和方法技术方案

一种用于在无约束环境中进行视线和手势检测的系统，包括360度(全向)相机系统、一个或多个深度传感器以及相关联的存储器、处理器和编程指令，以确定在无约束环境中人类用户关注的对象。说明性系统可以使用视线、手势检测和/或语音识别来识别对象。该系统可以生成显著性图并识别感兴趣的区域。可以将方向性向量投影在显著性图上，以找到感兴趣的交叉区域。一旦关注对象被定位，系统就可以识别关注对象。

【技术实现步骤摘要】
【国外来华专利技术】用于在无约束环境中检测人类视线和手势的系统和方法
本公开总体上涉及对人类移动的检测，更具体地，涉及在无约束环境中由智能机器进行的对人类视线或手势移动的检测。
技术介绍
随着交互式计算机、机器学习和人工智能的发展，对人类移动的机器检测已经变得普遍。台式计算机、智能手机、平板电脑、视频游戏系统以及具有集成或外围相机的其他设备可以包括检测人类移动甚至检测用户视线(例如，用户的眼睛正在看的方向)的能力。已知的手势控制和视线跟踪系统依赖于窄视野相机，并且被设计用于用户的运动以某种方式受到限制的环境(例如，估计驾驶员或计算机屏幕前的人的视线)。这些系统既不允许用户自由移动，在大多数情况下也不能观察到用户观察到的相同环境。在其中用户可以指示机器人在空间中的其他对象中接合(例如，移动或传递)对象的更一般的环境中，这些系统是无用的，并且也不能理解用户正在看什么或指向什么，因为关注的对象通常不在相机的视野中。
技术实现思路
本公开的实施例包括用于在无约束环境中进行视线和手势检测的系统。该系统可以包括图像捕获设备，该图像捕获设备被配置为生本文档来自技高网...

【技术保护点】
1.一种用于定位和识别对象的系统，所述系统包括：/n图像捕获设备，被配置为生成包括个体和感兴趣对象的无约束环境的360度图像；/n深度传感器，被配置为生成所述无约束环境的深度图；/n知识库；和/n处理器，被配置为：/n从所述360度图像和所述深度图生成环境图；/n确定来自所述360度图像中的所述个体的关注方向；/n生成代表所述关注方向的方向性向量；/n将来自所述个体的所述方向性向量投影到所述环境图上；/n检测所述方向性向量与所述感兴趣对象的交点；和/n使用与所述感兴趣对象相关的数据，在所述知识库中搜索所述感兴趣对象的身份。/n

【技术特征摘要】
【国外来华专利技术】20180417 US 15/955,3331.一种用于定位和识别对象的系统，所述系统包括：
图像捕获设备，被配置为生成包括个体和感兴趣对象的无约束环境的360度图像；
深度传感器，被配置为生成所述无约束环境的深度图；
知识库；和
处理器，被配置为：
从所述360度图像和所述深度图生成环境图；
确定来自所述360度图像中的所述个体的关注方向；
生成代表所述关注方向的方向性向量；
将来自所述个体的所述方向性向量投影到所述环境图上；
检测所述方向性向量与所述感兴趣对象的交点；和
使用与所述感兴趣对象相关的数据，在所述知识库中搜索所述感兴趣对象的身份。


2.根据权利要求1所述的系统，其中所述图像捕获设备是全景相机。


3.根据权利要求1所述的系统，其中所述处理器还被配置为根据视线、所述个体的手势方向中的至少一种或其组合确定所述关注方向。


4.根据权利要求1所述的系统，其中所述深度传感器是红外传感器、为深度估计而训练的神经网络或同时定位和绘图传感器中的一种。


5.一种用于定位和识别对象的方法，所述方法包括：
捕获包括个体和感兴趣对象的无约束环境的360度图像；
生成环境图；
确定来自所捕获的360度图像中的所述个体的关注方向；
生成代表所述关注方向的方向性向量；
将来自所述个体的所述方向性向量投影到所述环境图上；以及
检测所述方向性向量与所述感兴趣对象的交点。


6.根据权利要求5所述的方法，还包括：
在知识库中搜索所述感兴趣对象的身份；和
当在所述知识库中没有找到所述感兴趣对象的所述身份时，启动学习过程。


7.根据权利要求6所述的方法，其中，所述学习过程包括神经网络。


8.根据权利要求5所述的方法，其中，所述360度图像由单目全景相机捕获。


9.根据权利要求5所述的方法，...

【专利技术属性】
技术研发人员：S·A·I·斯滕特，
申请(专利权)人：丰田研究所股份有限公司，
类型：发明
国别省市：美国;US