使用神经网络和角点检测器进行角点检测的方法和装置制造方法及图纸

一种被配置为由用户头戴的装置包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所在的环境；以及处理单元，其被耦合到相机系统，该处理单元被配置为：针对环境的图像获得特征的位置，其中，特征的位置由神经网络识别；在图像中确定针对特征之一的感兴趣区域，该感兴趣区域的大小小于图像的大小；以及在感兴趣区域中使用角点检测算法来执行角点检测以识别角点。行角点检测以识别角点。行角点检测以识别角点。

【技术实现步骤摘要】
【国外来华专利技术】使用神经网络和角点检测器进行角点检测的方法和装置


[0001]本公开涉及头戴式图像显示设备，以及用于在由头戴式图像显示设备生成的图像中检测角点的方法和装置。

技术介绍

[0002]现代计算和显示技术已促进了用于所谓“虚拟现实”(VR)或“增强现实”(AR)体验的“混合现实”(MR)系统的开发，其中，数字再现的图像或其部分以看起来真实或可被感知为真实的方式呈现给用户。VR场景通常涉及数字或虚拟图像信息的呈现，而对实际的真实世界视觉输入不透明。AR场景通常涉及将数字或虚拟图像信息呈现为对用户周围的真实世界的可视化的增强(即，对真实世界视觉输入透明)。因此，AR场景涉及对真实世界视觉输入透明的数字或虚拟图像信息的呈现。
[0003]MR系统可以生成并显示颜色数据，这增加了MR场景的真实性。这些MR系统中的许多MR系统通过接连不断地以与彩色图像相对应的不同颜色(例如，原色)或“场”(例如，红色、绿色和蓝色)顺序地投影子图像来显示颜色数据。以足够高的速率(例如60Hz、120Hz等)投影彩色子图像可以在用户的脑海中提供平滑的彩色MR场景。
[0004]各种光学系统以各种深度生成包括彩色图像的图像，以用于显示MR(VR和AR)场景。MR系统可以采用至少松散地耦合到用户的头部的可穿戴显示设备(例如，头戴式显示器、头盔式显示器、或智能眼镜)，并因此在用户的头部移动时移动。如果显示设备检测到用户的头部运动，则正在显示的数据可被更新(例如，“扭曲”)以考虑头部姿态(即，用户的头部的取向和/或位置)的变化。
[0005]作为示例，如果佩戴头戴式显示设备的用户观看在显示器的虚拟对象的虚拟表示并在虚拟对象出现的区域周围走动，则可以针对每个视点渲染虚拟对象，向用户给出他正在绕着占据真实空间的对象走动的感知。如果头戴式显示设备被用于呈现多个虚拟对象，则头部姿态的测量可被用于渲染场景以匹配用户的动态变化的头部姿态并提供增强的沉浸感。
[0006]启用AR的头戴式显示设备提供真实对象和虚拟对象的同时观看。采用“光学透视”显示器，用户可以透视显示系统中的透明(或半透明)元件以直接观看来自环境中的真实对象的光。透明元件(通常被称为“组合器”)将来自显示器的光叠加在用户对真实世界的视图上，其中来自显示器的光将虚拟内容的图像投影到环境中的真实对象的透视图上。相机可以被安装在头戴式显示设备上以捕获用户正在观看的场景的图像或视频。
[0007]当前的光学系统(诸如MR系统中的那些光学系统)光学渲染虚拟内容。内容是“虚拟的”，因为它不对应于位于空间中相应位置的真实物理对象。相反，当受到指向用户眼睛的光束刺激时，虚拟内容仅存在于头戴式显示设备的用户的大脑(例如，光学中心)中。
[0008]在一些情况下，头戴式图像显示设备可以相对于真实环境显示虚拟对象，和/或可以允许用户相对于真实环境放置和/或操纵虚拟对象。在这样的情况下，图像显示设备可以被配置为相对于真实环境定位用户，以使得虚拟对象可以相对于真实环境被正确地移动。
头戴式图像显示设备可以使用定位图来执行定位。特别地，当执行定位时，图像显示设备可以从图像显示设备的相机系统获得实时输入图像，并将输入图像中的特征与定位图的特征进行匹配。
[0009]因此，特征检测是头戴式图像显示设备的重要特征。在此描述用于在图像中检测特征(诸如角点)的方法和装置。所检测的角点可以被用作创建定位图的特征。可替代地，角点可被检测为来自输入图像的特征，以用于与定位图的特征相匹配以用于用户的定位。

技术实现思路

[0010]本公开一般涉及使用神经网络和角点检测器的组合的兴趣点检测。
[0011]在本文所描述的一个实施例中，(使用神经网络和特征检测器两者的)混合方法利用用于实时或非实时处理图像以提取特征(例如，角点)候选的(一个或多个)硬件和/或软件块连同神经网络(例如，轻量级神经网络)一起有效地分类和提取存在良好特征(例如，角点)候选的区域。然后，从候选中选择良好特征(例如角点)。该技术优于现有的解决方案，现有的解决方案与较高的图像噪声(例如，在低光下)和难以识别特征(例如，角点)的区域斗争，因为所有的现有的解决方案在本质上都是非常局部的。神经网络的优势在于它使用图像的更大的上下文来识别特征(例如，角点)，即使难以单独基于附近的像素来做到这一点。混合方法也优于被训练以提取特征(例如角点)的其它神经网络。特别地，这些神经网络远不如本文所描述的混合方法那么快速和有效，因为它们端到端地提取特征(例如角点)，这需要大量的计算资源和存储器，并且不是实时的。
[0012]一种被配置为由用户头戴的装置包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所在的环境；以及处理单元，其被耦合到相机系统，该处理单元被配置为：针对环境的图像获得特征的位置，其中，特征的位置由神经网络识别；在图像中确定针对特征之一的感兴趣区域，该感兴趣区域的大小小于图像的大小；以及在感兴趣区域中使用角点检测算法来执行角点检测以识别角点。
[0013]一种被配置为由用户头戴的装置包括：屏幕，其被配置为向用户呈现图形；相机系统，其被配置为观看用户所在的环境；以及处理单元，其被耦合到相机系统，该处理单元被配置为：针对与环境相关联的图像数据获得特征的位置，其中，特征的位置由神经网络识别；在图像中确定针对特征之一的感兴趣区域，该感兴趣区域的大小小于图像的大小；以及在感兴趣区域中使用角点检测算法来执行角点检测以识别角点。
[0014]可选地，处理单元被配置为将感兴趣区域确定为具有基于由神经网络识别的位置中的至少一个位置的定位，其中，该定位是相对于图像的。
[0015]可选地，图像数据与由相机系统生成并被发送到神经网络的至少一个图像相关联。
[0016]可选地，相机系统被配置为生成图像以及向神经网络发送图像。
[0017]可选地，神经网络在该装置的模块中。
[0018]可选地，神经网络在远离该装置的一个或多个计算设备中实现。
[0019]可选地，神经网络具有机器学习能力。
[0020]可选地，处理单元被配置为通过获得由神经网络生成的热图来获得特征的位置，热图指示特征的位置。
[0021]可选地，感兴趣区域包括N
×
N块(patch)，并且处理单元被配置为对N
×
N块执行角点检测，其中，N是大于1的整数。
[0022]可选地，感兴趣区域包括具有少于或等于144个像素的块，并且处理单元被配置为对该块执行角点检测。
[0023]可选地，感兴趣区域包括8
×
8块，并且处理单元被配置为对8
×
8块执行角点检测。
[0024]可选地，图像数据包括从由相机系统生成的至少一个高分辨率图像降低分辨率的至少一个低分辨率图像。
[0025]可选地，图像具有第一分辨率，并且其中，特征的位置由神经网络基于具有小于第一分辨率的第二分辨率的另一个图像来识别。
[0026]可本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种被配置为由用户头戴的装置，包括：屏幕，其被配置为向所述用户呈现图形；相机系统，其被配置为观看所述用户所在的环境；以及处理单元，其被耦合到所述相机系统，所述处理单元被配置为：针对与所述环境相关联的图像数据获得特征的位置，其中，所述特征的所述位置由神经网络识别；在所述图像中确定针对所述特征之一的感兴趣区域，所述感兴趣区域的大小小于所述图像的大小；以及在所述感兴趣区域中使用角点检测算法来执行角点检测以识别角点。2.根据权利要求1所述的装置，其中，所述处理单元被配置为将所述感兴趣区域确定为具有基于由所述神经网络识别的所述位置中的至少一个位置的定位，以及其中，所述定位是相对于所述图像的。3.根据权利要求1所述的装置，其中，所述图像数据与由所述相机系统生成并被发送到所述神经网络的至少一个图像相关联。4.根据权利要求1所述的装置，其中，所述神经网络在所述装置的模块中。5.根据权利要求1所述的装置，其中，所述神经网络在远离所述装置的一个或多个计算设备中实现。6.根据权利要求1所述的装置，其中，所述神经网络具有机器学习能力。7.根据权利要求1所述的装置，其中，所述处理单元被配置为通过获得由所述神经网络生成的热图来获得所述特征的所述位置，所述热图指示所述特征的所述位置。8.根据权利要求1所述的装置，其中，所述感兴趣区域包括N
×
N块，并且所述处理单元被配置为对所述N
×
N块执行所述角点检测，其中，N是大于1的整数。9.根据权利要求1所述的装置，其中，所述感兴趣区域包括具有少于或等于144个像素的块，并且所述处理单元被配置为对所述块执行所述角点检测。10.根据权利要求1所述的装置，其中，所述感兴趣区域包括8
×
8块，并且所述处理单元被配置为对所述8
×
8块执行所述角点检测。11.根据权利要求1所述的装置，其中，所述图像数据包括从由所述相机系统生成的至少一个高分辨率图像降低分辨率的至少一个低分辨率图像。12.根据权利要求11所述的装置，其中，所述处理单元还被配置为将具有所述第一分辨率的图像转换为具有所述第二分辨率的另一个图像。13.根据权利要求11所述的装置，其中，所述第一分辨率包括VGA分辨率。14.根据权利要求11所述的装置，其中，所述第二分辨率包括QVGA分辨率。15.根据权利要求1所述的装置，进一步包括所述神经网络。16.根据权利要求15所述的装置，其中，已使用参考数据集对所述神经网络进行训练。17.根据权利要求15所述的装置，其中，所述神经网络包括卷积神经网络。18.根据权利要求15所述的装置，其中，所述神经网络被配置为计算兴趣点位置和描述符。19.根据权利要求15所述的装置，其中，所述神经网络包括被配置为在空间上对输入图像进行下采样的编码器。
20.根据权利要求19所述的装置，其中，所述神经网络还包括：兴趣点解码器，其被配置为对来自所述编码器的编码器输出进行操作，并针对所述输入图像中的每个像素产生分数；以及描述符解码器，其被配置为对所述编码器输出进行操作，将所述编码器输出上采样到更高分辨率，并针对所述输入图像中的每个像素产生向量。21.根据权利要求15所述的装置，其中，所述神经网络被配置为使用单应性适应来提高兴趣点检测器的几何一致性。22.根据权利要求21所述的装置，其中，所述神经网络包括被配置为训练所述兴趣点检测器的卷积神经网络。23.根据权利要求21所述的装置，其中，所述神经网络被配置为在所述单应性适应中执行图像扭曲以创建一个或多个经扭曲的图像。24.根据权利要求1所述的装置，其中，所述处理单元被配置为至少部分地基于所述角点在所述感兴趣区域中的位置来确定所述角点在所述图像中的位置。25.根据权利要求24所述的装置，进一步包括非暂态介质，所述非暂态介质被配置为存储所述图像中的所述第一角点的位置。26.根据权利要求1所述的装置，其中，所述处理单元被配置为针对所述感兴趣区域中的每个...

【专利技术属性】
技术研发人员：A，
申请(专利权)人：奇跃公司，
类型：发明
国别省市：