对提供镜面反射和反射修改的表面进行基于图像的检测制造技术

本公开涉及对提供镜面反射和反射修改的表面进行基于图像的检测。本文公开的各种具体实施包括检测表面和该表面中的反射的设备、系统和方法。一些具体实施涉及提供包括虚拟内容的CGR环境，该虚拟内容替换提供反射的反射镜或其他表面中的用户或该用户的设备的外观。例如，该CGR环境能够被修改为包括该用户的反射，该反射不包括该用户正握持或穿戴的该设备。在另一个示例中，该CGR环境被修改，使得虚拟内容诸如较新版本的电子设备或虚拟棒替换在该反射中的该电子设备。在另一个示例中，该CGR环境被修改，使得虚拟内容诸如用户头像替换在该反射中的该用户。

【技术实现步骤摘要】
对提供镜面反射和反射修改的表面进行基于图像的检测相关申请的交叉引用本申请要求2019年8月26日提交的美国临时申请序列号62/891,510的权益，并且要求2020年6月5日提交的美国临时申请序列号63/035,160的权益，这两个临时申请均全文并入本文。
本公开整体涉及检测提供镜面反射、修改反射的表面或提供描绘此类表面和反射的内容的系统、方法和设备。
技术介绍
现有技术可能无法准确地检测和定位反射镜、反射玻璃、液体以及在物理环境中提供镜面反射的其他表面。现有技术在电子设备(包括由用户握持、携带或穿戴的设备)上提供内容时可能未另外准确地描绘此类表面和反射。例如，由用户握持的移动设备可基于用户的物理环境的图像来提供内容，并且该内容可能无法充分描绘或以其他方式利用反射镜和那些反射镜中的反射。
技术实现思路
本文所公开的各种具体实施包括检测反射镜、玻璃、液体和其他表面以及此类表面中的反射的设备、系统和方法。一些具体实施涉及检测用户或用户的设备在表面中的反射并提供虚拟内容，该虚拟内容增强或替换提供给用户的内容中的反射的外观。例如，环境的视图可被修改为包括用户的反射，该反射不包括用户正握持或穿戴的电子设备。在另一个示例中，可修改环境，使得虚拟内容诸如较新版本的电子设备或虚拟光剑在反射中替换电子设备。在另一个示例中，可修改环境，使得虚拟内容诸如头像在反射中替换用户。一些具体实施涉及由执行存储在非暂态计算机可读介质中的指令的处理器执行的方法。此类方法可涉及确定环境的视图包括用户或电子设备的反射。确定视图包括反射可涉及：识别用于提供视图的3D模型中的视点包括提供镜面反射的表面；以及确定该视点相对于该表面的角度。在一些具体实施中，确定视图包括反射涉及：例如经由语义分析来识别物理环境中的表面或材料；以及确定那些表面或材料的反射属性。在一些具体实施中，确定视图包括反射涉及：使用计算机视觉例如通过识别设备、用户或其他对象的镜像/反转图像来识别设备、用户或另一对象的反射，。该方法还可涉及识别替换内容以替换用户或电子设备的反射的至少一部分。在一些具体实施中，替换内容包括当手持移动设备被擦除、增强或以其他方式修改时将可见的用户身体的部分(例如，手、手臂等)或背景内容。在一些具体实施中，替换内容包括当腕戴式设备被擦除、增强或以其他方式修改时将可见的用户身体的部分(例如，手臂、衣服等)或背景内容。在一些具体实施中，替换内容包括当头戴式设备(HMD)被擦除、增强或以其他方式修改时将可见的用户头部的部分(例如，脸颊、眼睛、眉毛、头发等)或背景内容。在一些具体实施中，替换内容包括将代替电子设备显示的相同类型的电子设备的不同版本。此类替换内容可使得用户能够可视化(例如，虚拟地尝试)当前正使用的电子设备的较新版本或替代形式。在一些具体实施中，替换内容包括将与电子设备一起显示或替换该电子设备的现有附件的附件(例如，保护壳、带等)。在一些具体实施中，替换内容包括将代替用户的至少一部分的反射显示的头像，例如，用头像的头部或身体替换用户的头部或整个身体。在一些具体实施中，替换内容包括在将被擦除的电子设备或用户的一部分周围的生成的内容。例如，用户衣服的一部分可在反射中被设备隐藏。替换内容可描绘出在反射未改变以擦除或修改设备的情况下原本会被隐藏的内容。可使用先前或同时获取的物理环境、用户或物理环境中的对象的图像来生成或获取替换内容。例如，图像传感器可被配置为(例如，以面向下或面向身体的取向定位在可穿戴设备上等)捕获用户身体的图像以用于生成替换内容。在另一个示例中，可访问数据集以识别与用户的特征和偏好匹配的头像以用于生成替换内容。又如，用于替换先前隐藏的内容的其他内容的背景内容可经由阴影技术、空穴填充技术、内容幻觉技术、光线投射技术等来生成。该方法还可涉及基于替换内容生成CGR环境的经修改的视图。例如，可通过包括用户身体的对应部分的替换内容和/或在电子设备不在视图中的情况下原本可见(例如，不可见)的物理环境来擦除电子设备。本文所公开的一些具体实施基于物理环境的图像来定位提供镜面反射的反射镜、玻璃、液体和其他表面。在一些具体实施中，确定了物理环境的第一图像中描绘的表面的位置。表面的位置可通过例如从面向身体/面向下的相机或用户或对象的先前图像检测第一图像中对象(例如，用户、设备或设备上的显示内容)的与第二图像中对象的一部分匹配(例如，是其镜像)的一部分的镜面反射来确定。一些具体实施涉及由执行存储在非暂态计算机可读介质中的指令的处理器执行的方法。此类方法可获取第一图像和第二图像。第一图像可以为物理环境并且包括对象的一部分的镜面反射。例如，第一图像可由可见光/红-绿-蓝(RGB)图像传感器捕获，并且包括人、人的衣服、电子设备或任何其他对象中的一些或全部的反射。第二图像可包括同一对象的该部分的直接视图(例如，不是反射)。在一些具体实施中，第二图像由物理环境中的面向下或面向身体的相机捕获。在一些具体实施中，在较早时间捕获并且从数据集获取第二图像，例如，从用户配置文件获取用户配置文件图片。在一些具体实施中，第一图像和第二图像为同一图像的部分。例如，具有或不具有广角镜头的相机可捕获包括用户面部的一部分的直接视图和该用户面部的该部分的反射两者的图像。该方法可包括基于将第一图像中的对象的一部分的镜面反射与第二图像中的对象的该部分的直接视图匹配来检测第一图像中的镜面反射。如本文所用，短语镜面反射是指这样的反射，其中入射角(即，入射光线与法线之间的角度)大约等于反射角(即，反射光线与法线之间的角度)，并且入射光线、表面法线以及反射光线均位于大约相同的平面上。匹配可涉及匹配对象的该部分的形状、尺寸、颜色、纹理或移动。匹配可涉及识别其中对象的左侧和右侧反向的镜像版本的对象。该方法可包括基于镜面反射来确定表面在物理环境中的位置。这可基于设备在物理环境中的已知或确定的位置或取向以及图像中镜面反射的位置或尺寸。在一些具体实施中，基于图像数据或运动传感器数据(例如，经由基于特征匹配的定位技术、同时定位和映射(SLAM)技术等)来跟踪图像捕获设备在物理环境中的方位(例如，位置和取向)。在一些具体实施中，附加地或另选地使用语义标签(例如，关于对象类型、对象材料、对象特性等)来确定表面的位置。在一些具体实施中，定位提供镜面反射的表面且不生成物理环境的3D模型，例如，仅使用在2D图像中识别的反射或关于物理环境的其他基于传感器的信息。在一些具体实施中，基于与用户、设备或其他对象的已知尺寸相比的图像数据以及用于确定表面相对于设备在物理环境中的位置的3D位置的比较来测量反射中描绘的用户、设备或其他对象的像素尺寸。此类基于图像的比较中的图像中描绘的对象可使用算法或基于机器学习的模型进行语义标记、识别、测量或以其他方式评估。在一些具体实施中，附加传感器数据(例如，深度传感器数据)用于促进测量、定位、识别、标记或其他功能。在一些具体实施中，基于在捕获到图像时图像捕获设备的方位、所检测到的对象在该图像中的反射的像素位置以及所本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在处理器处：/n确定计算机生成现实(CGR)环境的视图包括来自用户或电子设备的表面的反射；/n识别替换内容以替换所述用户或所述电子设备的所述反射的至少一部分；以及/n基于所述CGR环境的所述视图和所述替换内容生成所述CGR环境的经修改的视图。/n

【技术特征摘要】
20190826 US 62/891,510;20200605 US 63/035,160;20201.一种方法，包括：
在处理器处：
确定计算机生成现实(CGR)环境的视图包括来自用户或电子设备的表面的反射；
识别替换内容以替换所述用户或所述电子设备的所述反射的至少一部分；以及
基于所述CGR环境的所述视图和所述替换内容生成所述CGR环境的经修改的视图。


2.根据权利要求1所述的方法，其中所述电子设备为头戴式设备(HMD)，所述方法还包括：
使用计算机视觉来识别图像中的所述反射，其中所述反射为所述HMD的反射。


3.根据权利要求1所述的方法，其中所述CGR环境的所述视图被确定为包括基于物理环境的三维(3D)模型的反射，所述方法还包括：
基于视点相对于所述表面的角度来识别所述3D模型中的所述视点。


4.根据权利要求1所述的方法，所述方法还包括：
识别所述表面的反射属性、透明度属性或粗糙度属性，其中基于所述表面的所述反射属性、所述透明度属性或所述粗糙度属性生成所述CGR环境的所述经修改的视图。


5.根据权利要求1所述的方法，其中所述电子设备为头戴式设备(HMD)，并且识别所述替换内容包括识别所述用户的脸颊、耳朵、头发、眼睛或眉毛的虚拟表示。


6.根据权利要求1所述的方法，其中识别所述替换内容包括识别用于所述电子设备的虚拟附件。


7.根据权利要求1所述的方法，其中识别所述替换内容包括识别要替换所述电子设备的虚拟设备，其中所述虚拟设备和所述电子设备是相同类型的设备的不同版本。


8.根据权利要求1所述的方法，其中识别所述替换内容包括识别要替换所述电子设备的虚拟内容，其中所述虚拟内容基于所述电子设备的移动在所述CGR环境中移动。


9.根据权利要求1所述的方法，所述方法还包括：
识别头像，其中识别所述替换内容包括将所述头像的尺寸或形状与所述用户匹配。


10.根据权利要求9所述的方法，其中基于所存储的数据或由面向所述用户的一个或多个相机收集的图像来识别所述头像。


11.根据权利要求1所述的方法，所述方法还包括：
估计所述用户的背景，其中所述替换内容包括所估计的背...

【专利技术属性】
技术研发人员：P·迈耶，D·库尔茨，B·C·克拉克，M·S·B·希马尼，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US