基于场境线索选择增强现实对象以供显示制造技术

公开了用于基于与由和电子设备相关联的相机捕获的图像相关联的场境线索来选择增强现实(AR)对象的各种实施例。在电子设备处获得场境线索，并且从与电子设备相关联的存储器中识别AR对象。电子设备实现处理器，该处理器采用图像分割技术来将所识别的AR对象与所捕获的图像组合，并且渲染组合的图像以供在与电子设备相关联的显示器处显示。

【技术实现步骤摘要】
【国外来华专利技术】基于场境线索选择增强现实对象以供显示
技术介绍
随着处理器和其他计算模块已变得更有能力，增强现实应用和虚拟现实应用已变得日益复杂。虚拟现实应用经由诸如头戴式显示器的显示设备来向用户呈现虚拟环境，并且在一些情况下允许用户与虚拟环境交互。相比之下，增强现实应用将虚拟对象(在本文中称为“增强现实对象”)与用户的真实环境的图像合并。增强现实应用因此带来以提供令人满意的用户体验的方式将增强现实对象与真实环境的图像合并的挑战。附图说明通过参考附图，可以更好地理解本公开，并且其许多特征和优点变得对本领域的技术人员而言显而易见。在不同的附图中使用相同的附图标记指示类似或相同的项目。图1是依照一些实施例的基于场境线索在真实环境的图像中选择增强现实对象的电子设备的框图。图2是根据各种实施例的联网环境的示例。图3图示依照一些实施例的示例性排名场境。图4是图示根据各种实施例的被实现来基于与由和电子设备相关联的相机捕获的图像相关联的场境线索来选择增强现实对象的功能性的一个示例的流程图。具体实施方式图1-4图示依照一些实施例的用于基于场境线索选择增强现实对象以供在真实环境的图像中显示的技术。电子设备包括捕获真实环境的图像的相机以及传感器，诸如捕获电子设备的姿态(方位和定向)的惯性测量单元(IMU)。基于场境线索，诸如识别的用户表情、从所捕获的图像中识别的对象或图形、接收到的天气或其他环境信息、一天中的时间、声音信息等，电子设备选择并且修改来自存储器的增强现实(AR)对象。电子设备将所选择的AR对象与所捕获的图像合成以生成组合的图像以供显示。另外，随着场境线索改变，电子设备能够改变所选择的AR对象以反映改变场境，从而改进用户体验。图1图示依照一些实施例的基于电子设备100的姿态并且基于图像分割将增强现实对象放置在真实环境的图像中的电子设备100的框图。在一些实施例中，电子设备100可以包括例如提供计算能力的服务器计算机或其他系统。替换地，可以采用被例如布置在一个或多个服务器组或计算机组或布置中的多个电子设备100。例如，多个电子设备100一起可以包括云计算资源、网格计算资源和/或任何其他分布式计算机组件。此类电子设备100可以位于单个装置中或者可以分布在许多不同的地理位置当中。为了方便，在本文中以单数指代电子设备100。即使以单数指代电子设备100，也应理解，可以在如上所述的各种布置中采用多个电子设备100。电子设备100可以是能够生成或者显示AR内容的任何设备，包括台式或膝上型计算机、智能电话、平板、游戏机等。出于描述图1的示例实施例的目的，假定了电子设备100是智能电话。为了支持AR内容的显示，电子设备100包括相机102、处理器104、存储器105和显示器110。在至少一个实施例中，相机102是包括共同地捕获电子设备100的环境的图像(例如，图像108)的一个或多个图像传感器的数码相机。在一些实施例中，相机102被配置成自动地捕获环境的图像，而无需用户对每个单独的图像进行作动或干预。例如，随着用户在环境四处移动，相机102以指定间隔周期性地捕获环境的图像。如本文进一步描述的，图像能够由电子设备100用于一个或多个应用，诸如确定电子设备100的位置、识别电子设备100的环境中的对象等。处理器104是通常被配置成执行指令集(例如，应用)以如本文进一步描述的那样为电子设备100执行指定任务的通用或专用处理器。在各种实施例中，处理器104是被配置成如本文进一步描述的那样针对电子设备100执行操作的处理器件，诸如中央处理单元(CPU)、图形处理单元(GPU)、神经网络处理器或其组合。应领会，尽管为了清楚将处理器104图示为单个处理器，但是在一些实施例中，处理器104能够表示多个处理单元，其中每个处理单元包括一个或多个处理器核心或计算单元。显示器110是通常被配置成向电子设备100的用户显示图像的显示设备(例如，显示屏幕)。显示器110可以包括例如一个或多个设备，诸如阴极射线管(CRT)、液晶显示器(LCD)屏幕、基于气体等离子体的平板显示器、LCD投影仪或其他类型的显示设备。在一些实施例中，电子设备100包括用于将电子设备100连接到网络(例如，因特网)的网络接口(未示出)，电子设备100可以从所述网络接收天气信息、时间信息等。此外，在一些实施例中电子设备100包括用于从电子设备100的环境捕获信息的附加传感器(未示出)，诸如用于捕获电子设备100的环境中的声音的一个或多个麦克风。姿态传感器106包括被配置成共同地生成姿态信息的一个或多个传感器，该姿态信息被称为反映电子设备100的方位、定向或其组合的姿态(例如，姿态107)。在至少一个实施例中，姿态传感器106包括惯性测量单元(IMU)。姿态传感器106能够包括其他或附加姿态传感器，诸如全球定位卫星(GPS)传感器。在至少一个实施例中，姿态传感器106还能够包括同时定位和绘图(SLAM)模块，该SLAM模块基于在由相机102捕获的图像中识别的对象来生成电子设备100的环境的地图。SLAM模块根据常规机器视觉技术来识别对象并且将对象与存储在电子设备100处或在经由网络(例如，经由因特网)与电子设备100进行通信的远程服务器处的对象暂存器(未示出)进行比较。对象在对象暂存器中的位置是已知的，使得SLAM模块能够基于对象比较来生成环境地图。因此，由姿态传感器106生成的姿态能够基于传感器的组合，诸如IMU数据和SLAM绘图信息的组合。存储器105是被配置成存储数据以供由处理器104访问的计算机存储器，诸如随机存取存储器(RAM)、闪速存储器或其组合。如能够领会的，存储器105可以表示多个存储器105。例如，存储在存储器105中的数据与下述各种应用和/或功能实体的操作相关联。在图1的示例中，存储器105存储AR对象(例如AR对象115和116)，有时称为“粘贴物(sticker)”，以供经由显示器110显示。AR对象的示例能够包括图形图像(例如，来自电影、电视秀、音乐家等的人物的图像)、表情符号、卡通人物、天气图像、生成的文本等。在一些实施例中，AR对象可由处理器104修改。例如，AR对象中的一个或多个能够包括可以由处理器104改变的可修改文本字符串、其中颜色能够由处理器104改变的一个或多个颜色特征，方位能够与其中定位能够由处理器104改变的AR对象中的一个或多个相关联，照明可以与其中能够改变照明的AR对象中的一个或多个相关联等。在操作中，处理器104将由相机108捕获的图像与一个或多个AR对象组合以生成组合的图像(例如，组合的图像118)并且将该组合的图像显示在显示器110处。在一些实施例中，处理器104通过将所捕获的图像分割成前景像素和背景像素来生成组合的图像。为了分割图像，处理器104能够应用任何图像分割方法或其组合，包括像素阈值处理、数据聚类、运动和交互式分割、基于压缩的分割、基于直方图的分割、边缘检测、双重聚类、区域增长、偏微分方程分割(例如，参数、水平集或快速行进)、变分分割、分水岭变换、基于模型的分本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n在电子设备处获得一个或多个场境线索；/n基于所述一个或多个场境线索从与所述电子设备相关联的存储器识别至少一个增强现实AR对象；/n将图像与所识别的至少一个AR对象组合；以及/n将所组合的图像显示在与所述电子设备相关联的显示器处。/n

【技术特征摘要】
【国外来华专利技术】20181009 US 62/743,0381.一种方法，包括：
在电子设备处获得一个或多个场境线索；
基于所述一个或多个场境线索从与所述电子设备相关联的存储器识别至少一个增强现实AR对象；
将图像与所识别的至少一个AR对象组合；以及
将所组合的图像显示在与所述电子设备相关联的显示器处。


2.根据权利要求1所述的方法，其中，所述场境线索包括人、面部表情、声音、位置、时间、日期、活动、天气信息、项目或其组合。


3.根据权利要求1或2所述的方法，还包括使用图像分割来生成所组合的图像。


4.根据前述权利要求中的至少一项所述的方法，还包括基于所述一个或多个场境线索中的改变来改变所识别的至少一个AR对象。


5.根据前述权利要求中的至少一项所述的方法，还包括：
基于与所识别的至少一个AR对象相关联的置信度量来对所识别的至少一个AR对象进行排名；以及
基于所述排名呈现AR对象的集合。


6.根据前述权利要求中的至少一项所述的方法，还包括从所述图像中识别所述一个或多个场境线索。


7.根据前述权利要求中的至少一项所述的方法，还包括从与所述电子设备相关联的传感器接收所述一个或多个场境线索。


8.根据前述权利要求中的至少一项所述的方法，所识别的至少一个AR对象基于用户选择。


9.一种系统，包括：
存储器，所述存储器被配置成存储至少一个增强现实AR对象；
处理器，所述处理器被配置成将来自所述存储器的图像与所述至少一个AR对象中的识别的一个组合，其中，所述至少一个AR对象中的所识别的一个是基于与所述图像相关联的一个或多个场境线索来识别的；以及
显示器，所述显示器被配置成显示所组合的图像。


10.根据权利要求9所述的系统，其中，所述处理器被配置成响应于所述一个或多个场境线索中的改变而改变至少一个所识别的对象。


11.根据权利要求9或1...

【专利技术属性】
技术研发人员：迪亚内·王，保罗·科埃略，马修·吉尔根巴赫，阿什利·匹尼克，德鲁·希尔曼，马克·多奇特曼，苏德哈萨特瓦·博斯，萨曼莎·拉贾，史蒂芬·杜，布赖恩·柯林斯，塔勒克·汉尼·阿德尔加瓦德，道格拉斯·缪尔，杰克逊·朗戈，杰伊·斯蒂尔，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US