支持增强现实软件应用制造技术

提供了用于支持增强现实(AR)软件应用的计算设备(120)。该计算设备用于：基于预期实际位置和取决于空间且对AR软件应用的用户体验产生影响的属性，选择用于放置当前虚拟对象(104)的实际位置(131)，所述实际位置(131)是当前虚拟对象在被覆盖到捕捉用户(110)周围的实际场景(100；200)的视频序列上时看起来像是被放置在的位置，所述预期实际位置是用户响应于向用户显示(123)实际场景和所覆盖的当前虚拟对象而假设的。在选择用于放置虚拟对象的实际位置时考虑用户的预期实际位置处的取决于空间的属性是有利的，因为可以将虚拟对象部署在实际位置处，以向用户提供改进的或至少令人满意的用户体验。

【技术实现步骤摘要】
【国外来华专利技术】支持增强现实软件应用
本专利技术涉及用于支持增强现实(AR)软件应用的计算设备、用于支持AR软件应用的方法、对应的计算机程序和对应的计算机程序产品。
技术介绍
AR是对实际的现实世界环境的直接或间接的实况查看，该实际的现实世界环境的元素被计算机生成的感官输入(例如，声音、视频或图形)所增强(或补充)。其涉及被称为介导现实的更一般性的概念，在介导现实中，由计算机修改(甚至可能是削弱而不是增强)现实的视图。一般实时地且在具有环境对象的语义语境中执行增强。此外，通过使用对象识别，可在增强现实世界环境时操控并考虑实际的现实世界对象。通常，AR软件应用利用用户穿戴的显示器来显示用户周围的增强场景，通常由用户穿戴的相机来捕捉用户周围。近年来，头戴式显示器(HMD)或虚拟现实(VR)头戴式设备已日益普遍地用于具有AR的用途。这些设备包括一个或多个显示器且通常还包括相机，并且被设计为与用户的前额配对，如背带或头盔。HMD播放实际世界和在用户的视野上对实际世界进行增强的虚拟对象二者的图像。它们通常使用用于六个自由度监视的传感器，这使得AR软件应用可响应于用户的移动将虚拟对象与实际世界进行正确对准。HMD是在商业上可获得的，例如MicrosoftHoloLens和OculusRiff。同样还可获得将智能电话用作HMD的实用器具，其方便了智能电话与用户前额的配对(例如，GoogleCardboard和SamsungGearVR)。随着在商业上可获得的HMD的出现，AR软件应用的数量已显著增加。例如，在用于可视化建设项目的建筑架构中，在用于向客户可视化产品的商业中，以及在游戏中都使用了AR。例如，由Nintendo在2016年7月发布的手机游戏应用PokémonGo已在全球快速取得成功，具有数以亿计的下载。PokémonGo是基于位置的AR游戏，其将口袋怪物形式的虚拟对象部署在实际位置，且玩家必须移动到该实际位置来捕捉怪物。在PokémonGo成功之后，预期基于位置的AR游戏和应用(app)的数量会极大增加。基于位置的AR游戏和应用的共同特征是要求玩家(或用户)访问特定的实际(即现实世界)位置，以与已被放置其处的虚拟对象交互。由于AR软件应用通常经由无线电接入网(RAN)与托管AR软件应用的应用服务器通信，它们因为产生相当大的网络负荷而对RAN提出了高要求。具体地，如果大量的AR用户移动到彼此附近，便是这种情况。如果用户移动到具有较差覆盖(例如由阴影效应、干扰等造成)的区域中，基于位置的AR游戏和应用可能也会受困于差的连接性。这些问题都会对AR软件应用的用户体验造成负面影响。
技术实现思路
本专利技术的目的是提供对以上技术和现有技术的改进的替代。更具体地，本专利技术的目标是提供改进的由AR软件应用选择用于放置虚拟对象的实际位置的解决方案。通过如独立权利要求所定义的本专利技术的不同方面来实现本专利技术的这些目的和其他目的。从属权利要求表征本专利技术的实施例。根据本专利技术的第一方面，提供了一种用于支持AR软件应用的计算设备。所述计算设备包括处理装置，所述处理装置用于：基于AR软件应用的用户所假设的预期实际位置和用户周围环境中的取决于空间的属性，选择用于放置当前虚拟对象的实际位置。该取决于空间的属性对AR软件应用的用户体验具有影响。该预期实际位置是用户响应于向所述用户显示捕捉用户周围的实际场景的视频序列和所覆盖的当前虚拟对象而假设的。所选择的实际位置是当前虚拟对象在覆盖到捕捉用户周围的实际场景的视频序列上时看起来像是被放置于的实际位置。根据本专利技术的第二方面，提供了一种支持AR软件应用的方法。该方法由计算设备执行，并包括：基于AR软件应用的用户所假设的预期实际位置和用户周围环境中的取决于空间的属性，选择用于放置当前虚拟对象的实际位置。该取决于空间的属性对AR软件应用的用户体验具有影响。该预期实际位置是用户响应于向所述用户显示捕捉用户周围的实际场景的视频序列和所覆盖的当前虚拟对象而假设的。所选择的实际位置是当前虚拟对象在覆盖到捕捉用户周围的实际场景的视频序列上时看起来像是被放置于的实际位置。根据本专利技术的第三方案，提供了一种计算机程序。计算机程序包括计算机可执行指令，所述计算机可执行指令当在设备中包括的处理单元上执行时，使得设备执行根据本专利技术的第二方案的实施例的方法。根据专利技术的第四方案，提供了一种计算机程序产品。计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具体化有根据本专利技术第三方案的计算机程序。在本上下文中，用于支持AR软件应用的计算设备例如可具体是：托管AR软件应用的应用服务器、HMD或VR头戴式设备、移动电话、智能电话、移动终端、个人计算机、膝上型设备、平板设备和游戏控制台。AR软件应用例如可以是AR游戏(例如PokémonGo)或用于使用信息来增强实际的现实世界对象的AR应用(例如AR导游)。在整个本公开中，术语“实际的(physical)”和“现实世界”可互换使用，并且应被理解为指的是现实世界中的对象或位置。用户周围和通过覆盖虚拟对象来增强的所捕捉的场景可以是任何现实世界的室内或室外位置，例如，房间或公共空间。本专利技术利用了这样的理解：通过考虑取决于空间的属性，可以实现由AR软件应用对用于放置或部署虚拟对象的实际位置的改进的选择，其中所述取决于空间的属性对AR软件应用的用户体验具有影响。至少在用户的周围，取决于空间的属性随着现实世界中的实际位置的改变而改变。取决于空间的属性可以例如与AR软件应用使用的无线连接的性能(例如无线连接的信号强度、数据速率、带宽、错误率、重传率和延时)有关。应当理解，AR软件应用的用户体验通常受益于高信号强度、高数据速率或带宽、低错误率、低重传率和低延时。无线连接可以是AR软件应用用来将与虚拟对象的放置有关的信息发送给用户设备的连接，该用户设备基于所接收的信息来渲染增强场景以显示给用户。备选地，无线连接可用于将所渲染的增强场景作为视频流发送给用户设备，以向用户显示增强场景。无线连接可以例如经由蜂窝RAN、无线局域网(WLAN)/Wi-Fi网络、蓝牙等来实现。备选地，取决于空间的属性可以与用户对由AR软件应用渲染的声音的感知有关。具体地，这可以是由放置在用户周围的扬声器渲染的声音。例如，用户感知可能与立体声音频或3D音频是否能够以足够的质量在特定位置处传送，这继而对AR软件应用的用户体验产生影响。用于放置当前虚拟对象(即，AR软件应用将要部署的虚拟对象)的实际位置是通过评估预期实际位置处的取决于空间的属性来选择的，其中该预期实际位置是用户响应于向用户显示实际场景和所覆盖的当前虚拟对象而假设的。这是用户可能的未来位置，即，在所覆盖的虚拟对象已被显示给用户并被用户查看之后的用户位置。值得注意的是，虚拟对象可以具有下述效果：在被显示给用户时，将用户保持在他/她的当前实际位置处或者触发位置改变。例如，用户可能希望与虚拟对象交互，以例如从AR游戏中的“友好”角色收集物品。在这种情况下，预期用户将移动到与当前虚拟对象看起来像是被放置于的现实世界中的实际位置相接近的实际位置。另一方面，表示AR游戏中的“敌对”角色(即对用户的游戏角色构成威胁的角色)的虚拟对象可能使用户保持在他/她的当前实际位置，或者甚至发起用户的实际位置本文档来自技高网...

【技术保护点】
1.一种用于支持增强现实AR软件应用的计算设备(120；500；600)，所述计算设备包括处理装置(125)，所述处理装置用于：基于以下各项，选择用于放置当前虚拟对象(104；204)的实际位置(131；231)，所述实际位置是当前虚拟对象在被覆盖到捕捉AR软件应用的用户(110)周围的实际场景(100；200)的视频序列上时看起来像是被放置在的位置，：预期实际位置，所述预期实际位置是所述用户响应于向所述用户显示(123；223)所述实际场景和所覆盖的当前虚拟对象而假设的；以及所述用户周围的取决于空间的且对所述AR软件应用的用户体验具有影响的属性。

【技术特征摘要】
【国外来华专利技术】1.一种用于支持增强现实AR软件应用的计算设备(120；500；600)，所述计算设备包括处理装置(125)，所述处理装置用于：基于以下各项，选择用于放置当前虚拟对象(104；204)的实际位置(131；231)，所述实际位置是当前虚拟对象在被覆盖到捕捉AR软件应用的用户(110)周围的实际场景(100；200)的视频序列上时看起来像是被放置在的位置，：预期实际位置，所述预期实际位置是所述用户响应于向所述用户显示(123；223)所述实际场景和所覆盖的当前虚拟对象而假设的；以及所述用户周围的取决于空间的且对所述AR软件应用的用户体验具有影响的属性。2.根据权利要求1所述的计算设备，所述处理装置用于通过以下方式选择用于放置所述当前虚拟对象的所述实际位置：针对用于放置所述当前虚拟对象的至少一个候选实际位置(131、132；231、232)：确定所述用户响应于向所述用户显示所述实际场景和所述当前虚拟对象而假设的所述预期实际位置，所述当前虚拟对象以使得所述当前虚拟对象看起来像是被放置在所述候选实际位置处的方式进行覆盖；以及在所述预期实际位置处评估所述取决于空间的属性的值；以及基于在所述至少一个候选实际位置处评估的所述取决于空间的属性的多个值，选择用于放置所述当前虚拟对象的所述实际位置。3.根据权利要求2所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置在所述候选实际位置的预定范围内。4.根据权利要求2所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于所述当前虚拟对象的类型来确定的。5.根据权利要求4所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于与所述AR软件应用的预期用户行为有关的信息来确定的，其中，所述预期用户行为是预期的响应于向所述用户显示与所述当前虚拟对象相同类型的虚拟对象的用户行为。6.根据权利要求4所述的计算设备，其中，所述用户响应于向所述用户显示所述实际场景和所覆盖的当前虚拟对象而假设的所述预期实际位置是基于学习到的所述用户的行为来确定的，其中，所述学习到的所述用户的行为是学习到的所述用户响应于先前显示的与所述当前虚拟对象相同类型的虚拟对象的行为。7.根据权利要求1至6中任一项所述的计算设备，还用于：根据所述用户的周围环境中的实际位置，从数据库(703；804)中检索所述取决于空间的属性的一个或多个值。8.根据权利要求1至7中任一项所述的计算设备，所述处理装置还用于：根据实际位置，在数据库(703；804)中存储所述取决于空间的属性的测量值。9.根据权利要求7或8所述的计算设备，其中，所述数据库由以下任一个维护：所述计算设备、无线电接入网RAN节点和运营支撑系统OSS节点。10.根据权利要求1至9中任一项所述的计算设备，其中，所述取决于空间的属性与所述AR软件应用使用的无线连接的性能有关。11.根据权利要求10所述的计算设备，其中，所述取决于空间的属性是以下任一项：所述无线连接的信号强度、数据速率、带宽、错误率、重传率和延时。12.根据权利要求1至9中任一项所述的计算设备，其中，所述取决于空间的属性与所述用户对所述AR软件应用渲染的声音的感知有关。13.根据权利要求1至12中任一项所述的计算设备，所述处理装置还用于：将所述当前虚拟对象覆盖到捕捉实际场景的视频序列上，使得所覆盖的当前虚拟对象看起来像是被放置在所选择的实际位置处。14.根据权利要求13所述的计算设备，所述处理装置还用于：向所述用户显示捕捉实际场景的视频序列(123；223)以及所覆盖的当前虚拟对象。15.根据权利要求1至14中任一项所述的计算设备，其中，所述视频序列由所述用户穿戴的相机(121)捕捉，使得所述相机的视野(122)与所述用户的实际位置和朝向相关。16.根据权利要求1至15中任一项所述的计算设备，其中，显示器(124)由所述用户穿戴。17.根据权利要求1至16中任一项所述的计算设备，所述计算设备是以下各项之一：托管所述AR软件应用的游戏服务器(600)、虚拟现实头戴式设备(120)、头戴式显示器(120)、移动电话(500)、智能电话(500)、移动终...

【专利技术属性】
技术研发人员：王宇，约翰·哈拉德森，郑载成，桑德拉·巴克斯特伦，马修·约翰·劳伦森，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE