用于实时支持AR的网络服务可视化的相机重定位方法技术

一种装置包括：至少一个处理电路装置和用于存储要由处理电路装置执行的指令的至少一个存储器，其中至少一个存储器和指令被配置为与至少一个处理电路装置一起引起该装置至少：将从位于第一三维环境中的第一终端端点设备获取的显示数据输入到深度神经网络模型中以用于终端端点设备姿态估计，显示数据至少包括由第一终端端点设备在第一时间点获取的第一三维环境的至少一部分的捕获图像的图像数据、以及指示由第一终端端点设备在第二时间点获取的三维环境中第一终端端点设备的运动的至少运动矢量的感测数据，深度神经网络模型被训练，该训练以以下各项作为模型输入：由位于三维训练环境中的训练终端端点设备获取的三维训练环境的至少一部分的捕获训练图像的训练图像数据、以及指示三维训练环境中训练终端端点设备的运动的至少运动矢量的训练感测数据，并且该训练以三维训练环境中训练终端端点设备的训练姿态作为模型输出；以及基于输入的显示数据从深度神经网络模型中获取第一三维环境中第一终端端点设备的第一估计姿态以用于终端端点设备姿态估计。终端端点设备姿态估计。终端端点设备姿态估计。

【技术实现步骤摘要】
【国外来华专利技术】on 3D Radio Map Reconstruction”,NC105328,patent filed on 2018
‑
03
‑
16
[0013][NH+11]R.A.Newcombe and et al,“Kinectfusion:Real
‑
time dense surface mapping and tracking,"ISMAR,Vol.11,No.2011,pp.127.136,2011
[0014][PQ+10]S.J.Pan and Q.Yang,“A survey on transfer learning”,IEEE Trans.on Knowledge and Data Engineering,22(10),pp.1345
‑
1359,2010
[0015][W3+19]The World Wide Web Consortium(W3C),Motion sensors,http://www.w3.org/TR/motion
‑
sensors/,visited on 12/07/2019
[0016]本说明书中使用的缩写的以下含义适用：
[0017]2G：第二代
[0018]3G：第三代
[0019]3GPP：第三代合作伙伴项目
[0020]3GPP2：第三代合作伙伴项目2
[0021]4G：第四代
[0022]5G：第五代
[0023]AP：接入点
[0024]AR：增强现实
[0025]BS：基站
[0026]CNN：卷积神经网络
[0027]DNN：深度神经网络
[0028]DoF：自由度
[0029]DSL：数字用户线
[0030]EDGE：全球演进的增强数据速率
[0031]eNB：演进型节点B
[0032]ETSI：欧洲电信标准协会
[0033]GPRS：通用分组无线电系统
[0034]gNB：gNodeB
[0035]GSM：全球移动通信系统
[0036]IEEE：电气和电子工程师协会
[0037]IETF：互联网工程任务组
[0038]IMU：惯性测量单元
[0039]ISDN：综合业务数字网
[0040]ITU：国际电信联盟
[0041]LSTM：长短期记忆
[0042]LTE：长期演进
[0043]LTE
‑
A：高级长期演进
[0044]MANETs：移动自组网
[0045]MLP：多层感知器
[0046]NB：NodeB
[0047]PCS：个人通信服务
[0048]PnP：视角n点
[0049]RANSAC：随机样本一致性
[0050]RNN：递归神经网络
[0051]SfM：运动结构
[0052]SLAM：同步定位和映射
[0053]TISPAN：电信和互联网融合服务及高级网络协议
[0054]UE：用户设备
[0055]UMTS：通用移动电信系统
[0056]UWB：超宽带
[0057]WCDMA：宽带码分多址
[0058]WiMAX：全球微波接入互操作性
[0059]WLAN：无线局域网

技术实现思路

[0060]本公开的各种示例性实施例旨在解决上述难题和/或问题和缺点的至少一部分。
[0061]本公开的示例性实施例的各个方面在所附权利要求中阐述。
[0062]根据一个实施例的示例，提供了一种装置，例如，该装置包括至少一个处理电路装置和用于存储要由处理电路装置执行的指令的至少一个存储器。至少一个存储器和指令被配置为与至少一个处理电路装置一起引起该装置至少：将从位于第一三维环境中的第一终端端点设备获取的显示数据输入到深度神经网络模型中以用于终端端点设备姿态估计。显示数据至少包括图像数据和感测数据。第一三维环境的至少一部分的捕获图像的图像数据由第一终端端点设备在第一时间点获取。三维环境中第一终端端点设备的运动的至少运动矢量的感测数据指示由第一终端端点设备在第二时间点获取。深度神经网络模型以训练图像数据和训练感测数据作为模型输入被训练。三维训练环境的至少一部分的捕获训练图像的训练图像数据由位于三维训练环境中的训练终端端点设备获取。训练感测数据指示三维训练环境中训练终端端点设备的运动的至少运动矢量。深度神经网络模型以三维训练环境中训练终端端点设备的训练姿态作为模型输出被训练。此外，该装置还被引起基于输入的显示数据从深度神经网络模型中获取第一三维环境中第一终端端点设备的第一估计姿态以用于终端端点设备姿态估计。
[0063]此外，根据一个实施例的示例，提供了一种方法，例如，该方法包括将从位于第一三维环境中的第一终端端点设备获取的显示数据输入到深度神经网络模型中以用于终端端点设备姿态估计的步骤。显示数据至少包括图像数据和感测数据。第一三维环境的至少一部分的捕获图像的图像数据由第一终端端点设备在第一时间点获取。三维环境中第一终端端点设备的运动的至少运动矢量的感测数据指示由第一终端端点设备在第二时间点获取。深度神经网络模型以训练图像数据和训练感测数据作为模型输入被训练。三维训练环境的至少一部分的捕获训练图像的训练图像数据由位于三维训练环境中的训练终端端点设备获取。训练感测数据指示三维训练环境中训练终端端点设备的运动的至少运动矢量。深度神经网络模型以三维训练环境中训练终端端点设备的训练姿态作为模型输出被训练。此外，该方法还包括基于输入的显示数据从深度神经网络模型中获取第一三维环境中第一
终端端点设备的第一估计姿态以用于终端端点设备姿态估计的步骤。
[0064]根据进一步细化，这些示例可以包括以下特征中的一个或多个：
[0065]‑
可选地，第一时间点等于第二时间点；
[0066]‑
此外，至少一个存储器和指令还可以被配置为引起该装置至少向显示数据中添加在第一估计姿态之前从深度神经网络模型中获取的第一三维环境中第一终端端点设备的先前估计姿态，并且深度神经网络模型以训练终端端点设备的先前输出训练姿态作为模型输入被进一步训练；
[0067]‑
此外，至少一个存储器和指令还可以被配置为引起该装置至少向显示数据中添加先前图像数据和先前感测数据。其中先前图像数据是由第一终端端点设备在第一时间点之前的第三时间点获取的第一三维环境的至少一部分的先前捕获图像的图像数据。其中先前感测数据是指示由第一终端端点设备在第二时间点之前的第四时间点获取的三维环境中第一终端端点设备的先前运动的至少运动矢量的感测数据。并且深度神经网络模型以先前图像数据和先前感测数据作为模型输入被进一步训练；
[0068]‑
此外，第三时间点可以等于第四时间点；
[0069]‑
此外，感测数据可以包括本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括：至少一个处理电路装置，以及至少一个存储器，用于存储要由所述处理电路装置执行的指令，其中所述至少一个存储器和所述指令被配置为与所述至少一个处理电路装置一起引起所述装置至少：将从位于第一三维环境中的第一终端端点设备获取的显示数据输入到深度神经网络模型中，以用于终端端点设备姿态估计，所述显示数据至少包括：由所述第一终端端点设备在第一时间点获取的所述第一三维环境的至少一部分的捕获图像的图像数据，以及感测数据，所述感测数据指示由所述第一终端端点设备在第二时间点获取的所述三维环境中所述第一终端端点设备的运动的至少运动矢量，所述深度神经网络模型以以下项作为模型输入而被训练：由位于三维训练环境中的训练终端端点设备获取的所述三维训练环境的至少一部分的捕获训练图像的训练图像数据，以及指示所述三维训练环境中所述训练终端端点设备的运动的至少运动矢量的训练感测数据，并且以以下项作为模型输出：所述三维训练环境中所述训练终端端点设备的训练姿态，以及基于输入的所述显示数据，从所述深度神经网络模型获取所述第一三维环境中所述第一终端端点设备的第一估计姿态，以用于终端端点设备姿态估计。2.根据权利要求1所述的装置，其中所述第一时间点等于所述第二时间点。3.根据权利要求1或2所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：向所述显示数据中添加在所述第一估计姿态之前从所述深度神经网络模型获取的所述第一三维环境中所述第一终端端点设备的先前估计姿态，并且所述深度神经网络模型以所述训练终端端点设备的先前输出训练姿态作为模型输入而被进一步训练。4.根据权利要求1或2所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：向所述显示数据中添加先前图像数据和先前感测数据，所述先前图像数据是由所述第一终端端点设备在所述第一时间点之前的第三时间点获取的所述第一三维环境的至少一部分的先前捕获图像的图像数据，以及所述先前感测数据是指示由所述第一终端端点设备在所述第二时间点之前的第四时间点获取的所述三维环境中所述第一终端端点设备的先前运动的至少运动矢量的感测数据，以及所述深度神经网络模型以先前图像数据和先前感测数据作为模型输入而被进一步训练。5.根据权利要求4所述的装置，其中所述第三时间点等于所述第四时间点。6.根据权利要求1至5中任一项所述的装置，其中所述感测数据包括从加速度计、陀螺
仪、磁力计和融合传感器中的至少一项获取的数据。7.根据权利要求1至6中任一项所述的装置，其中所述训练终端端点设备是第二终端端点设备。8.根据权利要求1至6中任一项所述的装置，其中所述训练终端端点设备是计算机模拟终端端点设备，并且所述三维训练环境是计算机模拟三维训练环境。9.根据权利要求7或8所述的装置，其中如果所述三维训练环境不同于所述第一三维环境，则通过从所述三维训练环境中对所述第一三维环境的迁移学习，所述深度神经网络模型被用于所述第一三维环境中的终端端点设备姿态估计。10.根据权利要求1至9中任一项所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：基于所述第一三维环境中所述第一终端端点设备的所述第一估计姿态，将三维虚拟网络信息投影到所述捕获图像上，以及通过将所述三维虚拟网络信息与所述捕获图像叠加来生成增强现实输出图像。11.根据权利要求10所述的装置，其中所述至少一个存储器和所述指令还被配置为引起所述装置至少：进一步基于包括所述三维虚拟网络信息的所述第一三维环境的三维虚拟网络信息模型，将所述三维虚拟网络信息投影到所述捕获图像上，其中针对所述三维虚拟网络信息而生成的视场被配置为与由所述捕获图像捕获的视场相同。12.根据权利要求11所述的装置，其中所述三维虚拟网络信息模型被提供给所述装置。13.根据权利要求11所述的装置，其中所述三维虚拟网络信息模型由所述装置使用3D环境重构技术从所述显示数据的至少一部分中学习。14.根据权利要求11所述的装置，其中所述三维虚拟网络信息模型由所述装置通过从预先学习的三维虚拟网络信息模型中对不同于所述第一三维环境的第二三维环境的迁移学习来学习。15.根据权利要求11至14中任一项所述的装置，其中所述深度神经网络模型包括所述三维虚拟网络信息模型。16.根据权利要求10到15中任一项所述的装置，其中所述第一三维环境的所述三维虚拟网络信息是从所述第一三维环境中的无线电网络的网络性能指标的测量中获取的。17.根据权利要求10至16中任一项所述的装置，其中所述第一三维环境的所述三维虚拟网络信息是所述第一三维环境中的计算机模拟无线电网络的计算机模拟网络性能指标。18.根据权利要求10至17中任一项所述的装置，其中所述三维虚拟网络信息是指示无线电网络性能的三维无线电地图信息。19.根据权利要求1至18中任一项所述的装置，其中所述装置被配置为集成在所述第一终端端点设备中，其中所述深度神经网络模型被维持在所述第一终端端点设备处，或者所述装置被配置为集成在网络通信单元中，其中所述深度神经网络模型被维持在所述
网络通信单元处。20.根据权利要求1至19中任一项所述的装置，其中所述捕获图像是由单目相机捕获的二维图像，或者立体图像，所述立体图像包括由立体相机单元捕获的深度信息，或者由热成像相机捕获的热图像。21.一种装置，被配置用于连接到至少一个相机单元和至少一个传感器单元；所述装置包括：至少一个处理电路装置，以及至少一个存储器，用于存储要由所述处理电路装置执行的指令，其中所述至少一个存储器和所述指令被配置为与所述至少一个处理电路装置一起引起所述装置至少：提供显示数据，所述显示数据至少包括：由所述至少一个相机单元在第一时间点捕获的围绕所述装置的三维环境的至少一部分的捕获图像的图像数据，以及指示由所述至少一个传感器单元在第二时间点获取的所述三维环境中所述装置的运动的至少运动矢量的感测数据，以及基于所提供的所述显示数据，显示叠加有所述捕获图像的、与所述三维环境中的所述装置的第一估计姿态相关联的网络信息。22.根据权利要求21所述的装置，其中所述第一时间点等于所述第二时间点。23.根据权利要求21或22所述的装置，其中所显示的所述网络信息包括：通过将所述三维虚拟网络信息与所述捕获图像叠加而生成的增强现实图像。24.根据权利要求23所述的装置，其中所述三维虚拟网络信息是针对支持AR的网络服务而配置的三维无线电地图信息。25.根据权利要求21至24中任一项所述的装置，其中所述至少一个传感器单元是加速度计、陀螺仪、磁力计和融合传感器中的至少一项。26.根据权利要求21至25中任一项所述的装置，其中所述至少一个相机单元包括单目相机、立体相机单元和热成像相机中的至少一项。27.一种方法，包括以下步...

【专利技术属性】
技术研发人员：廖琦，胡天伦，
申请(专利权)人：诺基亚通信公司，
类型：发明
国别省市：