远程重现方法、系统、装置、设备、介质及程序产品制造方法及图纸

本申请提供了一种远程重现方法，应用于远程重现系统，该系统包括由第一用户佩戴的第一终端和由第二用户佩戴的第二终端，第一用户与第二用户处于不同地理场景，该方法包括：第二终端获取第一用户的动作影像，第一用户的动作影像包括预先构建的、第一用户的人体模型形成的至少一个动作的序列，然后第二终端向第二用户重现第一用户的动作影像至第二用户所处的地理场景中。该方法在第二终端侧重现第一用户的影像时无需实时传输多视角图像，减少了网络资源占用，避免在网络质量不好情况下出现丢帧、卡顿，提升了交互体验。提升了交互体验。提升了交互体验。

【技术实现步骤摘要】
远程重现方法、系统、装置、设备、介质及程序产品


[0001]本申请涉及计算机
，尤其涉及一种远程重现方法、系统、装置、设备以及计算机可读存储介质、计算机程序产品。

技术介绍

[0002]在很多应用场景中，由于地理位置的限制，人和人之间难以就同一场景或事件进行面对面交流。真实的面对面交流需要花费较高的成本，而且效率也比较低下。随着计算机技术和通信技术的不断发展，远程重现对方的影像，从而达到如同面对面交流的效果逐渐成为了一种可能。
[0003]远程重现影像的一种典型应用场景是远程协助。远程协助是指协助者通过远程通信的方式协助被协助者，以解决该被协助者遇到的问题。例如，设备维修场景中，具有诊断或维修能力的专家通过远程通信的方式指导位于故障现场的设备操作员。目前，业界提供了全息捕捉重现的方案，将远程的协助者的影像在故障现场进行重现，从而提供更为自然的交互。
[0004]然而，上述方案通常是利用多视角图像对三维人体进行实时重建。比较理想的人体模型通常需要花费数小时的运算，因此实时重建的效果通常较差，难以满足业务需求。并且实时传输多视角图像至云端或终端进行远程重建，需要占用大量网络资源，在网络质量不好的情况下，还容易出现丢帧、卡顿等问题，影响交互体验。

技术实现思路

[0005]本申请提供了一种远程重现方法，该方法在准备阶段预先构建逼真的人体模型，然后在远程重现阶段利用预先构建的人体模型生成动作影像，向用户重现动作影像以实现如同面对面交流的效果。由此解决模型重建效果较差导致难以满足业务需求的问题，并且无需实时传输多视角图像，减少了网络资源占用，避免在网络质量不好情况下出现丢帧、卡顿，提升了交互体验。本申请还提供了上述方法对应的系统、装置、设备、计算机可读存储介质以及计算机程序产品。
[0006]第一方面，本申请提供了一种远程重现方法。该方法可以由远程重现系统执行。远程重现系统包括第一终端和第二终端，第一终端由第一用户佩戴，第二终端由第二用户佩戴，第一用户与第二用户处于不同地理场景。
[0007]具体地，第二终端可以获取第一用户的动作影像，其中，第一用户的动作影像包括第一用户的人体模型形成的至少一个动作的序列，第一用户的人体模型为预先构建的模型，然后第二终端向第二用户重现上述第一用户的动作影像至第二用户所处的地理场景中。
[0008]一方面，由于在准备阶段预先构建了第一用户的人体模型，在远程重现阶段直接利用该人体模型生成动作影像，由此避免了远程重现时花费大量时间构建人体模型，满足了远程重现应用对实时性的需求，而且在准备阶段可以花费较多的时间进行重建，得到逼
真的人体模型，具有较好的效果，能够满足业务需求。另一方面，远程重现阶段无需发送大量图像到云端或终端实时重建人体模型，避免了大规模数据传输占用大量网络资源，以及网络质量不好的情况下出现丢帧、卡顿等问题，提升了交互体验。
[0009]在一些可能的实现方式中，远程重现系统还可以包括服务器。远程重现系统可以利用服务器的算力生成第一用户的动作影像。具体地，服务器获取第一用户的关键点的位置信息，服务器可以根据第一用户的关键点的位置信息，确定第一用户的关键点的移动轨迹，然后服务器可以根据上述移动轨迹以及存储在服务器中的第一用户的人体模型，获得所述第一用户的动作影像，服务器发送第一用户的动作影像至第二终端。
[0010]其中，关键点的移动轨迹可以表示为关键点的位置序列。第一用户的关键点与第一用户的人体模型绑定，服务器可以根据关键点的位置序列确定每一个位置对应的人体模型，根据各个位置对应的人体模型可以形成连续的人体模型，进而生成第一用户的动作影像。第一用户的动作影像中包括用户的人体模型形成的至少一个动作的序列。
[0011]由于需要耗费大量算力的影像生成过程在服务器侧执行，第二终端仅需接收第一用户的动作影像，向第二用户呈现第一用户的动作影像至第一用户所处的地理场景中，如此降低了对第二终端的要求，轻量级的第二终端也可以用于实现远程重现方法，具有较高可用性。
[0012]在一些可能的实现方式中，远程重现系统可以包括云端的服务器，例如是中心云中的中心服务器和边缘云中的边缘服务器。边缘服务器和中心服务器可以协同生成动作影像。具体地，边缘服务器可以获取第一用户的关键点的位置信息，例如通过图像传感器采集的第一用户的关键部位图像进行关键点检测，获得对应的关键点的位置信息，中心服务器根据边缘服务器获得的关键点的位置信息，确定第一用户的关键点的移动轨迹，然后根据移动轨迹和存储在中心服务器中的第一用户的人体模型，获得第一用户的动作影像。
[0013]由于边缘云服务器和中心云服务器之间仅传输关键点的位置信息，而不需要传输大规模的图像数据，减少了网络资源占用，避免了网络质量不好情况下出现丢帧、卡顿等问题。
[0014]在一些可能的实现方式中，服务器可以获取第一用户的关键部位图像，然后根据第一用户的关键部位图像获得对应的关键点的位置信息。具体地，服务器可以利用关键点检测技术对第一用户的关键部位图像进行处理，获得第一用户的关键点的位置信息。例如，服务器可以构建关键点检测模型，然后将第一用户的关键部位图像输入关键点检测模型，通过关键点检测模型对图像提取关键点，获得第一用户的关键点的位置信息。
[0015]其中，关键点检测模型可以是传统的关键点检测模型。传统的关键点检测模型包括基于模板匹配的关键点检测模型，例如是图结构模型。关键点检测模型也可以是基于神经网络的关键点检测模型。基于神经网络的关键点检测模型包括但不限于级联特征网络模型、区域多人位姿估计模型、基于掩膜的区域卷积神经网络模型和级联金字塔网络模型等。
[0016]该方法通过利用关键点检测模型对图像进行检测获得关键点的位置信息，减少了远程重现系统中传感器的类型、数量，降低了远程重现系统的复杂度。
[0017]在一些可能的实现方式中，服务器可以从部署在第一用户的关键部位的位姿传感器，如惯性测量单元，获取与所述关键部位对应的关键点的位置信息。由于无需通过复杂的模型进行检测，提高了获取关键点的位置信息的效率，从而提高了远程重现的效率。
[0018]在一些可能的实现方式中，第一终端还可以获取第二用户所处的地理场景的影像，然后第一终端向所述第一用户重现所述第二用户所处的地理场景的影像至所述第一用户所处的地理场景中。如此，第一用户可以根据第二用户所处的地理场景的影像，远程协助第二用户解决第二用户所处的地理场景中的问题，例如是故障现场的问题。
[0019]在一些可能的实现方式，第一终端为虚拟现实终端，第二终端为增强现实终端，该增强现实终端可以将现场影像与第一用户的影像叠加进行呈现，从而提高沉浸感。
[0020]在一些可能的实现方式中，第一终端可以获取所述第二用户的动作影像，该第二用户的动作影像包括所述第二用户的人体模型形成的至少一个动作的序列，该第二用户的人体模型为预先构建的模型，第一终端向所述第一用户重现所述第二用户的动作影像至所述第一用户所处的地理场本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程重现方法，其特征在于，应用于远程重现系统，所述远程重现系统包括第一终端和第二终端，所述第一终端由第一用户佩戴，所述第二终端由第二用户佩戴，所述第一用户与所述第二用户处于不同地理场景，所述方法包括：所述第二终端获取所述第一用户的动作影像，所述第一用户的动作影像包括所述第一用户的人体模型形成的至少一个动作的序列，所述第一用户的人体模型为预先构建的模型；所述第二终端向所述第二用户重现所述第一用户的动作影像至所述第二用户所处的地理场景中。2.根据权利要求1所述的方法，其特征在于，所述远程重现系统还包括服务器，所述方法还包括：所述服务器获取所述第一用户的关键点的位置信息；所述服务器根据所述第一用户的关键点的位置信息，确定所述第一用户的关键点的移动轨迹；所述服务器根据所述移动轨迹和存储在所述服务器中的所述第一用户的人体模型，获得所述第一用户的动作影像；所述服务器发送所述第一用户的动作影像至所述第二终端。3.根据权利要求2所述的方法，其特征在于，所述服务器获取所述第一用户的关键点的位置信息，包括：所述服务器获取所述第一用户的关键部位图像，根据所述第一用户的关键部位图像获得对应的关键点的位置信息。4.根据权利要求2所述的方法，其特征在于，所述服务器获取所述第一用户的关键点的位置信息，包括：所述服务器从部署在所述第一用户的关键部位的位姿传感器获取与所述关键部位对应的关键点的位置信息。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：所述第一终端获取所述第二用户所处的地理场景的影像；所述第一终端向所述第一用户重现所述第二用户所处的地理场景的影像至所述第一用户所处的地理场景中。6.根据权利要求5所述的方法，其特征在于，所述第一终端为虚拟现实终端，所述第二终端为增强现实终端。7.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：所述第一终端获取所述第二用户的动作影像，所述第二用户的动作影像包括所述第二用户的人体模型形成的至少一个动作的序列，所述第二用户的人体模型为预先构建的模型；所述第一终端向所述第一用户重现所述第二用户的动作影像至所述第一用户所处的地理场景中。8.根据权利要求7所述的方法，其特征在于，所述第一终端和所述第二终端为虚拟现实终端。9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述第一终端获取所述第一用户的关键点的位置信息；所述第一终端根据所述第一用户的关键点的位置信息，确定所述第一用户的关键点的移动轨迹；所述第一终端根据所述移动轨迹和存储在所述第一终端中的所述第一用户的人体模型，获得所述第一用户的动作影像。10.根据权利要求1至9任一项所述的方法，其特征在于，所述人体模型为三维人体模型，所述动作影像为三维动作影像。11.一种远程重现系统，其特征在于，所述系统包括第一终端和第二终端，所述第一终端由第一用户佩戴，所述第二终端由第二用户佩戴，所述第一用户与所述第二用户处于不同地理场景；所述第二终端，用于获取所述第一用户的动作影像，向所述第二用户重现所述第一用户的动作影像至所述第二用户所处的地理场景中，所述第一用户的动作影像包括所述第一用户的人体模型形成的至少一个动作的序列，所述第一用户的人体模型为预先构建的模型。12.根据权利要求11所述的系统，其特征在于，所述远程重现系统还包括服务器；所述服务器，用于获取所述第一用户的关键点的位置信息，根据所述第一用户的关键点的位置信息，确定...

【专利技术属性】
技术研发人员：公维蒙，李军，涂丹丹，
申请(专利权)人：华为云计算技术有限公司，
类型：发明
国别省市：