增强现实（AR）远程车辆协助制造技术

一种向车辆的车辆用户提供增强现实(AR)远程协助的系统和方法。所述方法包括：将实时视频数据从车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序；在移动设备处从远程助理应用程序接收注释信息，其中注释信息包括注释图形信息和注释位置信息，其中注释图形信息识别注释图形；在电子显示器上显示AR视频，AR视频包括位于注释显示位置和实时视频数据的一部分上方的注释图形，其中随着电子相机的视野改变AR视频被更新，使得AR视频中显示的注释图形看起来固定在电子相机的视野内的位置上。

【技术实现步骤摘要】
增强现实（AR）远程车辆协助引言本专利技术涉及使用便携式无线设备(PWD)向车辆用户提供增强现实(AR)协助。诸如智能电话的移动设备可以与车辆相关联并且用于提供对车辆服务的增强访问。这些设备可以与车辆无线通信，以提供对车辆数据和功能的本地和/或远程访问。并且，随着车辆继续变得更加复杂，车辆的操作、维修和/或维护对于车辆用户或车辆维修技术人员来说可能是具有挑战性的。
技术实现思路
根据本专利技术的一个方面，提供了一种向车辆的车辆用户提供增强现实(AR)远程协助的方法，所述方法包括：将实时视频数据从车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序，其中PWD包括电子显示器和捕获电子相机的视野内的实时视频数据的电子相机，并且其中远程计算机被配置为：(i)接收有关车辆的车辆诊断信息，(ii)将所述车辆诊断信息提供给远程助理，(iii)显示所述实时视频数据，供所述远程助理使用所述远程助理应用程序查看，(iv)从所述远程助理接收注释输入，以及(v)将注释信息发送给所述PWD，其中所述注释信息基于所述注释输入；在移动设备上从所述远程助理应用程序接收所述注释信息，其中所述注释信息包括注释图形信息和注释位置信息，其中所述注释图形信息识别注释图形，并且其中所述注释位置信息识别注释显示位置；以及在电子显示器上显示增强现实(AR)视频，该增强现实(AR)视频包括位于注释显示位置和实时视频数据的一部分上方的注释图形，其中随着电子相机的视野改变AR视频被更新，使得AR视频中显示的注释图形看起来固定在电子相机的视野内的位置上。r>根据各种实施例，所述方法还可以包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：·注释位置信息包括用于识别和/或跟踪由PWD的电子相机观察到的三维空间中的物体的物体标记信息，使得注释图形可以固定到物体以提供AR视频；·注释位置信息包括实时视频数据的像素坐标位置；·PWD识别由PWD的电子相机观察到的三维空间内的物体，并且其中PWD使用物体识别技术来跟踪注释图形，使得注释图形看起来固定到物体；·PWD包括一个或多个惯性传感器，其获得关于PWD的位置信息，并且其中位置信息用于跟踪由PWD的电子相机观察到的三维空间内的物体或点，使得所述注释图形看起来固定在三维空间内的所述物体或点上，即使所述PWD被重新定位也是如此；·位置信息包括有关PWD的定向信息和/或运动信息；·实时音频从远程计算机流式传输到PWD，并且其中实时音频由远程计算机使用麦克风捕获并流式传输以在PWD处回放；·显示从远程计算机接收的远程助理实时视频数据，其中远程助理实时视频数据是在远程计算机上捕获并以实时方式流式传输到PWD用于回放的视频数据；·PWD向远程助理应用程序提供车辆诊断信息；·从PWD向车辆发送车辆诊断信息请求，并且响应于发送车辆诊断信息请求，在PWD处从车辆接收车辆诊断信息响应；和/或·发送车辆诊断信息请求，并使用车辆和PWD之间的短程无线通信(SRWC)连接接收车辆诊断信息响应。根据本专利技术的另一方面，提供了一种向车辆的车辆用户提供增强现实(AR)远程协助的方法，其中所述方法由包括远程助理应用程序的远程计算机实施，并且其中方法包括：在远程助理应用程序处从便携式无线设备(PWD)接收实时视频数据；在远程助理应用程序的图形用户界面(GUI)上显示实时视频数据，使得在远程助理应用程序的GUI处接收并显示在PWD处捕获的实时视频数据；在远程助理应用程序的GUI处呈现车辆诊断信息；在所述远程计算机处通过一个或多个人机界面从远程助理接收注释输入；基于注释输入获取注释信息；在远程助理应用程序的GUI处显示增强现实(AR)视频，并且其中AR视频包括基于注释信息和/或注释输入产生的注释图形；将注释信息和/或AR视频发送给PWD。根据各种实施例，所述方法还可以包括以下特征中的任何一个或这些特征中的一些或全部的任何技术上可行的组合：·发送步骤使得AR视频显示在PWD的电子显示器上，使得AR视频以同时的方式显示在远程助理应用程序的GUI和PWD的电子显示器上；·呈现车辆诊断信息，并且同时在远程助理应用程序的GUI上显示实时视频数据；·远程助理应用程序的GUI包括实时视频数据流部分、车辆操作或服务指南部分、以及一个或多个注释工具，其中实时视频数据和/或AR视频在实时视频数据流部分显示，其中车辆操作或服务指南在车辆操作或服务指南部分显示，并且其中注释工具可由远程助理选择并可用于输入注释输入；·使用物体识别技术在远程计算机处产生AR视频，并且其中AR视频包括从PWD接收的实时视频数据和覆盖或叠加在实时视频数据的一部分上的注释图形；·将AR视频从远程助理应用程序发送到PWD；·将注释信息发送到PWD，并且还包括从PWD接收AR视频的步骤；·远程助理应用程序从位于远程设施处的数据库获取车辆诊断信息；和/或·远程助理应用程序使用车辆和远程计算机之间的直接远程连接从车辆获得车辆诊断信息。附图说明在下文中将结合附图描述本专利技术的一个或多个实施例，其中相同的标号表示相同的元件，并且其中：图1是描绘能够利用本文公开的方法的通信系统的实施例的框图；图2是描绘便携式移动设备的实施例的框图，并且示出了便携式移动设备的一些示例性硬件和部件；图3是描绘图2的便携式设备的正视图的框图，其中该设备被描绘为面向前方；图4是描绘图2的便携式设备的后视图的框图，其中该设备被描绘为面向后方；图5是描绘向车辆的车辆用户提供增强现实(AR)远程协助的方法的实施例的流程图；图6是描绘向车辆的车辆用户提供增强现实(AR)远程协助的方法的另一实施例的流程图；图7是描绘向车辆的车辆用户提供增强现实(AR)远程协助的方法的又一实施例的流程图；图8是描绘远程助理应用程序的图形用户界面(GUI)的框图；以及图9是描绘车辆协助应用程序的图形用户界面(GUI)的框图。具体实施方式下面描述的系统和方法使车辆用户能够以增强现实(AR)视频的形式从远程助理接收远程协助。车辆用户是位于车辆处和/或与车辆相关联的个人，其可以请求来自远程助理的协助，远程助理是位于远程设施处的个人并且向车辆用户提供远程协助。在一种情况下，车辆用户是主要的车辆操作员，例如所有者或承租人；在另一种情况下，车辆用户是车辆维修技师或机修工。车辆用户可以使用诸如智能手机的便携式无线设备(PWD)来使用安装在PWD上的车辆协助应用程序来请求协助。然后，远程助理可以加入与车辆用户的远程协助会话。PWD可以捕获视频数据并将该实时视频数据流传输到由远程助理操作的远程助理应用程序。远程助理应用程序还可以获得关于车辆的车辆信息，其协助远程助理确定车辆的问题，或以其他方式协助车辆用户进行车辆的维修、维护或其他操作。远程助理应用程序可以包括图形用户界面(GUI)，其使得远程助理能够在实时流式传输时从PWD查看实时视本文档来自技高网...

【技术保护点】
1.一种向车辆的车辆用户提供增强现实(AR)远程协助的方法，所述方法包括：/n将实时视频数据从所述车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序，其中所述PWD包括电子显示器和电子相机，所述电子相机捕获所述电子相机视野内的所述实时视频数据，其中所述远程计算机被配置为：/n接收有关所述车辆的车辆诊断信息，/n将所述车辆诊断信息提供给远程助理，/n显示所述实时视频数据，供所述远程助理使用所述远程助理应用程序查看，/n从所述远程助理接收注释输入，以及/n将注释信息发送给所述PWD，其中所述注释信息基于所述注释输入；/n在移动设备上从所述远程助理应用程序接收所述注释信息，其中所述注释信息包括注释图形信息和注释位置信息，其中所述注释图形信息识别注释图形，并且其中所述注释位置信息识别注释显示位置；以及/n在所述电子显示器上显示增强现实(AR)视频，所述AR视频包括位于所述注释显示位置和所述实时视频数据的一部分上方的所述注释图形，其中随着所述电子相机的视野改变所述AR视频被更新，使得所述AR视频中显示的所述注释图形看起来固定在所述电子相机的视野内的位置上。/n

【技术特征摘要】
20181102 US 16/1790191.一种向车辆的车辆用户提供增强现实(AR)远程协助的方法，所述方法包括：
将实时视频数据从所述车辆本地的便携式无线设备(PWD)发送到远程计算机处的远程助理应用程序，其中所述PWD包括电子显示器和电子相机，所述电子相机捕获所述电子相机视野内的所述实时视频数据，其中所述远程计算机被配置为：
接收有关所述车辆的车辆诊断信息，
将所述车辆诊断信息提供给远程助理，
显示所述实时视频数据，供所述远程助理使用所述远程助理应用程序查看，
从所述远程助理接收注释输入，以及
将注释信息发送给所述PWD，其中所述注释信息基于所述注释输入；
在移动设备上从所述远程助理应用程序接收所述注释信息，其中所述注释信息包括注释图形信息和注释位置信息，其中所述注释图形信息识别注释图形，并且其中所述注释位置信息识别注释显示位置；以及
在所述电子显示器上显示增强现实(AR)视频，所述AR视频包括位于所述注释显示位置和所述实时视频数据的一部分上方的所述注释图形，其中随着所述电子相机的视野改变所述AR视频被更新，使得所述AR视频中显示的所述注释图形看起来固定在所述电子相机的视野内的位置上。


2.根据权利要求1所述的方法，其中所述注释位置信息包括用于识别和/或跟踪由所述PWD的所述电子相机观察到的三维空间中的物体的物体标记信息，使得所述注释图形可以被固定到所述物体以提供所述AR视频。


3.根据权利要求1所述的方法，其中所述注释位置信息包括所述实时视频数据的像素坐标位置。


4.根据权利要求3所述的方法，其中所述PWD识别由所述PWD的所述电子相机观察到的三维空间内的物体，并且其中所述PWD使用物体识别技术来跟踪所述注释图形，使得所述注释图形看起来固定到所述物体。


5.根据权利要求3所述的方法，其中所述PWD包括一个或多个惯性传感器，所述惯性传感器获得关于所述...

【专利技术属性】
技术研发人员：D·E·拉德曼，K·A·弗赖伊，
申请(专利权)人：通用汽车有限责任公司，
类型：发明
国别省市：美国;US