远程辅助检修方法、装置、设备及存储介质制造方法及图纸

本申请提供一种远程辅助检修方法、装置、设备及存储介质，涉及即时通信技术领域。该方法包括：显示第一客户端设备采集的第一帧图像；根据输入的针对第一帧图像中第一标记位置的标记操作，在第一帧图像中绘制第一标记信息，第一标记信息为工业现场的故障点对应的标记信息；采集绘制第一标记信息时的第一状态数据以及绘制第一标记信息之后的第二状态数据；根据第一标记位置、第一状态数据和第二状态数据，计算第二标记位置；在第一帧图像之后的至少一帧图像中第二标记位置处绘制第一标记信息；向第二客户端设备发送包括绘制第一标记信息的第一帧图像和第一帧图像之后的至少一帧图像的第一视频流。本申请可提高远程辅修的沟通效率，提高检修进度。

【技术实现步骤摘要】
远程辅助检修方法、装置、设备及存储介质
本专利技术涉及即时通信
，具体而言，涉及一种远程辅助检修方法、装置、设备及存储介质。
技术介绍
随着工业技术的发展，越来越多的工业设备应用在生产运输环境中。伴随工业设备的使用时长，以及使用环境等多方因素，工业设备在应用在可能会发生故障。为保证工业生产力，避免设备故障带来损害，需及时对工业现场的故障点进行检修。虽然有些工业现场，会采用检修机器人或者其它自动的方式进行检修。而检修机器人或者自动检修的成本通常较高，因此，人工检修依然还是目前设备检修的主流方式。人工检修，需要检测人员进入工业现场进行备检修。如果检测人员的检修能力不能胜任，便需要向其他检修能力更高的人员进行求助。目前，更多采用的是电话反复询问的方式获知对应的故障解决方式。但是，电话反复询问，不仅难以准确描述故障点的情况，沟通速度较慢，影响检修进度。
技术实现思路
本专利技术的目的在于，针对上述现有技术中的不足，提供一种远程辅助检修方法、装置、设备及存储介质，以提高远程辅助检修的沟通效率，提高提高检修进度。为实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种远程辅助检修方法，包括：显示第一客户端设备采集的第一帧图像；根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息；向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。可选的，所述根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置，包括：根据所述第一状态数据、所述第二状态数据，计算标记偏移量；根据所述第一标记位置和所述标记偏移量，计算所述第二标记位置。可选的，所述采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据，包括：采集绘制所述第一标记信息时所述第一客户端设备的第一姿态数据，所述第一状态数据包括：所述第一姿态数据；采集绘制所述第一标记信息之后所述第一客户端设备的加速度数据和第二姿态数据，所述第二状态数据包括：所述加速度数据和所述第二姿态数据。可选的，所述根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，包括：根据所述标记操作，将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像中的所述第一标记位置处。可选的，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标注信息，包括：将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像之后的至少一帧图像中所述第二标记位置处。可选的，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标注信息，包括：判断所述第二标记位置是否超出所述第一帧图像之后的至少一帧图像的显示范围；若所述第二标记位置未超出所述显示范围，则在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息。可选的，所述方法还包括：若所述第二标记位置超出所述第一帧图像之后的第二帧图像的显示范围，则向所述第二客户端设备发送第二视频流，所述第二视频流包括：未绘制所述第一标记信息的所述第二帧图像。可选的，所述方法还包括：根据输入的针对所述第一标记信息的第一标记删除操作，删除所述第一帧图像之后的第三帧图像中绘制的所述第一标记信息；向所述第二客户端设备发送第三视频流，所述第三视频流包括：删除所述第一标记信息之后的所述第三帧图像。可选的，所述方法还包括:接收所述第二客户端设备发送的绘制有第二标记信息的第四帧图像，所述第二标记信息为第二用户通过所述第二客户端设备显示的所述第四帧图像标记的所述故障点对应的解决方案的标记信息；采集所述第四帧图像显示时所述第一客户端设备的第三状态数据以及所述第四帧图像显示之后所述第一客户端设备的第四状态数据；根据第三标记位置、所述第三状态数据和所述第四状态数据，计算第四标记位置，其中，所述第三标记位置为所述第二标记信息在所述第四帧图像中的显示位置；在所述第四帧图像之后的至少一帧图像中所述第四标记位置处绘制所述第二标记信息；显示第四视频流，所述第四视频流包括：绘制所述第二标记信息的所述第四帧图像，和绘制所述第二标记信息的所述第四帧图像之后的至少一帧图像。可选的，所述方法还包括：接收所述第二客户端设备发送的标记删除指示信息，所述标记删除指示信息为所述第二客户端设备根据输入的针对所述第二标记信息的第二标记删除操作所发送的信息；根据所述标记删除指示信息，删除所述第四帧图像之后的第五帧图像中绘制的所述第二标记信息；显示第五视频流，所述第五视频流包括：删除所述第二标记信息之后的所述第五帧图像。第二方面，本申请实施例还提供一种远程辅助检修装置，包括：显示模块，用于显示第一客户端设备采集的第一帧图像；绘制模块，用于根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；采集模块，用于采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；计算模块，用于根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；所述绘制模块，还用于在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息；发送模块，用于向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。第三方面，本申请实施例还提供一种客户端设备，包括：存储器和处理器，所述存储器存储有所述处理器可执行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所提供的任一远程辅助检修方法。第四方面，本申请实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被读取并执行时，实现上述第一方面所提供的任一远程辅助检修方法。本申请的有益效果是：本申请所提供的远程辅助检修方法、装置、设备及存储介质中，可。该方法中，由于。附图说明为了更清楚地说本文档来自技高网...

【技术保护点】
1.一种远程辅助检修方法，其特征在于，包括：/n显示第一客户端设备采集的第一帧图像；/n根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；/n采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；/n根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；/n在所述第一帧图像之后的至少一帧图像中所述第二标记位置绘制所述第一标记信息；/n向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。/n

【技术特征摘要】
1.一种远程辅助检修方法，其特征在于，包括：
显示第一客户端设备采集的第一帧图像；
根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，其中，所述第一标记信息为第一用户标记的工业现场的故障点对应的标记信息；
采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据；
根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置；
在所述第一帧图像之后的至少一帧图像中所述第二标记位置绘制所述第一标记信息；
向第二客户端设备发送第一视频流，所述第一视频流包括：绘制所述第一标记信息的所述第一帧图像，和绘制所述第一标记信息的所述第一帧图像之后的至少一帧图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述第一标记位置、所述第一状态数据和所述第二状态数据，计算第二标记位置，包括：
根据所述第一状态数据、所述第二状态数据，计算标记偏移量；
根据所述第一标记位置和所述标记偏移量，计算所述第二标记位置。


3.根据权利要求1所述的方法，其特征在于，所述采集绘制所述第一标记信息时所述第一客户端设备的第一状态数据以及绘制所述第一标记信息之后所述第一客户端设备的第二状态数据，包括：
采集绘制所述第一标记信息时所述第一客户端设备的第一姿态数据，所述第一状态数据包括：所述第一姿态数据；
采集绘制所述第一标记信息之后所述第一客户端设备的加速度数据和第二姿态数据，所述第二状态数据包括：所述加速度数据和所述第二姿态数据。


4.根据权利要求1所述的方法，其特征在于，所述根据输入的针对所述第一帧图像中第一标记位置的标记操作，在所述第一帧图像中绘制第一标记信息，包括：
根据所述标记操作，将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像中的所述第一标记位置处。


5.根据权利要求1所述的方法，其特征在于，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置绘制所述第一标记信息，包括：
将所述第一标记信息作为增强现实信息叠加显示在所述第一帧图像之后的至少一帧图像中所述第二标记位置处。


6.根据权利要求1所述的方法，其特征在于，所述在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息，包括：
判断所述第二标记位置是否超出所述第一帧图像之后的至少一帧图像的显示范围；
若所述第二标记位置未超出所述显示范围，则在所述第一帧图像之后的至少一帧图像中所述第二标记位置处绘制所述第一标记信息。


7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
若所述第二标记位置超出所述第一帧图像之后的第二帧图像的显示范围，则向所述第二客户端设备发送第二视频流，所述第二视频流包括：未绘制所述第一标记信息的所述第二帧图像。


8.根据权利要求1所述的方法，其特征在...

【专利技术属性】
技术研发人员：张二阳，刘帅，敖亚磊，郑旭，苏以佳，张俊，
申请(专利权)人：郑州捷安高科股份有限公司，
类型：发明
国别省市：河南;41