一种远程控制方法和相关装置制造方法及图纸

本申请实施例公开了一种远程控制方法和相关装置，可以应用于图像处理、人脸处理、云技术、安全、大数据等各类基础技术。第一设备获取多张视频帧和多张视频帧的重要参数，基于重要参数确定多张视频帧的拼合方式，并基于该拼合方式对多张视频帧进行拼合，得到大视频画面并发送给第二设备。第二设备可以基于大视频画面得到控制指令，并将控制指令发送给第一设备，以便第一设备根据控制指令执行对应的操作，从而实现第二设备对第一设备的远程控制。由此，第一设备不再分别发送来自多路视频的多张视频帧，而是拼合成一张大视频画面共同发送给第二设备，降低了出现延时的概率，降低了端到端的延时，提高远程控制的实时性和安全性。提高远程控制的实时性和安全性。提高远程控制的实时性和安全性。

【技术实现步骤摘要】
一种远程控制方法和相关装置


[0001]本申请涉及工业控制
，特别是涉及一种远程控制方法和相关装置。

技术介绍

[0002]远程控制适用于人类不宜长时间工作的环境，如水下、核磁环境、矿山、垃圾场等环境，需要远程控制机器代替人类进入这些环境进行工作。例如，可以通过远程控制自动驾驶车辆在自动驾驶场景下实现远程脱困。
[0003]相关技术中，被控机器一般会安装多个摄像头，通过多个摄像头采集周围环境的视频，然后将多路视频分别传输给远程控制端，远程控制端基于多路视频进行视频拼接，得到被控机器周围的环境，并根据被控机器周围的环境发出控制指令，从而控制被控机器。
[0004]但是，上述远程控制方式中经常出现延时，导致远程控制的实时性较差，对于实时性较高的应用场景会影响到远程控制的安全性。

技术实现思路

[0005]为了解决上述技术问题，本申请提供了一种远程控制方法和相关装置，用于降低端到端的延时，提高远程控制的安全性。
[0006]本申请实施例公开了如下技术方案：第一方面，本申请实施例提供一种远程控制方法，所述方法应用于第一设备，所述方法包括：获取同一时刻的多张视频帧和多张所述视频帧的重要参数，多张所述视频帧用于描述所述第一设备在不同拍摄视角的环境信息，所述重要参数用于描述对应视频帧在多张所述视频帧中的重要程度；根据所述重要参数，确定多张所述视频帧的拼合方式；根据所述拼合方式对多张所述视频帧进行拼合，得到大视频画面，在所述大视频画面中，所述重要参数标识的重要程度越大，对应视频帧的图像分辨率越大；向第二设备发送所述大视频画面；从所述第二设备获取控制指令，所述控制指令是根据所述大视频画面得到的；根据所述控制指令执行所述控制指令对应的操作。
[0007]第二方面，本申请实施例提供一种远程控制方法，所述方法应用于第二设备，所述方法包括：从第一设备获取大视频画面，所述大视频画面是多张视频帧通过拼合方式拼合得到的，多张所述视频帧用于描述所述第一设备在不拍摄同视角的环境信息，所述拼合方式是根据多张所述视频帧的重要参数确定的，所述重要参数用于描述对应视频帧在多张所述视频帧中的重要程度；根据所述拼合方式对应的拆分方式对所述大视频画面进行拆分，得到多张所述视频帧；
根据多张所述视频帧，获取控制指令；向所述第一设备发送所述控制指令。
[0008]第三方面，本申请实施例提供一种远程控制装置，所述装置内置于第一设备，所述装置包括：获取单元、确定单元、拼合单元、发送单元和执行单元；所述获取单元，用于获取同一时刻的多张视频帧和多张所述视频帧的重要参数，多张所述视频帧用于描述所述第一设备在不同拍摄视角的环境信息，所述重要参数用于描述对应视频帧在多张所述视频帧中的重要程度；所述确定单元，用于根据所述重要参数，确定多张所述视频帧的拼合方式；所述拼合单元，用于根据所述拼合方式对多张所述视频帧进行拼合，得到大视频画面，在所述大视频画面中，所述重要参数标识的重要程度越大，对应视频帧的图像分辨率越大；所述发送单元，用于向第二设备发送所述大视频画面；所述获取单元，还用于从所述第二设备获取控制指令，所述控制指令是根据所述大视频画面得到的；所述执行单元，用于根据所述控制指令执行所述控制指令对应的操作。
[0009]第四方面，本申请实施例提供一种远程控制装置，所述装置内置于第二设备，所述装置包括：获取单元、拆分单元和发送单元；所述获取单元，用于从第一设备获取大视频画面，所述大视频画面是多张视频帧通过拼合方式拼合得到的，多张所述视频帧用于描述所述第一设备在不拍摄同视角的环境信息，所述拼合方式是根据多张所述视频帧的重要参数确定的，所述重要参数用于描述对应视频帧在多张所述视频帧中的重要程度；所述拆分单元，用于根据所述拼合方式对应的拆分方式对所述大视频画面进行拆分，得到多张所述视频帧；所述获取单元，还用于根据多张所述视频帧，获取控制指令；所述发送单元，用于向所述第一设备发送所述控制指令。
[0010]第五方面，本申请实施例提供一种远程控制系统，所述系统包括第一设备和第二设备；所述第一设备，用于上面第一方面所述的方法；所述第二设备，用于上面第二方面所述的方法。
[0011]第六方面，本申请实施例提供一种计算机设备，所述计算机设备包括处理器以及存储器：所述存储器用于存储计算机程序，并将所述计算机程序传输给所述处理器；所述处理器用于根据所述计算机程序中的指令执行上述方面所述的方法。
[0012]第七方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的方法。
[0013]第八方面，本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述方面所述的方法。
[0014]由上述技术方案可以看出，第一设备是被第二设备控制的设备，会通过拍摄视频等方式不断获取其周围的环境信息，以便发送给第二设备获取控制指令。由于一张视频帧的拍摄视角有限，提供的第一设备周围的环境信息较少，故获取用于描述第一设备在不同拍摄视角的环境信息的多张视频帧，以及每张视频帧的重要参数，该重要参数用于描述对应视频帧在多张视频帧中的重要程度，从而基于重要参数确定多张视频帧的拼合方式，并基于该拼合方式对多张视频帧进行拼合，得到大视频画面，使得大视频画面中，重要参数标识的重要程度越大，该重要参数对应的视频帧的图像分辨率越大，使得更重要的视频帧包括的信息量更多，或者说，更重要的视频帧损失的信息量更少，以便在大视频画面发送给第二设备后，第二设备可以基于大视频画面得到控制指令，并将控制指令发送给第一设备，以便第一设备根据控制指令执行对应的操作，从而实现第二设备对第一设备的远程控制。
[0015]由此，第一设备不再分别发送来自多路视频的多张视频帧，而是拼合成一张大视频画面共同发送给第二设备，降低了出现延时的概率，降低了端到端的延时，提高远程控制的实时性和安全性。此外，大视频画面包括的多张视频帧是同一时刻产生的，可以保证多路视频之间的同步性，而且视频拼接的操作在第二设备完成，降低视频拼接对第一设备资源的要求，也可以延长第一设备的使用时间和寿命。
附图说明
[0016]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为本申请实施例提供的远程控制方法的应用场景示意图；图2为本申请实施例提供的一种远程控制系统的信令交互图；图3为本申请实施例提供的一种拼合方式的示意图；图4为本申请实施例提供的一种拼合方式的示意图；图5为本申请实施例提供的一种拼合方式的示意图；图6为本申请实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程控制方法，其特征在于，所述方法应用于第一设备，所述方法包括：获取同一时刻的多张视频帧和多张所述视频帧的重要参数，多张所述视频帧用于描述所述第一设备在不同拍摄视角的环境信息，所述重要参数用于描述对应视频帧在多张所述视频帧中的重要程度；根据所述重要参数，确定多张所述视频帧的拼合方式；根据所述拼合方式对多张所述视频帧进行拼合，得到大视频画面，在所述大视频画面中，所述重要参数标识的重要程度越大，对应视频帧的图像分辨率越大；向第二设备发送所述大视频画面；从所述第二设备获取控制指令，所述控制指令是根据所述大视频画面得到的；根据所述控制指令执行所述控制指令对应的操作。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取所述第一设备的工作状态；根据所述工作状态确定多张所述视频帧的重要参数。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：向所述第二设备发送重要参数获取请求；从所述第二设备获取多张所述视频帧的重要参数。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取多张所述视频帧的数量；所述根据所述重要参数，确定多张所述视频帧的拼合方式，包括：根据所述数量和所述重要参数，确定多张所述视频帧的拼合方式。5.根据权利要求1所述的方法，其特征在于，所述向第二设备发送所述大视频画面，包括：对所述大视频画面进行编码，得到编码视频；向所述第二设备发送所述编码视频。6.根据权利要求1所述的方法，其特征在于，若所述第一设备为工业移动设备，所述向第二设备发送所述大视频画面，包括：通过第五代无线蜂窝技术向流媒体服务器发送所述大视频画面，以便所述第二设备从所述流媒体服务器拉取得到所述大视频画面。7.根据权利要求6所述的方法，其特征在于，所述流媒体服务器包括多媒体传输通道和控制数据传输通道，所述通过第五代无线蜂窝技术向流媒体服务器发送所述大视频画面，包括：通过所述第五代无线蜂窝技术，利用所述多媒体传输通道向所述流媒体服务器发送所述大视频画面；所述方法还包括：利用所述控制数据传输通道向所述流媒体服务器发送所述拼合方式或所述控制指令。8.一种远程控制方法，其特征在于，所述方法应用于第二设备，所述方法包括：从第一设备获取大视频画面，所述大视频画面是多张视频帧通过拼合方式拼合得到的，多张所述视频帧用于描述所述第一设备在不拍摄同视角的环境信息，所述拼合方式是根据多张所述视频帧的重要参数确定的，所述重要参数用于描述对应视频帧在多张所述视
频帧中的重要程度；根据所述拼合方式对应的拆分方式对所述大视频画面进行拆分，得到多张所述视频帧；根据多张所述视频帧，获取控制指令；向所述第一设备发送所述控制指令。9.根据权利要求8所述的方法，其特征在于，若多张所述视频帧存在重叠区域，则根据多张所述视频帧，获取控制指令，...

【专利技术属性】
技术研发人员：杨勇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：