一种远程驾驶的视频传输方法、设备及介质技术

本申请公开了一种远程驾驶的视频传输方法、设备及介质，方法包括：通过设置于机器人上方的摄像头矩阵，采集机器人的环境图像序列；将环境图像序列进行拼接及排序，以得到机器人的环境视频；将环境视频进行编码压缩，以得到传输视频；通过推流端将传输视频发送至预部署的视频流服务器；根据接收到的播放请求，通过预先设置的拉流地址以及拉流端，拉取传输视频，进行解码播放。该方法通过将环境图像进行拼接之后再压缩传输，能够降低机器人的网络负担。通过远程驾驶使机器人脱困，从而保障了远程驾驶的安全性。通过服务器存储驾驶过程的全视频，还可用作机器人的强化学习资源以及出现事故的鉴责依据。事故的鉴责依据。事故的鉴责依据。

【技术实现步骤摘要】
一种远程驾驶的视频传输方法、设备及介质


[0001]本申请涉及视频传输领域，具体涉及一种远程驾驶的视频传输方法、设备及介质。

技术介绍

[0002]当前智能驾驶配货机器人在某些极端工作环境下，会出现宕机现象。为解决这种现象，前期可能需要大量各地的工作人员前往事发地点进行救援，费时费力。为减少人工工作量，远程驾驶应用应运而生，可以先由远端客服人员驾驶机器人尝试脱困。实在无法完成的脱困任务再转给人工前往救援，从而有效减少出勤次数。
[0003]现有技术中，远端机器人的环境图像在传输给驾驶人员时，经常会遇到网络卡顿导致的传播速度慢，或是无法多端同时观看环境图像或视频的问题。

技术实现思路

[0004]为了解决上述问题，本申请提出了一种远程驾驶的视频传输方法、设备及介质，其中方法包括：
[0005]通过设置于机器人上方的摄像头矩阵，采集所述机器人的环境图像序列；将所述环境图像序列进行拼接及排序，以得到所述机器人的环境视频；将所述环境视频进行编码压缩，以得到传输视频；通过推流端将所述传输视频发送至预部署的视频流服务器；根据接收到的播放请求，通过预先设置的拉流地址以及拉流端，拉取所述传输视频，进行解码播放。
[0006]在一个示例中，所述将所述传输视频发送至预部署的视频流服务器之后，所述方法还包括：通过所述视频流服务器将所述传输视频转存至数据库；将所述数据库中的传输视频作为训练集输入至初始脱困模型进行训练，直至所述初始脱困模型的失误率低于预设阈值，以得到所述机器人的自动脱困模型。
[0007]在一个示例中，所述通过推流端将所述传输视频发送至预部署的视频流服务器时，使用基于用户数据报协议的webRTC协议进行视频推送。
[0008]在一个示例中，所述通过推流端将所述传输视频发送至预部署的视频流服务器之前，所述方法还包括：部署视频流服务器，并关闭所述视频流服务器的数据重发机制；设定所述视频流服务器的数据删除时间。
[0009]在一个示例中，所述将所述环境图像序列进行拼接及排序，以得到所述机器人的环境视频，具体包括：将所述环境图像序列中的特定场景移除，并将所述摄像头矩阵中预设摄像头拍摄的场景进行拼接，以得到多个中间图像；按照预设规则，将第一中间图像尺寸缩小，并拼接至第二中间图像的预设区域中；所述预设规则至少包括预设摄像头编号、拼接规则、中间图像划分规则、预设区域坐标。
[0010]在一个示例中，所述根据接收到的播放请求，通过预先设置的拉流地址以及拉流端，拉取所述传输视频，具体包括：接收来自多个播放端的播放请求，所述播放请求至少包括所述多个播放端的连接请求以及拉流地址；待所述连接请求通过验证后，根据所述拉流
地址，将所述拉流地址对应的传输视频发送至所述多个播放端；若所述连接请求未通过验证，或所述拉流地址错误，则返回视频拉取失败提示。
[0011]在一个示例中，所述摄像头矩阵至少包括两个摄像头，且所述摄像头的拍摄范围之内存在所述机器人的轮廓；所述方法还包括：接收摄像头调度指令，并根据所述摄像头调度指令，改变所述摄像头矩阵中所述摄像头的拍摄角度。
[0012]本申请还提供了一种远程驾驶的视频传输设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行：通过设置于机器人上方的摄像头矩阵，采集所述机器人的环境图像序列；将所述环境图像序列进行拼接及排序，以得到所述机器人的环境视频；将所述环境视频进行编码压缩，以得到传输视频；通过推流端将所述传输视频发送至预部署的视频流服务器；根据接收到的播放请求，通过预先设置的拉流地址以及拉流端，拉取所述传输视频，进行解码播放。
[0013]本申请还提供了一种非易失性计算机存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：通过设置于机器人上方的摄像头矩阵，采集所述机器人的环境图像序列；将所述环境图像序列进行拼接及排序，以得到所述机器人的环境视频；将所述环境视频进行编码压缩，以得到传输视频；通过推流端将所述传输视频发送至预部署的视频流服务器；根据接收到的播放请求，通过预先设置的拉流地址以及拉流端，拉取所述传输视频，进行解码播放。
[0014]通过本申请提出的方法能够通过将环境视频传输给驾驶人员，能够远程驾驶使机器人脱困，从而保障了远程驾驶的安全性。通过服务器存储驾驶过程的全视频，还可用作机器人的强化学习资源以及出现事故的鉴责依据。
附图说明
[0015]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0016]图1为本申请实施例中一种远程驾驶的视频传输方法的流程示意图；
[0017]图2为本申请实施例中一种摄像头安装位置示意图；
[0018]图3为本申请实施例中一种图片拼接位置示意图；
[0019]图4为本申请实施例中一种远程驾驶的视频传输设备的结构示意图。
具体实施方式
[0020]为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例及相应的附图对本申请技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0021]以下结合附图，详细说明本申请各实施例提供的技术方案。
[0022]图1为本说明书一个或多个实施例提供的一种远程驾驶的视频传输方法的流程示意图。该方法可以应用于不同的机器人类型，例如机动车、清洁机器人、工程机器人等。该流
程可以由相应类型机器人的计算设备执行，流程中的某些输入参数或者中间结果允许人工干预调节，以帮助提高准确性。
[0023]本申请实施例涉及的分析方法的实现可以为终端设备，也可以为服务器，本申请对此不作特殊限制。为了方便理解和描述，以下实施例均以服务器为例进行详细描述。
[0024]需要说明的是，该服务器可以是单独的一台设备，可以是有多台设备组成的系统，即，分布式服务器，本申请对此不做具体限定。
[0025]如图1所示，本申请实施例提供一种远程驾驶的视频传输方法，包括：
[0026]S101：通过设置于机器人上方的摄像头矩阵，采集所述机器人的环境图像序列。
[0027]首先，机器人端设置摄像头矩阵中的摄像头采集帧率，此同时为推流帧率，一般设置为30帧。摄像头矩阵设置于机器人上方，摄像头矩阵中包含多个摄像头，摄像头用于采集机器人的环境图像序列。需要说明的是，环境图像序列指的是与包含时间戳的环境图像。
[0028]在一个实施例中，摄像头矩阵至少包括两个摄像头，且摄像头矩阵中摄像头的拍摄范围之内必须存在机器人的轮廓，同时，摄像头矩阵中的摄像头能够根据接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种远程驾驶的视频传输方法，其特征在于，所述方法包括：通过设置于机器人上方的摄像头矩阵，采集所述机器人的环境图像序列；将所述环境图像序列进行拼接及排序，以得到所述机器人的环境视频；将所述环境视频进行编码压缩，以得到传输视频；通过推流端将所述传输视频发送至预部署的视频流服务器；根据接收到的播放请求，通过预先设置的拉流地址以及拉流端，拉取所述传输视频，进行解码播放。2.根据权利要求1所述的方法，其特征在于，所述将所述传输视频发送至预部署的视频流服务器之后，所述方法还包括：通过所述视频流服务器将所述传输视频转存至数据库；将所述数据库中的传输视频作为训练集输入至初始脱困模型进行训练，直至所述初始脱困模型的失误率低于预设阈值，以得到所述机器人的自动脱困模型。3.根据权利要求1所述的方法，其特征在于，所述通过推流端将所述传输视频发送至预部署的视频流服务器时，使用基于用户数据报协议的webRTC协议进行视频推送。4.根据权利要求1所述的方法，其特征在于，所述通过推流端将所述传输视频发送至预部署的视频流服务器之前，所述方法还包括：部署视频流服务器，并关闭所述视频流服务器的数据重发机制；设定所述视频流服务器的数据删除时间。5.根据权利要求1所述的方法，其特征在于，所述将所述环境图像序列进行拼接及排序，以得到所述机器人的环境视频，具体包括：将所述环境图像序列中的特定场景移除，并将所述摄像头矩阵中预设摄像头拍摄的场景进行拼接，以得到多个中间图像；按照预设规则，将第一中间图像尺寸缩小，并拼接至第二中间图像的预设区域中；所述预设规则至少包括预设摄像头编号、拼接规则、中间图像划分规则、预设区域坐标。6.根据权利要求1所述的方法，其特征在于，所述根据接收到的播放请求，通过预先设置的拉流地址以及...

【专利技术属性】
技术研发人员：张猛，王本强，谢超，马辰，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：