自动驾驶车辆的监控方法及装置、存储介质、计算机设备制造方法及图纸

一种自动驾驶车辆的监控方法及装置、存储介质、计算机设备，所述自动驾驶车辆设置有作业摄像头，所述作业摄像头用于输出编码图像，所述编码图像是采集的原始图像经过编码操作得到的，所述编码操作具有第一延迟，所述方法包括：获取所述作业摄像头采集的原始图像；对所述原始图像执行视频流编码操作，得到编码后的视频流，所述视频流编码操作具有第二延迟，所述第二延迟小于所述第一延迟；将所述视频流发送至服务端，以用于远程监控。由此，能够有效减少基于无人驾驶车辆上设置的商用监控摄像头进行监控的延迟，尤其在远程监控时能够减小由于延迟造成的影响。由于延迟造成的影响。由于延迟造成的影响。

Automatic driving vehicle monitoring method and device, storage medium, computer equipment

【技术实现步骤摘要】
自动驾驶车辆的监控方法及装置、存储介质、计算机设备


[0001]本专利技术涉及自动驾驶领域，具体地涉及一种自动驾驶车辆的监控方法及装置、存储介质、计算机设备。

技术介绍

[0002]无人驾驶车辆依靠传感器感知路况和周围环境，摄像头是无人驾驶车辆重要的视觉传感器。无人驾驶车辆上的摄像头主要有感知摄像头和商用监控摄像头(也可称为作业摄像头)两种。其中，感知摄像头主要用于采集图像数据以参与无人驾驶算法；商用监控摄像头主要用于采集图像数据以记录监控车辆行驶状况和作业完成状况。
[0003]商用监控摄像头采集输出的图像通常还会用于远程监控，现有技术中，常用的远程监控技术方案主要包括以下两种：
[0004]1、获取商用监控摄像头的各帧原始图像，通过websocket协议(一种在单个TCP连接上进行全双工通信的协议)将各帧原始图像的数据以二进制的网络包传输至中间服务器，并在中间服务器封装成图片格式的文件(如jpg文件等)。执行远程监控的服务端以访问图像文件的方式从中间服务器获取各帧原始图像的文件，并将连续的多帧原始图像以类似于动图的形式在服务端侧播放。
[0005]2、获取商用监控摄像头输出的视频流(可以为RTSP格式)，将视频流转码成实时传输协议(Real
‑
time Transport Protocol，简称RTMP，也可以称为直播协议)，并推送到中间服务器的视频处理中心。执行远程监控的服务端在向中间服务器请求后，从中间服务器上拉取RTMP流进行视频播放。
[0006]然而，上述两种远程监控技术方案有各自的缺点和不足。上述第1种解决方案没有对原始图像进行帧间编码，需要传输完整的原始图像，相同的传输帧率下带来更大的传输带宽消耗。如果宽带消耗大到一定程度会造成带宽堵塞，进而带来雪崩效应引起较大的延迟。而如果想要减少传输带宽的压力和传输的延迟，只能减少传输的图像的帧数，这会导致远程播放的帧率下降，对于服务端侧观看监控视频的人来说低播放帧率意味着视频卡顿，可能会带来监控的负面体验。
[0007]总而言之，以上两种现有的远程监控技术方案，远程监控的延迟往往较大，从而影响远程监控的效果。

技术实现思路

[0008]本专利技术解决的技术问题是如何有效减少无人驾驶车辆上商业监控摄像头的远程监控延迟。
[0009]为解决上述技术问题，本专利技术实施例提供一种自动驾驶车辆的监控方法，所述自动驾驶车辆设置有作业摄像头，所述作业摄像头用于输出编码图像，所述编码图像是采集的原始图像经过编码操作得到的，所述编码操作具有第一延迟，所述方法包括：获取所述作业摄像头采集的原始图像；对所述原始图像执行视频流编码操作，得到编码后的视频流，所
述视频流编码操作具有第二延迟，所述第二延迟小于所述第一延迟；将所述视频流发送至服务端，以用于远程监控。
[0010]可选的，在所述视频流编码操作中，B帧编码被取消，和/或，单个画面组中的图像帧数量小于第一阈值。
[0011]可选的，在发送所述视频流时，用于发送所述视频流的缓存区的大小小于第二阈值，和/或，通过UDP协议发送所述视频流。
[0012]可选的，所述获取所述作业摄像头采集的原始图像之后，还包括：根据所述原始图像生成作业消息；发布所述作业消息，以使得一个或多个节点能够获取所述作业消息。
[0013]可选的，所述自动驾驶车辆配置有机器人操作系统，所述发布所述作业消息包括：将所述作业消息发布至所述机器人操作系统网络，以使得所述一个或多个节点通过订阅的方式从所述网络获取所述作业消息。
[0014]可选的，所述发布所述作业消息之后，还包括：通过本地监控节点获取所述作业消息，并基于所述作业消息生成作业图像流；通过所本地监控节点将所述作业图像流发送至播放设备播放，以使得所述自动驾驶车辆上的安全员实现本地监控。
[0015]可选的，所述自动驾驶车辆还设置有感知摄像头，所述感知摄像头用于采集感知图像，所述感知图像参与自动驾驶算法。
[0016]可选的，所述方法还包括：当所述自动驾驶车辆发生接管事件时，确定所述接管事件的发生时间；获取所述发生时间之前一段时间内的感知图像；获取所述发生时间之前一段时间内的原始图像；将所述接管事件、所述发生时间之前一段时间内的感知图像和原始图像发送至所述服务端。
[0017]本专利技术实施例还提供一种自动驾驶车辆的监控装置，所述自动驾驶车辆设置有作业摄像头，所述作业摄像头用于输出编码图像，所述编码图像是采集的原始图像经过编码操作得到的，所述编码操作具有第一延迟，所述装置包括：作业图像获取模块，用于获取所述作业摄像头采集的原始图像；编码模块，用于对所述原始图像执行视频流编码操作，得到编码后的视频流，所述视频流编码操作具有第二延迟，所述第二延迟小于所述第一延迟；发送模块，用于将所述视频流发送至服务端，以用于远程监控。
[0018]本专利技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述自动驾驶车辆的监控方法的步骤。
[0019]本专利技术实施例还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现任一项所述自动驾驶车辆的监控方法的步骤。
[0020]与现有技术相比，本专利技术实施例的技术方案具有以下有益效果：
[0021]本专利技术实施例提供一种自动驾驶车辆的监控方法，所述自动驾驶车辆设置有作业摄像头，所述作业摄像头用于输出编码图像，所述编码图像是采集的原始图像经过编码操作得到的，所述编码操作具有第一延迟，所述方法包括：获取所述作业摄像头采集的原始图像；对所述原始图像执行视频流编码操作，得到编码后的视频流，所述视频流编码操作具有第二延迟，所述第二延迟小于所述第一延迟；将所述视频流发送至服务端，以用于远程监控。较之现有技术，采用本实施例的方法，自动驾驶车辆获取作业摄像头未经内部编码的原始图像，并对原始图像进行外部编码后得到视频流，再将视频流推送至服务端。由此，在自
动驾驶车辆向服务端发送作业摄像头采集的监控视频流时，能够有效减少远程监控的延迟。
[0022]进一步，车辆本地在获取原始图像之后对其进行帧间编码，并将编码后的数据封装为FLV流媒体再发送至服务端，压缩了原始图像。较之现有技术，本方案能够减小传输时的带宽消耗，并且不减少传输的图像帧数，使得服务端的工作人员有更好的监控体验。另外，帧间编码造成的延迟小于作业摄像头内部编码的延迟，能够有效减少远程监控场景的延迟。
[0023]进一步，将作业摄像头、感知摄像头以及各种感知设备采集到的原始图像、感知图像和感知信息这些数据，转化为统一的数据格式。从而能够基于同一套数据管理方式管理这些数据，便于数据分析。
[0024]进一步，在车辆本地监控场景下，自动驾驶车辆侧会播放作业摄像头采集的原始图像生成的作业图像流(如MJPEG图像流)，在将原始图像转化为作业图像流时没有视频编码的计算消耗，并且本地监控场景下的原始图像的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶车辆的监控方法，其特征在于，所述自动驾驶车辆设置有作业摄像头，所述作业摄像头用于输出编码图像，所述编码图像是采集的原始图像经过编码操作得到的，所述编码操作具有第一延迟，所述方法包括：获取所述作业摄像头采集的原始图像；对所述原始图像执行视频流编码操作，得到编码后的视频流，所述视频流编码操作具有第二延迟，所述第二延迟小于所述第一延迟；将所述视频流发送至服务端，以用于远程监控。2.根据权利要求1所述的方法，其特征在于，在所述视频流编码操作中，B帧编码被取消，和/或，单个画面组中的图像帧数量小于第一阈值。3.根据权利要求1所述的方法，其特征在于，在发送所述视频流时，用于发送所述视频流的缓存区的大小小于第二阈值，和/或，通过UDP协议发送所述视频流。4.根据权利要求1至3任一所述的方法，其特征在于，所述获取所述作业摄像头采集的原始图像之后，还包括：根据所述原始图像生成作业消息；发布所述作业消息，以使得一个或多个节点能够获取所述作业消息。5.根据权利要求4所述的方法，其特征在于，所述自动驾驶车辆配置有机器人操作系统，所述发布所述作业消息包括：将所述作业消息发布至所述机器人操作系统网络中，以使得所述一个或多个节点通过订阅的方式从所述网络获取所述作业消息。6.根据权利要求5所述的方法，其特征在于，所述发布所述作业消息之后，还包括：通过本地监控节点获取所述作业消息，并基于所述作业消息生成作业图像流；通过所本地监控节点将所述作业图像...

【专利技术属性】
技术研发人员：黄超，柴桢亮，
申请(专利权)人：上海仙途智能科技有限公司，
类型：发明
国别省市：