视频帧延迟时间确定方法、设备、介质及远程驾驶系统技术方案

本发明专利技术涉及无人驾驶、自动驾驶技术领域，具体提供一种视频帧延迟时间确定方法、设备、介质及远程驾驶系统，旨在解决确定无人车远程驾驶中视频帧延迟时间的问题。为此本发明专利技术的方法可以控制无人车对摄像装置输出的视频帧进行标记形成标记帧，从无人车向远程驾驶舱实时传输的视频帧中检测标记帧；获取标记帧从无人车的摄像装置输出的时间t0以及获取标记帧在远程驾驶舱完成渲染的时间t1；将标记帧通过摄像装置曝光到输出的时间和作为第一段延迟时间，将时间t1与时间t0的时间差作为第二段延迟时间；根据第一段延迟时间与第二段延迟时间的时间和，确定视频帧延迟时间。通过上述方式，可以减小第二段延迟时间的误差，从而得到准确的视频帧延迟时间。视频帧延迟时间。视频帧延迟时间。

【技术实现步骤摘要】
视频帧延迟时间确定方法、设备、介质及远程驾驶系统


[0001]本专利技术涉及无人驾驶、自动驾驶
，具体提供一种视频帧延迟时间确定方法、设备、介质及远程驾驶系统。

技术介绍

[0002]在无人车远程驾驶过程中远程驾驶舱的驾驶员需要根据无人车采集的视频帧对无人车进行驾驶控制，而为了保证无人车远程驾驶的安全性，必须实时且准确地获取视频帧从无人车采集到远程驾驶舱渲染显示出来这一过程的时间，即视频帧的延迟时间，以便于根据视频帧的延迟时间调整驾驶控制指令。如图1所示，视频帧的延迟时间主要包括视频帧曝光到将视频帧传输至编码程序的时间d0以及从编码程序对视频帧进行编码到将视频帧在远程驾驶舱完成渲染的时间d1且d1＝d2+d3+d4+d5，d2是对视频帧进行编码前的格式转换时间与编码时间的总和，d3是将编码后的视频帧传输至远程驾驶舱的时间，d4表示等待解码的时间与对视频帧进行解码的时间的总和，d5表示等待渲染的时间与对视频帧进行渲染的时间的总和。
[0003]时间d0由采集视频帧的摄像装置决定且该时间相对比较固定，时间d1的确定方法主要是通过估算得到时间d2、d4等，最后计算时间d2、d3、d4和d5的总和得到时间d1。然而这种方法在确定时间d2、d3、d4和d5都或多或少存在一定的误差，这些误差累加之后会导致时间d1存在较大的误差，从而无法得到较为准确的视频帧延迟时间。
[0004]相应地，本领域需要一种新的技术方案来解决上述问题。

技术实现思路

[0005]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决如何准确确定无人车远程驾驶中视频帧的延迟时间的技术问题的视频帧延迟时间确定方法、设备、介质及远程驾驶系统。
[0006]在第一方面，本专利技术提供一种无人车远程驾驶的视频帧延迟时间确定方法，所述方法包括：
[0007]控制无人车对摄像装置输出的视频帧进行标记形成标记帧，从所述无人车向远程驾驶舱实时传输的视频帧中检测标记帧；
[0008]获取所述标记帧从所述无人车的摄像装置输出的时间t0以及获取所述标记帧在所述远程驾驶舱完成渲染的时间t1；
[0009]将所述标记帧通过所述摄像装置曝光到输出的时间和作为第一段延迟时间，将所述时间t1与所述时间t0的时间差作为第二段延迟时间；
[0010]根据所述第一段延迟时间与所述第二段延迟时间的时间和，确定最终的视频帧延迟时间。
[0011]在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，“控制无人车对摄像装置输出的视频帧进行标记形成标记帧”的步骤具体包括：
[0012]控制所述无人车在所述摄像装置输出一个视频帧后将所述视频帧上预设的待检测区域的颜色属性设置成预设的标记帧对应的颜色属性，以形成标记帧；
[0013]或者，
[0014]控制所述无人车在所述摄像装置输出一个视频帧后根据所述视频帧从所述摄像装置输出的时间戳生成一个时间标识码，将所述时间标识码与所述视频帧进行拼接，以形成标记帧。
[0015]在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，“控制所述无人车在所述摄像装置输出一个视频帧后将所述视频帧上预设的待检测区域的颜色属性设置成预设的标记帧对应的颜色属性，以形成标记帧”的步骤具体包括：
[0016]控制所述无人车实时地将所述摄像装置输出的每一个视频帧上预设的待检测区域的颜色属性都设置成预设的非标记帧对应的颜色属性，以形成非标记帧；
[0017]控制所述无人车获取一个所述非标记帧，并将所述非标记帧上预设的待检测区域的颜色属性再次设置成预设的标记帧对应的颜色属性，以形成标记帧。
[0018]在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，所述预设的非标记帧对应的颜色属性是黑色，所述预设的标记帧对应的颜色属性是白色，所述方法还包括通过下列方式将所述预设的待检测区域的颜色属性设置成黑色或白色：
[0019]将所述预设的待检测区域中每个像素的YUV值中的Y值设置成0，以使所述预设的待检测区域的颜色属性被设置成黑色；
[0020]或，将所述预设的待检测区域中每个像素的YUV值中的Y值设置成255，以使所述预设的待检测区域的颜色属性被设置成白色。
[0021]在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，所述预设的待检测区域是所述视频帧上第1至N行像素所在的区域，其中，N＞1。
[0022]在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，“从所述无人车向远程驾驶舱实时传输的视频帧中检测标记帧”的步骤具体包括：
[0023]检测所述视频帧上预设的待检测区域的颜色属性是否为预设的标记帧对应的颜色属性；若是，则所述视频帧是标记帧；否则，不是标记帧；
[0024]或者，
[0025]检测所述视频帧上是否包含时间标识码；若是，则所述视频帧是标记帧；否则，不是标记帧。
[0026]在上述无人车远程驾驶的视频帧延迟时间确定方法的一个技术方案中，“获取所述标记帧从所述无人车的摄像装置输出的时间t0”的步骤具体包括：
[0027]基于预设的通信协议，接收所述无人车发送的所述标记帧从所述无人车的摄像装置输出的时间t0；
[0028]或者，
[0029]对所述标记帧上的时间标识码进行识别，以获取所述标记帧从所述无人车的摄像装置输出的时间戳，根据所述时间戳确定所述标记帧从所述无人车的摄像装置输出的时间t0。
[0030]在第二方面，提供一种计算机设备，该计算机设备包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述无
人车远程驾驶的视频帧延迟时间确定方法的技术方案中任一项技术方案所述的无人车远程驾驶的视频帧延迟时间确定方法。
[0031]在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述无人车远程驾驶的视频帧延迟时间确定方法的技术方案中任一项技术方案所述的无人车远程驾驶的视频帧延迟时间确定方法。
[0032]在第四方面，提供一种无人车远程驾驶系统，该无人车远程驾驶系统包括上述计算机设备技术方案所述的计算机设备。
[0033]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0034]在实施本专利技术的技术方案中，可以控制无人车对摄像装置输出的视频帧进行标记形成标记帧，从无人车向远程驾驶舱实时传输的视频帧中检测标记帧；获取标记帧从无人车的摄像装置输出的时间t0以及获取标记帧在远程驾驶舱完成渲染的时间t1；将标记帧通过摄像装置曝光到输出的时间和作为第一段延迟时间，将时间t1与时间t0的时间差作为第二段延迟时间；根据第一段延迟时间与第二段延迟时间的时间和，确定最终的视频帧延迟时间。
[0035]第一段延迟时间是由采集视频帧的摄像装置决定的且该时间相对比较固定。第二段延迟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种无人车远程驾驶的视频帧延迟时间确定方法，其特征在于，所述方法包括：控制无人车对摄像装置输出的视频帧进行标记形成标记帧，从所述无人车向远程驾驶舱实时传输的视频帧中检测标记帧；获取所述标记帧从所述无人车的摄像装置输出的时间t0以及获取所述标记帧在所述远程驾驶舱完成渲染的时间t1；将所述标记帧通过所述摄像装置曝光到输出的时间和作为第一段延迟时间，将所述时间t1与所述时间t0的时间差作为第二段延迟时间；根据所述第一段延迟时间与所述第二段延迟时间的时间和，确定最终的视频帧延迟时间。2.根据权利要求1所述的无人车远程驾驶的视频帧延迟时间确定方法，其特征在于，“控制无人车对摄像装置输出的视频帧进行标记形成标记帧”的步骤具体包括：控制所述无人车在所述摄像装置输出一个视频帧后将所述视频帧上预设的待检测区域的颜色属性设置成预设的标记帧对应的颜色属性，以形成标记帧；或者，控制所述无人车在所述摄像装置输出一个视频帧后根据所述视频帧从所述摄像装置输出的时间戳生成一个时间标识码，将所述时间标识码与所述视频帧进行拼接，以形成标记帧。3.根据权利要求2所述的无人车远程驾驶的视频帧延迟时间确定方法，其特征在于，“控制所述无人车在所述摄像装置输出一个视频帧后将所述视频帧上预设的待检测区域的颜色属性设置成预设的标记帧对应的颜色属性，以形成标记帧”的步骤具体包括：控制所述无人车实时地将所述摄像装置输出的每一个视频帧上预设的待检测区域的颜色属性都设置成预设的非标记帧对应的颜色属性，以形成非标记帧；控制所述无人车获取一个所述非标记帧，并将所述非标记帧上预设的待检测区域的颜色属性再次设置成预设的标记帧对应的颜色属性，以形成标记帧。4.根据权利要求3所述的无人车远程驾驶的视频帧延迟时间确定方法，其特征在于，所述预设的非标记帧对应的颜色属性是黑色，所述预设的标记帧对应的颜色属性是白色，所述方法还包括通过下列方式将所述预设的待检测区域的颜色属性设置...

【专利技术属性】
技术研发人员：陈伟，
申请(专利权)人：新石器慧通北京科技有限公司，
类型：发明
国别省市：