视频流式传输异常检测制造技术

本公开提供“视频流式传输异常检测”。提供了对交通工具的监测。通过网络从交通工具接收从所述交通工具的相机捕获的多个视频馈送，所述多个视频馈送中的每一个包括多个帧，所述视频馈送中的每一个的所述帧中的每一个被分配针对每个连续帧增大的序列号。分析所述序列号以识别缺失帧、延迟帧或过时帧。将所述多个视频馈送、对应于所显示帧的所述序列号以及针对所述多个视频馈送中的每一个是否识别到任何缺失帧、延迟帧或过时帧的指示显示到一个或多个监测器。个监测器。个监测器。

【技术实现步骤摘要】
视频流式传输异常检测


[0001]本公开的各方面涉及对视频流式传输应用(诸如例如以供在远程驾驶情况中使用)的异常检测。

技术介绍

[0002]交通工具可包括一个或多个相机。这些相机可包括可用于允许驾驶员看到交通工具后方的后向相机以及可用于允许驾驶员看到紧接在交通工具前方的对象的前向相机。

技术实现思路

[0003]在一个或多个说明性示例中，一种用于监测交通工具的系统包括具有一个或多个监测器的监测系统。所述监测系统被配置为通过网络与交通工具通信，并且被编程为接收从交通工具的相机捕获的多个视频馈送。所述多个视频馈送中的每一个包括多个帧，并且所述视频馈送中的每一个的所述帧中的每一个被分配针对每个连续帧增大的序列号。所述监测系统被配置为分析序列号以识别缺失帧、延迟帧或过时帧，并且将所述多个视频馈送、对应于所显示帧的所述序列号以及针对所述多个视频馈送中的每一个是否识别到任何缺失帧、延迟帧或过时帧的指示显示到一个或多个监测器。
[0004]在一个或多个说明性示例中，提供了一种用于监测交通工具的方法。通过网络从交通工具接收从所述交通工具的相机捕获的多个视频馈送，所述多个视频馈送中的每一个包括多个帧，所述视频馈送中的每一个的所述帧中的每一个被分配针对每个连续帧增大的序列号。分析所述序列号以识别缺失帧、延迟帧或过时帧。将所述多个视频馈送、对应于所显示帧的所述序列号以及针对所述多个视频馈送中的每一个是否识别到任何缺失帧、延迟帧或过时帧的指示显示到一个或多个监测器。
[0005]在一个或多个说明性示例中，一种非暂时性计算机可读介质包括指令，所述指令在由监测系统的一个或多个处理器执行时致使所述监测系统执行操作，包括：通过网络从交通工具接收从所述交通工具的相机捕获的多个视频馈送，所述多个视频馈送中的每一个包括多个帧，所述视频馈送中的每一个的所述帧中的每一个被分配针对每个连续帧增大的序列号；分析所述序列号以识别缺失帧、延迟帧或过时帧；将所述多个视频馈送、对应于所显示帧的所述序列号以及针对所述多个视频馈送中的每一个是否识别到任何缺失帧、延迟帧或过时帧的指示显示到一个或多个监测器以供监测系统的操作员使用，其中过时帧是与相同视频馈送的另一个先前接收帧相比具有更低帧号的帧；从所述监测系统的操作员接收远程驾驶命令；并且将所述远程驾驶命令从所述监测系统发送到所述交通工具。
附图说明
[0006]图1示出用于执行视频流式传输异常检测以改进远程驾驶的示例性系统；
[0007]图2示出在正常传输情况下接收的视频流的帧的示例；
[0008]图3示出可在接收视频流的情况下发生的不同场景的示例；
[0009]图4示出可在接收视频流的情况下发生的增大往返时间场景的示例；
[0010]图5示出可在接收视频流的情况下发生的增大往返时间场景和延迟帧的示例；
[0011]图6示出用于执行视频流式传输异常检测以改进远程驾驶的示例性过程；并且
[0012]图7示出用于执行视频流式传输异常检测以改进远程驾驶的示例性计算装置。
具体实施方式
[0013]根据需要，本文公开了本公开的详细实施例；然而，应当理解，所公开的实施例仅仅是本公开的示例，其可以以各种和替代形式来实施。附图不一定按比例绘制；一些特征可被放大或最小化以示出特定部件的细节。因此，本文公开的具体结构细节和功能细节不应当被解释为是限制性的，而是仅作为教导本领域技术人员以不同方式采用本公开的代表性基础。
[0014]在远程驾驶系统中，交通工具可将一个或多个视频馈送发送到监测系统，并且可从监测系统接收命令。远程驾驶或直接遥控驾驶需要网络等待时间、吞吐量带宽和信道质量，以确保将视频平稳地流式传输到远程驾驶员。这允许交通工具在预定义参数内被驾驶。可发生网络异常，诸如网络抖动、突然的长等待时间、波动带宽、丢包、帧丢失等。因此，由远程驾驶员观看的视频可不代表实时交通工具环境。异常可导致视频中的位置存在较大偏移。这种偏移可导致差的远程驾驶性能。在一些情况下，远程驾驶员可能没有意识到异常。
[0015]检测缺失的或延迟的视频帧或反常的时间增量(例如，过时)图像的改进方法可通过向每个帧分配序列号并且测量交通工具调制解调器与远程站之间的往返时间来执行。这种系统可允许检测网络异常，诸如视频馈送中的缺失帧、延迟帧或过时帧。远程驾驶员可被警示有网络异常并且可相应地采取行动。本文详细讨论了本公开的另外的方面。
[0016]图1示出用于执行视频流式传输异常检测以改进远程驾驶的示例性系统100。交通工具102可包括各种类型的汽车、交叉型多功能交通工具(CUV)、运动型多用途交通工具(SUV)、卡车、休闲交通工具、船、飞机或用于运送人或货物的其他移动机器。此类交通工具102可以是人类驾驶的或自动驾驶的。在许多情况下，交通工具102可由内燃发动机提供动力。作为另一种可能性，交通工具102可以是由一个或多个电动马达提供动力的电池电动交通工具。作为另一种可能性，交通工具102可以是由内燃发动机和一个或多个电动马达两者提供动力的混合动力电动交通工具，诸如串联混合动力电动交通工具、并联混合动力电动交通工具或并联/串联混合动力电动交通工具。由于交通工具102的类型和配置可变化，因此交通工具102的能力可对应地变化。作为一些可能性，交通工具102在载客量、牵引能力和容量以及存储量方面可具有不同能力。出于所有权、库存和其他目的，交通工具102可与唯一标识符(诸如交通工具识别号码(VIN))相关联。
[0017]交通工具102可包括多个控制器104，所述多个控制器被配置为在交通工具电池和/或传动系的动力下执行并管理各种交通工具102功能。如所描绘，示例性交通工具控制器104被表示为离散控制器104(即，控制器104
‑
A至104
‑
G)。然而，交通工具控制器104可共享物理硬件、固件和/或软件，使得来自多个控制器104的功能性可集成到单个控制器104中，并且各种此类控制器104的功能性可分布在多个控制器104上。
[0018]作为一些非限制性交通工具控制器104示例：动力传动系统控制器104
‑
A可被配置为提供对发动机操作部件(例如，怠速控制部件、燃料递送部件、排放控制部件等)的控制，
并且用于监测此类发动机操作部件的状态(例如，发动机代码的状态)；主体控制器104
‑
B可被配置为管理各种动力控制功能，诸如外部照明、内部照明、无钥匙进入、远程起动和访问点状态验证(例如，交通工具102的发动机罩、门和/或行李厢的关闭状态)；无线电收发器控制器104
‑
C可被配置为与钥匙扣、移动装置或其他本地交通工具102装置通信；自主控制器104
‑
D可被配置为提供命令以控制交通工具102的动力传动系统、转向或其他方面；气候控制管理控制器104
‑
E可被配置为提供对加热和冷却系统部件(例如，压缩机离合器、鼓风扇、温度传感器等)的控制；全球定位系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于监测交通工具的系统，其包括：监测系统，所述监测系统具有一个或多个监测器，所述监测系统被配置为通过网络与交通工具通信并且被编程为接收从所述交通工具的相机捕获的多个视频馈送，所述多个视频馈送中的每一个包括多个帧，所述视频馈送中的每一个的所述帧中的每一个被分配针对每个连续帧增大的序列号；分析所述序列号以识别缺失帧、延迟帧或过时帧；并且将所述多个视频馈送、对应于所显示帧的所述序列号以及针对所述多个视频馈送中的每一个、是否识别到任何缺失帧、延迟帧或过时帧的指示显示到所述一个或多个监测器。2.如权利要求1所述的系统，其中所述监测系统还被编程为：从所述监测系统的操作员接收远程驾驶命令；并且将所述远程驾驶命令从所述监测系统发送到所述交通工具。3.如权利要求1所述的系统，其中所述监测系统还被编程为：识别所述多个视频馈送中的每一个的对应帧速率；确定所述多个视频馈送中的每一个的连续帧之间的时间增量；并且在所述一个或多个监测器中指示所述多个视频馈送中的哪些，如果有的话，的时间增量超过所述对应帧速率之间的时间差至少预定义阈值时间量。4.如权利要求1所述的系统，其中所述监测系统还被编程为：周期性地测量所述监测系统与所述交通工具之间的连接等待时间；并且将所述监测系统与所述交通工具之间的所述连接等待时间的图显示到所述一个或多个监测器。5.如权利要求4所述的系统，其中所述监测系统还被编程为：响应于确定连接等待时间超过预定义阈值而向所述交通工具发送执行操作的命令，所述操作包括以下中的一者或多者：降低所述多个视频馈送中的一个或多个的分辨率或对所述多个视频馈送中的一个或多个执行压缩。6.如权利要求1所述的系统，其中所述监测系统还被编程为：根据与所述多个视频馈送一起传输的元数据识别流的数量和所述多个视频馈送中的每一个的帧速率。7.如权利要求1所述的系统，其中过时帧是与相同视频馈送的另一个先前接收帧相比具有更低帧号的帧。8.如权利要求1所述的系统，其中所述监测系统还被编程为...

【专利技术属性】
技术研发人员：奥利弗，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：