【技术实现步骤摘要】
技术介绍
1、现代汽车、卡车、公共汽车和/或其他类型的车辆或机器可能配备相机(或其他基于传感器的视觉)系统，该系统可捕获车辆周围环境的各种视图。这些视图可以显示在车辆的屏幕上，以协助驾驶员完成各种与驾驶相关的任务和/或将车辆的周围环境和/或操作告知驾驶员或其他乘员。例如，当车辆置于倒挡时，后视相机可能会被激活，以允许驾驶员在车辆向后移动时查看道路、行人、车辆和/或车辆路径上的其他物体或障碍物。在另一个示例中，当车辆被停放或定位时，多个相机视图可以被变换、拼接、混合和/或以其他方式组合成自上而下的、鸟瞰视图(bev)、三维(3d)、环绕视图和/或车辆周围环境的其他可视化。驾驶员还可以与车辆中的用户界面交互以旋转可视化、放大或缩小可视化和/或以其他方式改变与可视化相关联的视图或视角。
2、然而，渲染和显示车辆周围环境视图的过程通常涉及复杂的多级显示管道(multi-stage display pipeline)。该显示管道包括专用硬件、可编程软件组件、着色器和/或其他组件，其执行将各种相机视图组合成要显示给驾驶员的帧的投影、裁剪、旋转、拼接、混合和/或其他操作。例如，来自不同相机的图像的多个输入通道(“窗口”)可以由显示管道内的相应访客虚拟机控制。每个访客虚拟机可以执行和/或控制与相应窗口中包括的图像数据相关的处理。合成级(composition stage)可将来自窗口的已处理图像数据组合成单个帧，而后处理级(post-processing stage)可生成最终输出帧以显示在屏幕上。由于需要多个处理级才能将相机视图
3、此显示管道的任何部分中的错误都可能导致屏幕上显示重复的(duplicate)(例如，冻结的(frozen)、延迟的、反复的(repeated)，等等)帧。由于这些重复帧不反映车辆周围最新的情况，驾驶员可能无法注意到车辆附近的行人、车辆和/或其他物体或障碍物。因此，重要的是，检测重复帧并通知驾驶员注意重复帧，以避免因显示的相机视图中陈旧、误导性或不安全的图像数据而引起潜在的安全问题和/或事故。
4、用于检测具有固定视角的单个汽车相机视图中的重复帧的传统方法涉及将相机视图的每个帧划分为多个区域并计算每个区域的校验和(例如，循环冗余校验(crc))。随后通过软件跨帧比较每个校验和，并且当为连续帧中的相同区域计算的校验和彼此匹配时，检测到帧的重复。例如，每个访客虚拟机可以控制包括要包含在帧中的图像数据的相应输入通道。随后，对显示管道末端的显示硬件具有完全访问权限的主机虚拟机计算针对要在屏幕上显示的帧区域的crc，并将计算出的crc与先前帧中相同区域的crc进行比较。
5、然而，汽车相机视图的基于软件的校验和验证会产生显着的时延和资源开销，这可能会干扰及时检测和通知汽车相机视图中的重复帧。此外，操作给定输入通道的访客虚拟机与验证校验和的主机虚拟机之间的复杂通信可能会导致同步问题，因为主机虚拟机可能无法将访客虚拟机所做的更改与要显示在屏幕上的相应扫描输出帧相匹配。
6、因此，需要更有效的技术来改进对相机视图中重复帧的检测。
技术实现思路
1、本公开的实施例涉及用于汽车系统和应用的端到端相机视图验证。本文描述的技术包括：针对要在屏幕上显示的帧的至少一部分计算校验和，其中该帧包括使用一个或更多个相机捕获的一个或更多个视图。该技术还包括：接收与屏幕上显示的一个或更多个先前帧相关联的校验和序列。该技术还包括：基于计算的校验和与校验和序列的一个或更多个比较来更新一个或更多个计数器，并使得基于一个或更多个计数器生成与屏幕上的帧显示相关联的警报。
2、相对于传统解决方案，所公开的技术的一个技术优势是能够检测包括车辆周围环境的相机视图的冻结帧(frozen frame)和反复帧(repeated frame)。因此，所公开的技术能够检测在帧显示在屏幕上之前刚刚发生的显示管道的合成处理级和合成后处理级中的问题。所公开技术的另一个技术优势是能够针对帧的不同区域、显示管道、图像捕获速率、显示扫描输出速率和/或与重复帧检测相关的时延和/或容差来定制冻结帧和反复帧的检测和警报的能力。因此，所公开的技术可以适应与相机视图和/或车辆周围环境的可视化中的重复帧检测相关的各种用例和/或条件。
本文档来自技高网...【技术保护点】
1.一种方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，还包括：
4.根据权利要求2所述的方法，其中，至少基于与所述一个或更多个计数器和所述一个或更多个附加计数器相关联的一个或更多个阈值来生成所述警报。
5.根据权利要求1所述的方法，其中，更新所述一个或更多个计数器包括：
6.根据权利要求5所述的方法，其中，所述警报是至少基于所述第一计数器和与所述一个或更多个视图相关联的冻结帧限值的比较而生成的。
7.根据权利要求5所述的方法，其中，更新所述一个或更多个计数器包括：
8.根据权利要求7所述的方法，其中，所述警报是至少基于所述第二计数器和与所述一个或更多个视图相关联的反复帧限值的比较而生成的。
9.根据权利要求1所述的方法，其中，所述多个校验和包括与生成所述帧相关联的显示管道的深度相对应的多个校验和值。
10.根据权利要求1所述的方法，其中，所述一个或更多个比较是在与所述帧相关联的合成后处理级期间执行的。
11.至少一种处理器，
12.根据权利要求11所述的至少一种处理器，其中，所述操作还包括：
13.根据权利要求11所述的至少一种处理器，其中，所述操作还包括：
14.根据权利要求11所述的至少一种处理器，其中，所述操作还包括：至少基于所述一个或更多个比较来更新与所述多个校验和相对应的校验和序列。
15.根据权利要求14所述的至少一种处理器，其中更新所述校验和序列包括：
16.根据权利要求11所述的至少一个处理器，其中，与在所述屏幕上显示所述帧相关联的一个或更多个操作包括以下操作中的至少一个：阻止所述帧或后续帧显示在所述屏幕上、使所述屏幕空白、或输出与所述帧相关联的警告。
17.根据权利要求11所述的至少一个处理器，其中，所述处理器对应于所述屏幕的显示控制器，并且所述屏幕包括在车辆中。
18.根据权利要求11所述的至少一个处理器，其中，所述至少一个处理器被包括在以下中的至少一个中：
19.一种系统，包括：
20.根据权利要求19所述的系统，其中，所述系统被包括在以下中的至少一个中：
...【技术特征摘要】
1.一种方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，还包括：
4.根据权利要求2所述的方法，其中，至少基于与所述一个或更多个计数器和所述一个或更多个附加计数器相关联的一个或更多个阈值来生成所述警报。
5.根据权利要求1所述的方法，其中，更新所述一个或更多个计数器包括：
6.根据权利要求5所述的方法，其中，所述警报是至少基于所述第一计数器和与所述一个或更多个视图相关联的冻结帧限值的比较而生成的。
7.根据权利要求5所述的方法，其中，更新所述一个或更多个计数器包括：
8.根据权利要求7所述的方法，其中，所述警报是至少基于所述第二计数器和与所述一个或更多个视图相关联的反复帧限值的比较而生成的。
9.根据权利要求1所述的方法，其中，所述多个校验和包括与生成所述帧相关联的显示管道的深度相对应的多个校验和值。
10.根据权利要求1所述的方法，其中，所述一个或更多个比较是在与所述帧相关联的合成后处理级期间执行的。
11.至少一种处理...
【专利技术属性】
技术研发人员：R·H·J·布洛克斯，A·K·斯温，
申请(专利权)人：辉达公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。