使用传感器报告集成的相机子系统评估技术方案

一种方法用于通过经由相机诊断模块(CDM)从子系统并且可能从车门传感器、雨量/天气传感器或其它传感器接收传感器报告来评估数字网络中(例如，车辆或车队上)的相机相关子系统。CDM包括与子系统特定故障模式对应的数据表。该方法包括通过将接收的传感器报告中的潜在故障指示符与数据表中的一个进行比较来评估相机相关子系统的性能，并且确定报告中的故障指示符的模式。该模式指示相机相关子系统的健康特性。响应于健康特性而执行关于数字网络的控制动作，其包括记录指示健康特性的诊断或预后代码。还公开了数字网络和车辆。

【技术实现步骤摘要】
使用传感器报告集成的相机子系统评估引言数码相机用于各种系统。例如，商业建筑、学校、建筑工地以及其它设施使用电光和红外安全相机进行白天和夜间房屋监控。被布置在沿着高速公路、桥梁以及水道的战略位置处的交通相机用于监控实时交通状况。类似地，机动车辆通常包括外部相机，其诸如经由基于视觉的车道检测和避开障碍物以及通过改进操作员或自主控制器对直接操作环境的整体意识促进执行例行驾驶操纵。相机还可以用于评估操作员对道路的注意力水平。
技术实现思路
本文公开了用于评估数字网络(即，具有一个或多个连接的数码相机的通信网络)中的相机相关子系统的性能的方法和系统。虽然本文描述了操作员驾驶和自主驾驶的车辆实施例，但是如本领域一般技术人员根据本公开内容将理解的，车辆应用仅是一种可能的实施方案。一些实施例提供对故障相机/相机相关子系统的诊断，而其它实施例例如通过评估给定相机的剩余使用寿命和/或健康状态提供对数字网络和连接相机的前瞻性预后。该方法利用通信总线(例如，示例性车辆应用中的低压控制局域网(CAN)总线或另一个低压差分系统(LVDS))上的可用传感器数据，并且对子系统级别的相机执行诊断/预后。给定相机可以依赖于多个内部和外部子系统在网络环境中起作用，其中相机相关子系统取决于功能是相机的一部分或者连接到相机。示例性相机相关子系统可以包括数字相机本身的内部硬件和图像处理软件，以及最终将收集的像素图像传送到显示屏或其它装置的通信总线和处理硬件。该方法还依赖于与某些子系统级故障对应的编程数据表的可用性以及来自各种相机、网络、处理或其它相机相关子系统的传感器报告中所包含的故障指示符形式的信息，其可能包括外部数据，诸如天气相关数据和其它内部数据，诸如示例性车辆实施例中的车门的打开/关闭状态。作为所公开方法的一部分，被称为相机诊断模块(CDM)的可编程计算机装置编程有上述数据表，这些数据表进而指示某些类型的故障与各种传感器报告中所包含的对应的故障指示符之间的关系(即，特定传感器输出值或数据的模式或值)。CDM的一些实施例使得能够诸如通过将故障相机暴露于校准图像、经由数码相机收集校准图像的像素图像并且此后评估相机的性能相距预期性能的发散或变化的大小来隔离特定类型的故障。可选地，可以使用来自单台车辆或这样的车辆的车队的历史数据来训练相机退化模型，以最终确定例如故障相机的健康状态和/或剩余使用寿命的形式的健康特性。在各种实施例中，可以在车辆上或在车外例如使用远程信息处理收集所需数据来实施CDM。CDM可以用于提供对单个数码相机或可能来自不同车辆的多个这样的相机的诊断和/或预后。对于使用数字网络的一组系统，诸如各自具有类似配置的相机套件的电动车辆或自主车辆的车队，该CDM可以使用直方图来识别车队中表现反常或或异常的相机，由此检测特定类型的故障。就前瞻性预后而言，可以产生给定指示符的时间历史，例如健康状态，并且将该时间历史用于关于预期老化轨迹训练相机退化模型。可以取决于可用的计算资源在车外或车辆上产生这种模型。在特定示例性实施例中，一种用于评估数字网络内的数码相机的相机相关子系统的性能的方法包括经由CDM从数字网络内的传感器或子系统接收一组传感器报告。CDM具有存储器，在该存储器上记录与子系统特定故障模式对应的数据表。该方法包括评估多个相机关子系统中的预定相机相关子系统的性能，其包括将接收的传感器报告中的潜在故障指示符与数据表中对应的一个进行比较，并且确定传感器报告中的指示符的模式，该模式指示预定相机相关子系统的健康特性，即，诊断通过/未通过和/或前瞻性预后健康评估。另外，该方法包括响应于健康特性执行关于数字网络的控制动作，其包括经由CDM产生记录代码，该代码指示健康特性。数字网络可以包括多个数码相机，每个数码相机具有镜头、图像传感器片上系统(SOC)、通信总线以及处理硬件作为对应的一个相机相关子系统。诸如图像传感器等其它子系统可以是相机的一部分。接收传感器报告可以包括从每个数码相机的每个相机相关子系统接收对应的传感器报告。数字网络可以用在具有车门的车辆上，在这种情况下，接收传感器报告可以包括分别从车门位置传感器和天气传感器接收车门打开/关闭状态和雨量/湿度值。车辆可以包括前端和后端，并且数码相机可以包括至少前视相机和连接到相应前端和后端的倒车相机。如上所述，健康特性可以是预定相机相关子系统的诊断通过/未通过结果或剩余使用寿命。该方法可以包括经由CDM收集潜在故障指示符，同时使用具有诊断后的故障相机相关子系统的数码相机捕获校准图像的像素图像，将潜在故障指示符与校准/新数码相机的校准值进行比较，以及基于潜在故障指示符与校准值之间的差异来隔离故障子系统。执行控制动作可以包括使用相机退化模型确定数码相机的剩余使用寿命作为上述健康特性，以及将包含剩余使用寿命的消息传输到数字网络的所有者或操作员作为控制行动的一部分。确定剩余使用寿命可以包括通过相机退化模型处理模块化传递函数值或数字健康状态。CDM可以在作为车队的一部分的车辆上使用，每台车辆具有对应的多个数码相机。该方法可以包括使用来自车队中的所有数码相机的历史数据来训练相机退化模型。或者，CDM可以是具有数码相机的单台车辆的一部分，其中该方法包括使用来自单台车辆的数码相机的历史数据来训练相机退化模型。CDM可以相对于数字网络远程定位，其中该方法包括使用远程信息处理单元将集成传感器报告传输到CDM。还公开了数字网络的实施例，其中数字网络包括如上所述的多个数码相机和CDM。该实施例中的每个相机具有多个相机相关子系统，其可能包括镜头、图像传感器SOC、通信总线以及处理硬件。在本公开的范围内可以预期其它子系统，例如图像传感器。车辆包括具有前端和后端的车身、数字网络以及CDM。安装在车身的前端和后端的相机各自具有上述的镜头、图像传感器SOC、通信总线以及处理硬件。CDM使用所公开的方法来评估预定的一个相机相关子系统。从以下对实施例的详细描述和用于结合附图和所附权利要求书执行所描述的公开内容的最佳模式，本公开的上述和其它特征和优点将是显而易见的。附图说明图1是具有相机诊断模块(CDM)的示例性车辆的示意性平面图，该相机诊断模块配置为诊断如本文所述的单独的相机相关子系统的健康状况。图2是具有图1的CDM的数码相机网络的示意图。图3是描述用于诊断图2的数码相机网络中的相机相关子系统的健康状况的方法的示例实施例的流程图。图4A到图4D是可用作图1中所示的车辆实施例的一部分的示例性数据表的示意图。图5和图6分别是描述用于单独的车辆和车队的相机网络的故障预后/健康状态预后的示例性过程的流程图。本公开具有各种修改和替代形式，且某些代表性实施例在附图中已作为示例示出并且将在本文进行详细描述。然而，应当理解的是，本公开的新颖方面不限于附图中所说明的特定形式。相反地，本公开旨在涵盖落入由所附权利要求限定的本公开的精神和范围内的修改、等同物、组合或替代。具体实施方式参考附图，其中相同的附图标记在若干视图中指代相同的部件，图1中示出了相机诊断模块(CDM)50作为示例性车辆10形式的系统的一部分。在本公开的范围内可以预期其它系统实施例，其包括建筑物或设施、除机动车辆之外的车辆10，例如飞机、火车、船舶、移动平台等。为了说明的一致性，本文档来自技高网...

【技术保护点】
1.一种数字网络，包括：各自具有多个相机相关子系统的多个数码相机，所述多个数码相机包括镜头、图像传感器片上系统、通信总线以及处理硬件；以及相机诊断模块(CDM)，其配置为编程有多个数据表，所述数据表对应于每个所述相机相关子系统的子系统特定故障模式，其中所述CDM配置为：从每个所述相机相关子系统和至少一个附加子系统接收传感器报告，所述传感器报告包括潜在的故障指示符；通过将接收的传感器报告与所述数据表中对应的一个进行比较并且确定指示所述相机相关子系统的健康特性的所述潜在故障指示符的模式来评估所述相机相关子系统中的一个的性能；以及响应于所述健康特性而执行关于所述数字网络的控制动作，其包括经由所述CDM记录指示所述健康特性的诊断和/或预后代码。

【技术特征摘要】
2017.10.05 US 15/7259471.一种数字网络，包括：各自具有多个相机相关子系统的多个数码相机，所述多个数码相机包括镜头、图像传感器片上系统、通信总线以及处理硬件；以及相机诊断模块(CDM)，其配置为编程有多个数据表，所述数据表对应于每个所述相机相关子系统的子系统特定故障模式，其中所述CDM配置为：从每个所述相机相关子系统和至少一个附加子系统接收传感器报告，所述传感器报告包括潜在的故障指示符；通过将接收的传感器报告与所述数据表中对应的一个进行比较并且确定指示所述相机相关子系统的健康特性的所述潜在故障指示符的模式来评估所述相机相关子系统中的一个的性能；以及响应于所述健康特性而执行关于所述数字网络的控制动作，其包括经由所述CDM记录指示所述健康特性的诊断和/或预后代码。2.根据权利要求1所述的数字网络，其中所述数字网络位于车辆上，所述车辆具有车门传感器和雨量/湿度传感器作为所述至少一个附加传感器，并且其中接收所述多个传感器报告进一步包括分别从所述车门传感器和雨量/湿度传感器接收车门打开/关闭状态以及雨量/湿度值。3.根据权利要求1所述的数字网络，其中所述CDM配置为在使用具有预定相机相关子系统的所述数码相机捕获校准图像的像素图像时测量一组潜在故障指示符，将所述故障指示符与校准基线指示符进行比较，并且基于所述测量的指示符与所述校准基线指示符之间的方差来隔离具有所述预定相机相关子系统的所述数码相机的故障子系统。4.根据权利要求3所述的数字网络，其中所述控制动作包括通过相机退化模型处理所述故障指示符来确定具有所述预定相机相关子系统的所述数码相机的剩余使用寿命，并且将包含所述剩余使用寿命的消息传输到所述数字网络的所有者或操作员，所述剩余使用寿命是所述...

【专利技术属性】
技术研发人员：WC·林，S·蒋，王劲松，
申请(专利权)人：通用汽车环球科技运作有限责任公司，
类型：发明
国别省市：美国,US