使用神经网络在具有宽范围光强度的场景中进行对象检测制造技术

提供使用神经网络在具有宽范围光强度的场景中进行对象检测。用于处理由监控场景(200)的相机(202)记录的图像的方法和设备，包括计算机程序产品。接收一组图像(204、206、208)。该组图像(204、206、208)包括由相机(202)记录的场景(200)的不同地曝光的图像。该组图像(204、206、208)由配置为执行图像数据中的对象检测、对象分类和/或对象识别的经训练的神经网络(210)处理，其中，该神经网络(210)使用来自在该组图像(204、206、208)中的至少两个不同地曝光的图像的图像数据来检测该组图像(204、206、208)中的对象。208)中的对象。208)中的对象。

【技术实现步骤摘要】
使用神经网络在具有宽范围光强度的场景中进行对象检测

技术介绍

[0001]本专利技术涉及相机，并且更具体地，涉及检测、分类和/或识别高动态范围(High Dynamic Range，HDR)图像中的对象。
[0002]图像传感器通常用于诸如蜂窝电话、相机和计算机的电子装置中以捕获图像。在一般的布置中，电子装置设置有单个图像传感器和单个相应透镜。在某些应用中，例如当获取具有大范围光强度的场景的静止图像或视频图像时，可能希望捕获HDR图像，以免由于饱和度(即，太亮)或由于用常规相机捕获的图像的低信噪比(即，太暗)而丢失数据。通过使用HDR图像，可保留高亮和阴影细节，而这些细节在常规图像中可能会失去。
[0003]HDR成像通常通过合并同一场景的短时间曝光和长时间曝光来工作。有时，可涉及多于两次曝光。由于同一传感器捕获了多次曝光，因此需要在稍微不同的时间捕获曝光，这可引起运动伪影或重影方面的时间问题。HDR图像的另一问题是对比度伪影，这可能是色调映射的副作用。因此，虽然HDR能够缓解与在高对比度环境中捕获图像有关的一些问题，但它也引入了需要解决的一系列不同的问题。

技术实现思路

[0004]根据第一方面，本专利技术涉及在计算机系统中用于处理由监控场景的相机记录的图像的方法。该方法包括：
[0005]·
接收一组图像，其中，该组图像包括由相机记录的场景的不同地曝光的图像；以及
[0006]·
由经训练的神经网络处理该组图像，该神经网络被配置为执行执行图像数据中的对象检测、对象分类和对象识别中的一项或多项，其中，该神经网络使用来自该组图像中的至少两个不同地曝光的图像的图像数据来检测该组图像中的对象。
[0007]这提供了改进技术的方法，该技术用于检测、分类和/或识别在其中HDR成像照惯例将被使用的场景中的对象，同时避免了运动伪影、重影和对比度伪影(仅举几个示例)形式的常见HDR图像问题。通过对从相机接收的一组图像而不是对合并的HDR图像进行操作，神经网络将访问更多的信息，并且可更准确地检测、分类和/或识别对象。可根据需要用子网络扩展神经网络。例如在一种实现中，可存在用于对象的检测和分类的神经网络和用于例如通过参考已知对象实例的数据库来识别对象的另一子网络。这使得本专利技术适用于其中图像中的对象或人的身份需要被确定的应用(例如，面部识别应用)中。该方法可有利地在监控相机中实现。这是有益的，因为当从相机传输图像时，图像必须以适合于传输的格式被编码，并且在这个编码过程中可能会丢失对神经网络检测和分类对象有用的信息。此外，在需要对相机部件(例如，图像传感器、光学器件、PTZ电机等)进行调整以获得更好的图像的情况下，在图像传感器附近实现该方法可以最小化任何时延。根据各种实施例，这样的调整可由用户发起或可由系统自动发起。
[0008]根据一个实施例，处理该组图像可包括处理每个图像的仅亮度通道。亮度通道常常包含足够的信息以允许对象检测和分类，并且因此，图像中的其它颜色空间信息可被丢
弃。这既减少了需要被传输到神经网络的数据量，又减小了神经网络的尺寸，因为每个图像仅使用一个通道。
[0009]根据一个实施例，处理该组图像可包括处理每个图像的三个通道。这允许在诸如RGB、HSV、YUV等的三个颜色平面中编码的图像直接由神经网络处理而无需对图像进行任何类型的预处理。
[0010]根据一个实施例，该组图像可包括具有不同曝光时间的三个图像。在很多情况下，产生HDR图像的相机使用以变化的曝光时间捕获图像的一个或多个传感器。各个图像可用作神经网络的输入(而不是将它们一起拼接到HDR图像中)。这可促进将本专利技术集成到现有的相机系统中。
[0011]根据一个实施例，可在执行进一步的图像处理之前在相机中执行该处理。如上面提到的，这是有益的，因为它避免了当图像被处理以从相机传输时可能发生的任何数据的丢失。
[0012]根据一个实施例，该组图像中的图像表示来自图像传感器的原始拜耳图像数据。由于神经网络不需要“查看”图像，而是对值进行操作，因此存在可由人观看并理解的图像将不必被创建的情况。替代地，神经网络可直接对从传感器输出的原始拜耳图像数据进行操作，这甚至可进一步提高本专利技术的准确度，因为它在图像传感器数据到达神经网络之前去除了又一处理步骤。
[0013]根据一个实施例，可通过馈送神经网络生成的、在变化的曝光和移位条件下描绘的已知对象的图像来完成训练神经网络以检测对象。存在很多公开可用的图像数据库，其中包含已知对象的带注释的图像。可使用常规技术，以模拟从图像传感器到神经网络的传入数据可能的样子的方式来操纵这些图像。通过这样做，并将这些图像连同有关图像中描绘了哪些对象的信息一起馈送到神经网络，可以训练神经网络以检测可能在由相机捕获的场景中出现的对象。此外，该训练可在很大程度上被自动化，这将提高训练的效率。
[0014]根据一个实施例，对象可以是运动对象。也就是说，本专利技术的各种实施例可不仅应用于静态对象，而且还应用于运动对象，这增加本专利技术的通用性。
[0015]根据一个实施例，该组图像可以是具有时间重叠或时间接近的图像序列、从一个传感器或具有不同信噪比的多个传感器获得的一组图像、具有不同饱和度水平的一组图像和从具有不同分辨率的两个或更多个传感器获得的一组图像。例如，可存在具有变化的分辨率或变化的尺寸的几个传感器(较大的传感器接收每单位面积更多的光子并且通常对光更敏感)。作为另一示例，一个传感器可以是“黑白”传感器，即，没有颜色滤波器的传感器，它将提供更高的分辨率和更高的光敏度。作为又一示例，在双传感器设置中，传感器中的一个可以比另一传感器快两倍，并记录两个“短曝光图像”，而另一传感器记录“长曝光图像”。也就是说，本专利技术不限于任何特定类型的图像，而可替代地适合于在感兴趣场景处可用的任何成像情况，只要针对相同类型的情况训练神经网络即可。
[0016]根据一个实施例，对象可包括人、面部、车辆和牌照中的一个或多个。这些是通常在场景中和在其中有准确的检测、分类和识别很重要的应用中被识别出的对象。一般而言，本文描述的方法可应用于手头特定用例可能感兴趣的任何对象。在上下文中，车辆可以指任何类型的车辆，例如汽车、公共汽车、机动脚踏车、摩托车、小型摩托车等，仅举几个示例。
[0017]根据第二方面，本专利技术涉及用于处理由监控场景的相机记录的图像的系统。存储
器包含指令，指令当由处理器执行时使处理器执行方法，该方法包括：
[0018]·
接收一组图像，其中，该组图像包括由相机记录的场景的不同地曝光的图像；以及
[0019]·
由经训练的神经网络处理该组图像，该神经网络被配置为执行以下一项或多项：图像数据中的对象检测、对象分类和对象识别，其中，神经网络使用来自该组图像中的至少两个不同地曝光的图像的图像数据来检测该组图像中的对象。
[0020]系统优点对应于方法的优点并且可类似地改变。
[0021]根据第三方面，本专利技术涉及用于处理由监控场景的相机记录的图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于处理由监控场景的相机记录的图像的方法，所述方法包括：接收一组图像，其中，所述一组图像包括所述场景的长曝光图像和短曝光图像，其中，所述长曝光图像和所述短曝光图像由所述相机在接近或重叠的时间记录；以及由经训练的神经网络处理所述一组图像，所述神经网络被配置为执行图像数据中的对象检测、对象分类和对象识别中的一项或多项，其中，所述神经网络使用来自所述长曝光图像和所述短曝光图像两者的图像数据来检测所述一组图像中的对象。2.根据权利要求1所述的方法，其中，处理所述一组图像包括处理每个图像的仅亮度通道。3.根据权利要求1所述的方法，其中，处理所述一组图像包括处理每个图像的三个通道。4.根据权利要求1所述的方法，其中，所述一组图像包括具有不同曝光时间的三个图像。5.根据权利要求1所述的方法，其中，所述处理在执行进一步的图像处理之前在所述相机中被执行。6.根据权利要求1所述的方法，其中，所述一组图像中的所述图像表示来自图像传感器的原始拜耳图像数据。7.根据权利要求1所述的方法，进一步包括：通过馈送所述神经网络生成的、在变化的曝光和移位条件下描绘的已知对象的图像来训练所述神经网络以检测对象。8.根据权利要求1所述的方法，其中，所述对象是运动对象。9.根据权利要求1所述的方法，其中，所述一组图像是下列项之一：具有时间重叠或时间接近的图像序列、从...

【专利技术属性】
技术研发人员：安德里亚斯，
申请(专利权)人：安讯士有限公司，
类型：发明
国别省市：