估计对象密度和/或流量的深度学习方法及相关方法和软件技术

利用人工神经网络(ANN)估计一个或更多个场景中对象的密度和/或流量(速度)的方法和软件，每个场景在一个或更多个图像中捕获。在一些实施例中，ANN及其训练被配置成提供可靠的估计，尽管存在一个或更多个挑战，这些挑战包括但不限于低分辨率图像、低帧率图像采集、高对象遮挡率、大摄像机视角、大范围变化的照明条件和大范围变化的天气条件。在一些实施例中，在ANN中使用完全卷积网络(FCN)。在一些实施例中，长短期记忆网络(LSTM)与FCN一起使用。在这样的实施例中，LSTM可以以残差学习方式或直接连接方式连接到FCN。还公开了生成用于训练基于ANN的估计算法的训练图像的方法，该方法使得估计算法的训练成本更低。

Deep learning methods for estimating object density and / or traffic and related methods and software

【技术实现步骤摘要】
【国外来华专利技术】估计对象密度和/或流量的深度学习方法及相关方法和软件相关申请数据本申请要求2017年4月5日提交的且题为“ExtractUrbanTrafficInformationFromCitywideInfrastructureSensorstoAugmentAutonomousIntelligentSystem”的序列号为62/601,953的美国临时专利申请的优先权的权益，所述临时专利申请的全部内容以引用的方式并入本文。专利
本专利技术大体上涉及机器/计算机视觉领域。特别地，本专利技术涉及使用机器视觉来估计对象的密度和/或流量的深度学习方法，以及相关的方法和软件。背景随着公共部门中仪器的不断增加和自动化程度的不断提高，数据量也越来越大，人们希望将这些数据用于诸如提高自动化程度、并且更广泛地说提高对决策者可能有用的信息的实时意识的用途。例如，城市越来越多地安装了各种传感器，如磁环检测器、红外传感器、压力垫、路边雷达和网络摄像机。这些传感器中的许多传感器可以提供城市中有关交通流量的相关信息，如车辆速度、计数和类型。特别地，安装在城市街道或城市其他道路的交叉路口的摄像机越来越多，使得能够提取每种类型车辆的交通流量的实时估计，例如黄色出租车的流速。全市范围的网络摄像机全天候连续捕获交通视频，生成大规模的交通视频数据。这些摄像机要么是低质量的，要么它可能只是为了处理它们的视频的低质量版本。这排除了大多数现有的用于交通流量分析的技术。预计无人驾驶车辆将越来越多地出现在城市街道上，并在不久的将来成为交通流量的重要组成部分。虽然无人驾驶车辆传感提供了对其操作的本地条件的认识，但随着物联网的出现，越来越多的基础设施传感器有可能为无人驾驶汽车提供对整个城市或其他地区的交通条件的全局认识。在处理无人驾驶汽车的传感器套件所收集的传感数据方面已经付出了很大努力。然而，在同时处理来自城市交通摄像机的流式视频以构建多模型自主系统方面，工作却少得多。事实上，典型交通摄像机中固有的问题(如低帧速率和低分辨率)以及车辆交通本质中固有的问题(如变化的天气条件、每天变化的照明条件以及各种各样的车辆类型和型号)使得以任何有意义的方式使用来自这些摄像机的信息极具挑战性。公开概述在一个实施方式中，本公开涉及一种向智能交通系统提供交通密度和/或交通流量数据的方法，其中交通密度和/或交通流量数据用于道路网络的多个区域，每个区域具有与其相关联的交通摄像机，该交通摄像机捕获相应区域的至少一个相应交通图像。该方法包括使用至少一个相应交通图像，在每个交通摄像机本地自动估计道路网络的相应区域中的交通密度和/或交通流量，对于每个相应区域进行估计包括：使用训练标注图像(trainingannotatedimage)来训练基于人工神经网络(ANN)的密度估计算法，其中基于ANN的密度估计算法被配置成在训练时处理一个或更多个输入图像，以自动确定对于输入图像中存在的交通的交通密度和/或交通流量；接收至少一个相应交通图像；以及在基于ANN的密度估计算法的训练之后，使基于ANN的密度估计算法处理至少一个相应交通图像，以确定对于相应区域的交通密度和/或交通流量；以及从每个交通摄像机本地向智能交通系统传输与道路网络的相应区域中的交通密度和/或交通流量相对应的交通密度和/或交通流量数据。在另一实施方式中，本公开涉及一种生成用于基于人工神经网络(ANN)的密度估计算法的训练图像的集合的方法，其中基于ANN的密度估计算法用于检测由固定摄像机捕获的场景内的一种或更多种目标类型的对象的密度。该方法包括，接收由固定摄像机捕获的真实图像的第一集合，其中每个真实图像包括具有目标类型内的类型的至少一个真实对象；使用基于ANN的检测器处理每个真实图像，以便用相应的各自的第一边界框区域标注每个真实图像内一种或更多种目标类型的对象的出现，其中该处理产生标注的真实图像的集合；以及使用基于ANN的分割器处理每个标注的真实图像，以便生成相应的像素级(pixel-wise)背景掩模，该背景掩模进一步用于生成用于训练的密度图。在又一实施方式中，本公开涉及一种估计由摄像机捕获的场景图像中不同目标类型的对象密度的方法。该方法包括，接收训练数据集，其中训练数据集包括具有的训练视角与摄像机的摄像机视角基本相同的多个合成图像，每个合成图像包含不同类型的多个再现的对象，其中这些再现的对象：基于不同类型的不同对象的3DCAD模型；已经使用基于摄像机视角的实际视角和实际遮挡被放置在合成图像中；并且被自动标记用于基于3DCAD模型进行归类；使用合成图像来训练基于人工神经网络(ANN)的密度估计算法，其中基于ANN的密度估计算法被配置成在训练时处理输入图像以自动估计存在于输入图像中的不同目标类型的对象密度；接收图像；以及在基于ANN的密度估计算法的训练之后，使用基于ANN的密度估计算法处理图像中每一个以估计图像的密度。在又一实施方式中，本公开涉及一种向智能交通系统提供交通密度和/或交通流量数据的方法，其中交通密度和/或交通流量数据用于道路网络的多个区域，每个区域具有与其相关联的交通摄像机，该交通摄像机捕获相应区域的至少一个相应交通图像。该方法包括，在集中式估计系统处从每个交通摄像机接收对应于至少一个相应交通图像中的每一个的相应的低分辨率图像；在集中式估计系统处，使用相应的低分辨率图像自动估计道路网络的相应区域中的交通密度和/或交通流量，在每个相应区域中进行估计包括：使用训练标注图像来训练基于人工神经网络(ANN)的密度估计算法，其中基于ANN的密度估计算法被配置成在训练时处理一个或更多个输入图像，以自动确定输入图像中存在的交通的交通密度和/或交通流量；以及在基于ANN的密度估计算法的训练之后，使基于ANN的密度估计算法处理对于区域中每一个的相应的低分辨率图像，以确定对于相应区域的交通密度和/或交通流量；以及从集中式估计系统向智能交通系统传输与道路网络的区域的交通密度和/或交通流量相对应的交通密度和/或交通流量数据。在又一实施方式中，本公开涉及一种从摄像机获取的图像确定对象计数的方法。该方法在机器中执行，并且包括：使用完全卷积网络(FCN)联合估计对象计数和对象密度，其中联合估计包括使用FCN将图像内的密集特征映射到对象密度；使用残差学习框架，参照图像中的对象密度之和来学习残差函数；组合来自FCN的较浅层的外观特征和来自FCN的深层的语义特征，以产生更密集的特征图；以及使用更密集的特征图确定对象计数。在进一步的实施方式中，本公开涉及一种从摄像机获取的视频的帧确定对象计数的方法。该方法在机器中执行，并且包括：使用完全卷积网络(FCN)联合估计对象计数和对象密度，其中联合估计包括使用FCN创建对于视频的帧的对象密度图；向长短期记忆(LSTM)网络提供该对象密度图，其中LSTM网络被配置成参照帧的每一个中的密度之和来学习残差函数；以及将残差函数和密度求和，以确定对象计数。在另一个实施方式中，本公开涉及一种从摄像机获取的视频的帧确定对象计数的方法。该方法在机器中执行，并且包括：使用完全卷积网络(FCN)联合估计对象计数本文档来自技高网...

【技术保护点】
1.一种向智能交通系统提供交通密度和/或交通流量数据的方法，其中，所述交通密度和/或交通流量数据用于道路网络的多个区域，每个区域具有与其相关联的交通摄像机，所述交通摄像机捕获相应区域的至少一个相应交通图像，所述方法包括：/n使用所述至少一个相应交通图像，在每个交通摄像机本地自动估计所述道路网络的相应区域中的交通密度和/或交通流量，对每个相应区域进行估计包括：/n使用训练标注图像来训练基于人工神经网络(ANN)的密度估计算法，其中，所述基于ANN的密度估计算法被配置成在训练时处理一个或更多个输入图像，以自动确定所述输入图像中存在的交通的交通密度和/或交通流量；/n接收所述至少一个相应交通图像；以及/n在所述基于ANN的密度估计算法的训练之后，使所述基于ANN的密度估计算法处理所述至少一个相应交通图像，以确定对于所述相应区域的交通密度和/或交通流量；以及/n从每个交通摄像机本地向所述智能交通系统传输与所述道路网络的相应区域中的所述交通密度和/或交通流量相对应的交通密度和/或交通流量数据。/n

【技术特征摘要】
【国外来华专利技术】20170405 US 62/601,9531.一种向智能交通系统提供交通密度和/或交通流量数据的方法，其中，所述交通密度和/或交通流量数据用于道路网络的多个区域，每个区域具有与其相关联的交通摄像机，所述交通摄像机捕获相应区域的至少一个相应交通图像，所述方法包括：
使用所述至少一个相应交通图像，在每个交通摄像机本地自动估计所述道路网络的相应区域中的交通密度和/或交通流量，对每个相应区域进行估计包括：
使用训练标注图像来训练基于人工神经网络(ANN)的密度估计算法，其中，所述基于ANN的密度估计算法被配置成在训练时处理一个或更多个输入图像，以自动确定所述输入图像中存在的交通的交通密度和/或交通流量；
接收所述至少一个相应交通图像；以及
在所述基于ANN的密度估计算法的训练之后，使所述基于ANN的密度估计算法处理所述至少一个相应交通图像，以确定对于所述相应区域的交通密度和/或交通流量；以及
从每个交通摄像机本地向所述智能交通系统传输与所述道路网络的相应区域中的所述交通密度和/或交通流量相对应的交通密度和/或交通流量数据。


2.根据权利要求1所述的方法，还包括，连同所述交通密度和/或交通流量的传输，传输对于所述道路网络的相应区域的位置信息。


3.根据权利要求1所述的方法，其中，每个交通摄像机具有摄像机视角，所述方法还包括：接收所述训练图像，其中所述训练图像具有与所述交通摄像机的摄像机视角基本相同的训练视角，并且所述训练图像中每一个是包含多个车辆像素级掩模的交通图像，其中所述车辆像素级掩模已经使用分割器被放置在来自所述交通摄像机的交通图像中，所述分割器在已用边界框标注的、来自所述交通摄像机的所述交通图像上操作。


4.根据权利要求3所述的方法，其中，标注的真实图像已由检测器自动标注。


5.根据权利要求3所述的方法，还包括使用从不同类型的不同车辆的3DCAD模型再现的图像来训练所述分割器。


6.根据权利要求1所述的方法，其中，每个交通摄像机具有摄像机视角，所述方法还包括：
接收训练图像，其中，所述训练图像具有与所述交通摄像机的摄像机视角基本相同的训练视角，所述训练图像中每一个是混合图像，所述混合图像具有所述道路的区域的实际背景，并且包含覆盖在所述背景上的不同类型的多个再现车辆，其中所述再现车辆：
基于不同车辆类型的不同车辆的3DCAD模型；
使用基于所述摄像机视角的实际视角和实际遮挡被放置在所述混合图像中；并且
被自动标记用于基于所述3DCAD模型进行归类。


7.根据权利要求1所述的方法，其中，所述基于ANN的估计算法被配置成从交通图像的时序集合中确定交通流量，并且所述方法还包括向所述智能交通系统提供交通流量数据，其中提供所述交通流量数据包括：
接收所述交通图像的时序集合；
使所述基于ANN的密度估计算法处理所述交通图像的集合，以确定对于所述交通图像的集合的交通流量；以及
向所述智能交通系统传输对应于所述交通流量的交通流量数据。


8.根据权利要求1所述的方法，其中，所述基于ANN的估计算法包括完全卷积网络(FCN)。


9.根据权利要求7所述的方法，其中，所述基于ANN的估计算法包括长短期记忆网络(LSTM)。


10.根据权利要求9所述的方法，其中，所述LSTM直接连接到所述FCN。


11.根据权利要求9所述的方法，其中，所述LSTM以残差学习的方式连接到所述FCN。


12.根据权利要求11所述的方法，其中，每个交通摄像机具有摄像机视角，所述方法还包括：接收所述训练图像，其中所述训练图像具有与所述交通摄像机的摄像机视角基本相同的训练视角，并且所述训练图像中的每一个是包含多个车辆像素级掩模的交通图像，其中所述车辆像素级掩模使用分割器被放置在来自所述交通摄像机的交通图像中，所述分割器在用边界框标注的、来自所述交通摄像机的所述交通图像上操作。


13.根据权利要求12所述的方法，其中，标注的真实图像已由检测器自动标注。


14.根据权利要求12所述的方法，还包括使用从不同类型的不同车辆的3DCAD模型再现的图像来训练所述分割器。


15.根据权利要求11所述的方法，其中，每个交通摄像机具有摄像机视角，所述方法还包括：
接收训练图像，其中，所述训练图像具有与所述交通摄像机的摄像机视角基本相同的训练视角，所述训练图像中的每一个是混合图像，所述混合图像具有所述道路的区域的实际背景，并且包含覆盖在所述背景上的不同类型的多个再现车辆，其中所述再现车辆：
基于不同车辆类型的不同车辆的3DCAD模型；
使用基于所述摄像机视角的实际视角和实际遮挡被放置在所述混合图像中。


16.根据权利要求7所述的方法，其中，所述基于ANN的算法还包括连接到所述FCN的多任务网络。


17.一种生成用于基于人工神经网络(ANN)的密度估计算法的训练图像集合的方法，其中，所述基于ANN的密度估计算法用于检测由固定摄像机捕获的场景内的一种或更多种目标类型的对象的密度，所述方法包括：
接收由所述固定摄像机捕获的真实图像的第一集合，其中，每个真实图像包括具有所述目标类型内的类型的至少一个真实对象；
使用基于ANN的检测器处理每个真实图像，以便用相应的各自的第一边界框区域标注每个真实图像内所述一种或更多种目标类型的对象的出现，其中所述处理产生标注的真实图像的集合；以及
使用基于ANN的分割器处理每个标注的真实图像，以便生成相应的像素级背景掩模，所述背景掩模进一步用于生成用于训练的密度图。


18.根据权利要求17所述的方法，其中，生成训练图像的集合还包括将所述场景的在所述边界框区域之外的区域分割为背景。


19.根据权利要求17所述的方法，还包括在处理所述第一集合中的每个真实图像之前训练所述基于ANN的检测器，其中所述基于ANN的检测器的训练包括：
接收由所述固定摄像机捕获的真实图像的第二集合，其中所述第二集合中的每个真实图像包括具有所述目标类型内的类型的至少一个真实对象；
接收对应于真实图像的所述第二集合的手动标记的真实图像的集合，其中，每个手动标记的真实图像包括所述至少一个真实对象，并且还包括用于所述至少一个真实对象中的每一个的手动插入的边界框；以及
使用真实图像的所述第二集合和相应的手动标记的真实图像的集合来训练所述基于ANN的检测器。


20.根据权利要求19所述的方法，其中，每个交通摄像机具有摄像机视角，所述方法还包括：接收所述训练图像，其中所述训练图像具有与所述交通摄像机的摄像机视角基本相同的训练视角，并且所述训练图像中的每一个是包含多个车辆像素级掩模的交通图像，其中所述车辆像素级掩模使用分割器被放置在来自所述交通摄像机的交通图像中，所述分割器在用边界框标注的、来自所述交通摄像机的交通图像上操作。


21.一种估计由摄像机捕获的场景的图像中的不同目标类型的对象的密度的方法，所述方法包括：
接收训练数据集，其中所述训练数据集包括多个合成图像，所述多个合成图像具有与所述摄像机的摄像机视角基本相同的训练视角，所述合成图像中的每一个包含不同类型的多个再现对象，其中所述再现对象：
基于不同类型的不同对象的3DCAD模型；
使用基于所述摄像机视角的实际视角和实际遮挡被放置在所述合成图像中；并且
被自动标记用于基于所述3DCAD模型进行归类；使用所述合成图像来训练基于人工神经网络(ANN)的密度估计算法，其中所述基于ANN的密度估计算法被配置成在训练时处理输入图像以自动估计存...

【专利技术属性】
技术研发人员：何塞·M·F·莫拉，若昂·保罗·科斯泰拉，张商行，叶夫根尼·托罗波夫，
申请(专利权)人：卡内基梅隆大学，里斯本高等理工学院，
类型：发明
国别省市：美国;US