本申请涉及自动驾驶技术和图像处理技术，特别涉及用于构建三维场景模型的方法、实现该方法的图像处理装置以及实施该方法的计算机可读存储介质。按照本申请的一个方面，提供一种用于构建三维场景模型的方法，包括：从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息；识别二维图像中的感兴趣的对象；基于感兴趣的对象在二维图像中的位置和尺寸，将感兴趣的对象映射到三维空间中；以及基于障碍物信息与感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。的比较结果生成三维场景模型。的比较结果生成三维场景模型。
【技术实现步骤摘要】
用于构建三维场景模型的方法和图像处理装置
[0001]本申请涉及自动驾驶技术和图像处理技术，特别涉及用于构建三维场景模型的方法、实现该方法的图像处理装置以及实施该方法的计算机可读存储介质。
技术介绍
[0002]目前，用于辅助泊车的三维全景影像常采用碗状模型或者橄榄球状模型作为场景模型。车载摄像头获取的为二维平面图像，而场景模型提供的是三维图景，因此需要执行从二维平面至三维空间的映射。当物体靠近车载摄像头时，全景影像中的物体畸变严重，使得场景模型与物理空间的实际情形存在较大差异。此外，当全景影像由多个摄像头捕获的图像拼接而成时，由于每个摄像头的摄取视角不同，有可能导致较小的物体在拼缝区域内消失，从而使驾驶员对车辆周围环境产生错误的判断。
技术实现思路
[0003]本申请的一个目的是提供一种用于构建三维场景模型的方法和图像处理装置，其能够提供准确反映环境状态的全景影像信息。
[0004]按照本申请的一个方面，提供一种用于构建三维场景模型的方法，包括：从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息；识别所述二维图像中的感兴趣的对象；基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。
[0005]可选地，在上述方法中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。
[0006]可选地，在上述方法中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。
[0007]可选地，在上述方法中，所述三维场景模型为碗状模型或橄榄球状模型。
[0008]可选地，在上述方法中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。
[0009]可选地，在上述方法中，识别感兴趣的对象的步骤包括：利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。
[0010]可选地，在上述方法中，生成三维场景模型的步骤包括：将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放
置所述感兴趣的对象。
[0011]进一步，在上述方法中，对于所述三维空间中的一个位置，确定所述存在性的方式为：如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。
[0012]按照本申请的另一个方面，提供一种图像处理装置，包括：通信单元，其配置为从车载图像采集装置接收车辆外部的二维图像和从车载距离感测装置通信接收障碍物信息；处理单元，其配置为执行下列操作：识别所述二维图像中的感兴趣的对象；基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。
[0013]可选地，在上述图像处理装置中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。
[0014]可选地，在上述图像处理装置中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。
[0015]可选地，在上述图像处理装置中，所述三维场景模型为碗状模型或橄榄球状模型。
[0016]可选地，在上述图像处理装置中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。
[0017]可选地，在上述图像处理装置中，识别感兴趣的对象的操作包括：利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。
[0018]可选地，在上述图像处理装置中，生成三维场景模型的操作包括：将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放置所述感兴趣的对象。
[0019]进一步，在上述图像处理装置中，对于所述三维空间中的一个位置，确定所述存在性的方式为：如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；
如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。
[0020]按照本申请还有一个，提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，通过由处理器执行所述指令来实现如上所述的方法。
[0021]在本申请的一些实施例中，将由二维图像确定的感兴趣对象的位置信息与车载距离感测装置确定的障碍物信息相结合来确定感兴趣对象的存在，并依据存在性判断结果来生成车辆周围的三维场景模型。通过融合障碍物信息和位置信息，可以减少单纯依赖图像生成场景模型时，物体影像严重畸变带来的误判，从而提高三维场景模型的准确性。此外，由于无需为形成全景影像而将多幅图像拼接，因此避免了因为拼接而导致物体丢失的可能性。再者，诸如摄像头之类的图像采集装置和诸如激光雷达、超声波探测器之类的距离感测装置都是用于实现自动驾驶功能的标准配置设备，因此在实施本申请上述实施例的方案时无需增加额外的硬件设备。
附图说明
[0022]本申请的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：图1为按照本申请一些实施例的图像处理装置的框图。
[0023]图2为按照本申请另外一些实施例的用于构建三维场景模型的方法的流程图。
[0024]图3为按照本申请另外一些实施例的三维场景模型生成方法的流程图。
具体实施方式
[0025]下面参照其中图示了本申请示意性实施例的附图更为全面地说明本申请。但本申请可以按不同形式来实现，而不应解读为仅限于本文给出的各实施例。给出的上述各实施例旨在使本文的披露全面完整，以将本申请的保护范围更为全面地传达给本领域技术人员。
[0026]在本说明书中，诸如“包含”和“包括”之类的用语表示除了具有在说明书和权利要求书中有直接和明确表本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种用于构建三维场景模型的方法，包括：从车载图像采集装置接收车辆外部的二维图像，并且从车载距离感测装置接收车辆附近的障碍物信息；识别所述二维图像中的感兴趣的对象；基于所述感兴趣的对象在所述二维图像中的位置和尺寸，将所述感兴趣的对象映射到三维空间中；以及基于所述障碍物信息与所述感兴趣的对象在所述三维空间中的位置信息之间的比较结果生成三维场景模型。2.如权利要求1所述的方法，其中，所述二维图像包括具有不同的视角以提供环视全景画面的多幅图像。3.如权利要求2所述的方法，其中，所述车载图像采集装置为安装在车辆上的一个或多个摄像头，所述车载距离感测装置为安装在车辆上的一个或多个激光雷达或超声波探测器。4.如权利要求1所述的方法，其中，所述三维场景模型为碗状模型或橄榄球状模型。5.如权利要求1或2所述的方法，其中，所述感兴趣的对象包括下列中的一种或多种类型：车辆、自行车、行人、墙体、栅栏和树。6.如权利要求1或2所述的方法，其中，识别感兴趣的对象的步骤包括：利用深度学习算法，在所述二维图像中识别与预设的二维模型相匹配的对象作为所述感兴趣的对象。7.如权利要求1或2所述的方法，其中，生成三维场景模型的步骤包括：将所述障碍物信息与所述位置信息进行比较以确定所述感兴趣的对象的存在性；如果确定存在所述感兴趣的对象，则根据所述位置信息在所述三维场景模型中放置所述感兴趣的对象。8.如权利要求7所述的方法，其中，对于所述三维空间中的一个位置，确定所述存在性的方式为：如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处存在所述感兴趣的对象；如果所述障碍物信息指示该位置处不存在障碍物并且所述位置信息指示该位置处存在所述感兴趣的对象，则确定该位置处不存在所述感兴趣的对象；如果所述障碍物信息指示该位置处存在障碍物并且所述位置信息指示该位置处不存在所述感兴趣的对象，则确定该位置处存在设定类型的感兴趣的对象。9.一种图像处理装置，包括：通信单元，其配置为从车载图像采集装置接收车辆外部的二维图像和从车载距离感测装置通信接收障碍物信息；处理单元，其配置为执行下列操...
【专利技术属性】
技术研发人员：雷金亮，吴成贵，
申请(专利权)人：蔚来汽车科技安徽有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。