图像处理系统、图像处理方法、训练神经网络的方法和执行该方法的记录介质技术方案

本发明专利技术涉及用于处理至少一个摄像机的图像的系统。该摄像机具有预定摄像机参数，该预定摄像机参数包括镜头畸变和相对于预定义参考系的摄像机姿势。该系统包括：具有预定义架构的经训练的神经网络，该神经网络配置为接收摄像机的图像作为输入并响应于此来预测至少一个特性，其中神经网络架构包括至少一个静态特征图，该至少一个静态特征图配置为对包括镜头畸变和/或摄像机姿势的预定摄像机参数进行编码。编码。编码。

【技术实现步骤摘要】
图像处理系统、图像处理方法、训练神经网络的方法和执行该方法的记录介质


[0001]本公开涉及图像处理的领域，尤其涉及用于处理图像的系统，所述系统具有带有至少一个静态特征图(feature map)的神经网络。本公开还涉及用于处理图像的方法、用于训练神经网络的方法和用于执行这些方法的记录介质。

技术介绍

[0002]处理图像可以用于检测图像上可见的各种对象。因此，这种处理对于自动车辆(部分或完全自驾驶)以及对于其他类型的自动的系统是特别有用的，因为这些系统必须能够基于由摄像机采集的图像来理解它们的周围环境。
[0003]自动车辆和其他机器人平台需要它们的环境的丰富、简洁且详细的表示，该表示捕获静态世界的几何形状和布局以及其它动态智能体(Agent)的姿势和尺寸两者。这种表示经常为包括路径规划、碰撞避免和导航的所有决策提供基础。
[0004]在此背景下，使用神经网络(例如，用于处理图像的卷积神经网络)以便产生表示已经变得普遍。
[0005]然而，已经注意到，由于卷积神经网络仅使用局部滤波器，并且具有有限的空间范围(感受域)，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用于处理至少一个摄像机的图像的系统，所述摄像机具有预定摄像机参数，该预定摄像机参数包括镜头畸变和相对于预定义参考系的摄像机姿势，其特征在于，所述系统包括：具有预定义架构的经训练的神经网络，所述神经网络配置为接收所述摄像机的图像作为输入并响应于此来预测至少一个特性，其中所述神经网络的架构包括至少一个静态特征图，该至少一个静态特征图配置为对包括所述镜头畸变和/或所述摄像机姿势的所述预定摄像机参数进行编码。2.根据权利要求1所述的系统，其特征在于，所述摄像机姿势由相对于所述参考系的摄像机旋转和/或摄像机平移来定义，和/或所述预定摄像机参数包括光学摄像机参数，和/或所述摄像机包括定义所述镜头畸变的镜头。3.根据权利要求2所述的系统，其特征在于，所述神经网络的架构包括至少一个第一静态特征图，该至少一个第一静态特征图配置为：对预定光学摄像机参数和所述镜头畸变进行编码，用于当预测所述至少一个特性时考虑针对每个图像像素的3D空间中的视角，和/或对所述摄像机旋转进行编码，用于当预测所述至少一个特性时考虑相对于所述参考系的所述摄像机旋转。4.根据权利要求3所述的系统，其特征在于，所述预定光学摄像机参数包括所述摄像机的摄像机分辨率和焦距中的至少一者。5.根据权利要求3或4所述的系统，其特征在于，所述第一静态特征图针对每个图像像素或针对相邻图像像素的组包括表示所述视角和/或所述摄像机旋转的3D法向量。6.根据权利要求2至5中任一项所述的系统，其特征在于，所述神经网络的所述架构进一步包括至少一个第二静态特征图，该至少一个第二静态特征图配置为对所述摄像机平移进行编码，用于当预测所述至少一个特性时考虑相对于所述参考系的所述摄像机平移。7.根据权利要求1至6中任一项所述的系统，其特征在于，所述神经网络的架构进一步包括第三特征图，该第三特征图配置为针对每个像素对深度信息进行编码。8.根据权利要求1至7中任一项所述的系统，其特征在于，所述参考系被定义为所述系统和/或所述摄像机外部的外部参考系，所述外部参考系具体地相对于所述系统和/或所述摄像机处于预定义位置和取向，或所述参...

【专利技术属性】
技术研发人员：维姆，
申请(专利权)人：丰田自动车株式会社，
类型：发明
国别省市：