辅助驾驶信息产生方法及装置、辅助驾驶系统制造方法及图纸

提供了一种辅助驾驶信息产生方法及装置、以及一种辅助驾驶系统，涉及车辆的辅助驾驶技术领域。所述辅助驾驶信息产生方法包括获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像，其中所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。

【技术实现步骤摘要】
辅助驾驶信息产生方法及装置、辅助驾驶系统
本专利技术涉及车辆辅助驾驶
，更具体地涉及一种辅助驾驶信息产生方法及装置、以及一种辅助驾驶系统。
技术介绍
车辆辅助驾驶系统对于行车安全和高效的行车效率有着非常重要的作用，利用车辆辅助驾驶系统可以在很大程度上避免因为车辆驾驶员的驾驶失误而导致的碰撞。目前的车辆辅助驾驶系统往往依赖于雷达或者单目摄像头，其本身有着很大的局限性。雷达往往能够探测出车辆前方或后方障碍物的距离，但是不能明确障碍物的类别，例如，雷达不能区分障碍物是车辆还是路障，并且不能确定当前的车道状况，因此雷达通常只能用于一些受限的场景，例如倒车。单目摄像头能够识别车辆前方或后方的物体，例如能够区分车辆、行人、车道等，但是其对于物体的距离信息的估计不准确。即使通过使用双目摄像头来探测距离信息，无论单目摄像头还是双目摄像头，都是依靠被动的可见光来实现检测的，因此其在夜晚以及光线比较暗的情况下都很难使用。因此，需要一种利用基于主动光的深度摄像头产生辅助驾驶信息的方法与装置。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种辅助驾驶信息产生方法和装置，其利用基于主动光的深度摄像头采集的深度图像以及基于被动光的成像摄像头采集的场景图像，识别所述场景图像中出现的各个对象的位置，并据此产生车辆的辅助驾驶信息。根据本专利技术一方面，提供了一种辅助驾驶信息产生方法，包括：获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像，其中所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。根据本专利技术另一方面，提供了一种辅助驾驶信息产生装置，包括：图像获取模块，用于获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像，其中所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；对象检测模块，用于利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及辅助驾驶信息产生模块，用于根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。根据本专利技术又一方面，提供了一种辅助驾驶系统，包括：深度摄像头，用于采集其取景范围的深度图像；成像摄像头，用于采集其取景范围的场景图像，其中，所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；至少一个处理器；至少一个存储器，用于存储计算机程序代码，在所述计算机程序代码被所述处理器执行时：利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。根据本专利技术再一方面，提供了一种用于产生辅助驾驶信息的计算机程序产品，包括计算机可读存储介质，在所述计算机可读存储介质上存储了计算机程序指令，所述计算机程序指令可由处理器执行以使得所述处理器：获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像；利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。本专利技术实施例的辅助驾驶信息产生方法、辅助驾驶信息产生装置、辅助驾驶系统以及用于产生辅助驾驶信息的计算机程序产品，相对于现有技术，可以更好地保证所产生的辅助驾驶信息的准确性。附图说明通过结合附图对本专利技术实施例进行更详细的描述，本专利技术的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本专利技术实施例的进一步理解，并且构成说明书的一部分，与本专利技术实施例一起用于解释本专利技术，并不构成对本专利技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。图1是根据本专利技术实施例的辅助驾驶系统的示意性框图；图2是根据本专利技术实施例的辅助驾驶信息产生方法的示意性流程图；图3A是根据本专利技术实施例从深度图像和场景图像产生各对象的位置信息的示意性流程图；图3B是根据本专利技术实施例从深度图像和场景图像产生各对象的位置信息的一种具体实现方式的示意性框图；图4A示出了根据本专利技术实施例从深度图像和场景图像产生各对象的位置信息的示意性流程图；图4B示出了根据本专利技术实施例利用所述场景图像产生车道位置信息的示意性流程图；图4C是根据本专利技术实施例利用所述场景图像产生车道位置信息的一种具体实现方式的示意性框图；图5示出了计算车辆的运行速度的示意图；图6示出了根据本专利技术实施例的辅助驾驶信息产生装置的示意性框图；图7示出了根据本专利技术实施例的辅助驾驶信息产生模块的示意性框图。具体实施方式为了使得本专利技术的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本专利技术的示例实施例。显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是本专利技术的全部实施例，应理解，本专利技术不受这里描述的示例实施例的限制。基于本公开中描述的本专利技术实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本专利技术的保护范围之内。首先，参照图1来描述根据本专利技术实施例的辅助驾驶系统的框图。如图1所示，辅助驾驶系统100包括一个或多个处理器102、存储装置104、光源106、深度摄像头108、成像摄像头110、以及输出装置112，这些组件通过总线系统114和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的辅助驾驶系统100的组件和结构只是示例性的，而非限制性的，根据需要，辅助驾驶系统100也可以具有其他组件和结构。处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元。存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本专利技术实施例中(由处理器实现)的功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据。所述深度摄像头108可以与所述光源106配合操作，并基于所述光源106发出的可见光来采集深度图像。所述深度摄像头108和所述光源106可以一起构成为基于结构光原理(structurelight)的深度摄像头，或者可以构成为可测深度TOF(timeofflight)摄像头。所述深度摄像头108产生深度图像。下文中，将所述深度摄像头108和所述光源106通称为基于主动光的深度摄像头。所述成像摄像头110采集场景图像，所述场景图像可以为红绿蓝(RGB)图像，也可以为黑白图像。所述深度摄像头108和所述成像摄像头110被彼此配准，并且所述深度摄像头108的取景范围和所述成像摄像头110的取景范围至少部分重叠，使得所述深度图像和所述场景图像可以产生既包括深度数据又包括色本文档来自技高网...

【技术保护点】
一种辅助驾驶信息产生方法，包括：获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像，其中所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。

【技术特征摘要】
1.一种辅助驾驶信息产生方法，包括：获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像，其中所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。2.如权利要求1所述的辅助驾驶信息产生方法，其中，利用所述深度图像和所述场景图像检测在所述场景图像中出现的各个对象的位置包括：基于所述深度图像和所述场景图像，提取在所述场景图像中出现的各个对象的特征；以及基于所提取的在所述场景图像中出现的各个对象的特征，确定所述各个对象的位置。3.如权利要求1所述的辅助驾驶信息产生方法，其中，利用所述深度图像和所述场景图像检测在所述场景图像中出现的各个对象的位置包括：利用所述场景图像，产生车道位置信息；利用所述深度图像和所述场景图像，结合所述车道位置信息，检测在所述场景图像中出现的各个对象的位置。4.如权利要求3所述的辅助驾驶信息产生方法，其中，在检测在所述场景图像中出现的各个对象的位置时，对于在所述场景图像中出现的每个对象，还产生该对象的唯一标识符；并且，其中，根据所述各个对象的位置和唯一标识符，产生所述车辆的辅助驾驶信息。5.如权利要求4所述的辅助驾驶信息产生方法，其中，利用所述深度图像和所述场景图像检测在所述场景图像中出现的各个对象的位置包括：利用卷积神经网络模型，基于所述深度图像和所述场景图像，提取在所述场景图像中出现的各个对象的特征；利用反馈神经网络模型，基于所提取的在所述场景图像中出现的对象的特征，车道位置信息以及依据之前采集的至少一帧深度图像和之前采集的至少一帧场景图像检测到的对象的位置，检测在所述场景图像中出现的各个对象的位置并产生每个所述对象的唯一标识符。6.如权利要求3所述的辅助驾驶信息产生方法，其中，利用所述场景图像产生车道位置信息包括：从所述场景图像中提取线条，所述线条包括直线和曲线中的至少一项；以及基于所提取的线条，产生车道位置信息。7.如权利要求3所述的辅助驾驶信息产生方法，其中，利用所述场景图像产生车道位置信息包括：根据所述场景图像的每帧图像，使用卷积神经网络模型预测当前帧图像中的边的位置以生成对应原图的边缘图像；利用霍夫投票算法从所述边缘图像提取线条，其中所述线条包括直线和曲线中的至少一项；基于所提取的线条，利用反馈神经网络模型整合时间轴上的信息以得到车道位置信息。8.如权利要求4所述的辅助驾驶信息产生方法，还包括：对于在所述场景图像中出现的每个对象，确定所述对象与所述车辆的距离；以及在所述对象与所述车辆之间的距离小于预定距离阈值的情况下，产生用于向驾驶者提示所述对象与所述车辆的距离过小的辅助驾驶信息。9.如权利要求4所述的辅助驾驶信息产生方法，还包括：对于在所述场景图像中出现的每个对象，确定所述对象与所述车辆的距离；确定所述车辆相对于所述对象的运行速度；确定所述车辆与所述对象发生碰撞的时间；以及在所确定的时间小于预定时间阈值的情况下，产生用于向驾驶者提示所述车辆存在碰撞所述对象的风险的辅助驾驶信息。10.如权利要求9所述的辅助驾驶信息产生方法，其中，确定所述车辆相对于所述对象的运行速度包括：基于所述对象的唯一标识符，获取根据所述深度图像的前一深度图像和所述场景图像的前一场景图像确定的所述对象的前一位置；以及基于所述深度摄像头的帧率、所述对象的位置、以及所述对象的前一位置，确定所述车辆相对于所述对象的运行速度。11.如权利要求3所述的辅助驾驶信息产生方法，还包括：根据所述车道位置信息，确定所述车辆所占用的车道；在所述车辆占用一个车道的情况下，确定所述车辆在该车道中的位置；以及在所述车辆占用多于一个车道、或者所述车辆偏离其占用的车道的中央位置的情况下，产生用于向驾驶者提示所述车辆偏离车道中央的辅助驾驶信息。12.一种辅助驾驶信息产生装置，包括：图像获取模块，用于获取深度摄像头采集的深度图像、以及成像摄像头采集的场景图像，其中所述深度摄像头和所述成像摄像头被彼此配准地安装在一车辆上，并且所述深度摄像头的取景范围和所述成像摄像头的取景范围至少部分重叠；对象检测模块，用于利用所述深度图像和所述场景图像，检测在所述场景图像中出现的各个对象的位置；以及辅助驾驶信息产生模块，用于根据所述各个对象的位置，产生所述车辆的辅助驾驶信息。13.如权利要求12所述的辅助驾驶信息产生装置，其中，所述对象检测模块包括：特征提取模块，用于基于所述深度图像和所述场景图像，提取在所述场景图像中出现的各个对象的特征；位置确定模块，用于基于所提取的在所述场景图像中出现的各个对象的特征，确定所述各个对象的位置。14.如权利要求12所述的辅助驾驶信息产生装置，还包括：车道提取模块，用于利用所述场景图像，产生车道位置信息；其中，所述对象检测模块利用所述深度图像和所述场景图像，结合所述车道位置信息，检测在所述场景图像中出现的各个对象的位置。15.如权利要求14所述的辅助驾驶信息产生装置，其中，对于在所述场景图像中出现的每个对象，所述对象检测模块还产生该对象的唯一标识符；并且，所述辅助驾驶信息产生模块根据所述各个对象的位置和唯一标识符，产生所述车辆的辅助驾驶信息。16.如权利要求15所述的辅助驾驶信息产生装置，其中，所述对象检测模块包括：特征提取模块，用于利用卷积神经网络模型、基于所述深度图像和所述场景图像提取在所述场景图像中出现的各个对象的特征；位置确定模块，用于利用反馈神经网络模型、基于所提取的在所述场景图像中出现的对象的特征、车道位置信息以及依据之前采集的至少一帧深度图像和之前采集的至少一帧场景图像检测到的对象的位置，检测在所述场景图像中出现的各个对象的位置并产生每个所述对象的唯一标识符。17.如权利要求14所述的辅助驾驶信息产生装置，其中，所述车道提取模块包括：线条提取模块，用于从所述场景图像中提取线条，所述线条包括直线和曲线中的至少一项；以及车道生成模块，用于基于所提取的线条，产生车道位置信息。18.如权...

【专利技术属性】
技术研发人员：俞刚，李超，何奇正，陈牧歌，彭雨翔，印奇，
申请(专利权)人：北京旷视科技有限公司，北京迈格威科技有限公司，
类型：发明
国别省市：北京,11