基于人工神经网络的投射信息识别装置及其方法制造方法及图纸

本发明专利技术涉及基于人工神经网络的投射信息识别装置及其方法，所述装置能够基于人工神经网络学习由相邻车辆投射在路面上的信息(投射信息)并且还对投射在基于车辆的行驶方向确定的感兴趣区域(ROI)上的信息进行识别。所述装置包括：对象检测装置，其基于第一卷积神经网络(CNN)来检测图像中的对象；投射信息分类装置，其对所述对象检测装置检测到的对象中位于路面上的投射信息进行分类；以及控制器，其对位于感兴趣区域(ROI)中的投射信息进行识别。

【技术实现步骤摘要】
基于人工神经网络的投射信息识别装置及其方法相关申请的交叉引用本申请要求2019年5月21日提交的韩国专利申请No.10-2019-0059207的优先权和权益，该申请的全部内容以引用的方式并入本文。
本专利技术涉及一种基于人工神经网络识别由相邻车辆投射在路面上的信息(投射信息)的技术。
技术介绍
本部分中的陈述仅提供涉及本专利技术的背景信息并且不构成现有技术。一般而言，深度学习或深度神经网络是一种机器学习，并且其包括输入与输出之间的多层人工神经网络(artificialneuralnetwork，ANN)。根据结构、待解决的问题或目的，这种人工神经网络可以包括卷积神经网络(ConvolutionNeuralNetwork，CNN)或循环神经网络(RecurrentNeuralNetwork，RNN)。深度学习用于解决各种问题，例如，分类、回归、定位、检测、分割等。具体地，在自动驾驶系统中，语义分割和对象检测技术已被用于识别动态或静态障碍物的位置和类型。语义分割是指基于具有相同语义含义的像素，通过对像素进行分类和预测将图像划分为若干分割部分，以在图像中找到所需的对象，从而不仅确定在图像中存在哪些对象，而且还准确地识别出具有相同含义的像素(相同对象)的位置。对象检测是指对图像中的对象的类型进行分类和预测，并且通过对边框进行回归预测找到对象的位置信息，从而不仅识别出图像中存在哪种对象，而且识别出对象的位置信息，不仅仅是简单的分类。近来，已经开发了信息投射技术以减少或避免交通事故。例如，以标记(例如，符号、字符等)的形式将车辆的方向信息(例如，转弯信号信息)、车辆的状态信息(例如，制动信息)等投射在路面上。车辆的驾驶员可以预测前车是否可能进行左转弯、右转弯或停车，从而辅助车辆的安全驾驶。然而，已经发现，由于该传统技术依赖于驾驶员来识别投射的标记，所以当车辆以驾驶员不参与车辆驾驶的自动驾驶模式运行时，可能无法利用该技术。因此，自动驾驶车辆可能无法通过利用由相邻车辆投射在路面上的这种标记来提高驾驶安全性。
技术实现思路
本专利技术的一方面提供一种基于人工神经网络的投射信息识别装置及方法，其能够基于人工神经网络学习由相邻车辆投射在路面上的信息(投射信息)，并且基于所述学习对投射在对应于车辆的行驶方向的感兴趣区域(regionofinterest，ROI)上的信息进行识别，从而提高了车辆的行驶安全性。本专利技术的构思要解决的技术问题不限于上述问题，本专利技术所属领域的技术人员通过以下描述将清楚地理解本文未提及的任何其它技术问题。还应当显而易见的是，本专利技术的目的和优点可以通过所附权利要求中特别指出的手段和组合来实现。根据本专利技术的一个方面，一种基于人工神经网络的投射信息识别装置包括：对象检测装置，其基于第一卷积神经网络(ConvolutionNeuralNetwork，CNN)来检测图像中的对象；投射信息分类装置，其对所述对象检测装置检测到的对象中位于路面上的投射信息进行分类；以及控制器，其基于由所述投射信息分类装置分类的投射信息来识别位于对应于车辆的行驶方向的感兴趣区域(ROI)中的投射信息。当向车辆的左侧车道的车道变换被请求时，所述控制器可以将感兴趣区域(ROI)设置在车辆的左侧车道中。在这种情况下，当指示相邻车辆的车道变换的投射信息位于感兴趣区域(ROI)中时，所述控制器可以在尝试车道变换之前延迟车道变换的时间或者降低车辆的速度。当向车辆的右侧车道的车道变换被请求时，所述控制器可以将ROI设置在车辆的右侧车道中。在这种情况下，当指示相邻车辆的车道变换的投射信息位于感兴趣区域中时，所述控制器可以在尝试车道变换之前延迟车道变换的时间或者降低车辆的速度。当车辆被请求以车辆的向前方向行驶时，所述控制器可以将感兴趣区域设置在车辆的向前行驶车道中。在这种情况下，当指示存在行人的投射信息位于感兴趣区域中时，所述控制器可以降低车辆的速度，当指示停车的投射信息位于感兴趣区域中时，所述控制器可以使车辆降低速度。所述对象检测装置可以对图像中的对象进行学习。所述投射信息分类装置可以基于第二CNN对位于路面上的多条投射信息进行分类。所述投射信息分类装置可以对位于路面上的投射信息进行学习，并且在学习过程中对投射在路面上的投射信息与绘制在路面上的标记进行区分。根据本专利技术的另一个方面，一种基于人工神经网络的投射信息识别方法包括：通过对象检测装置基于第一卷积神经网络(ConvolutionNeuralNetwork，CNN)来检测图像中的对象；通过投射信息分类装置对检测到的对象中位于路面上的投射信息进行分类；通过控制器基于分类的投射信息来识别位于对应于车辆的行驶方向的感兴趣区域(RegionOfInterest，ROI)中的投射信息。识别位于对应于车辆的行驶方向的感兴趣区域中的投射信息可以包括：当向车辆的左侧车道的车道变换被请求时，将感兴趣区域设置在车辆的左侧车道中；基于位于感兴趣区域中的投射信息来识别相邻车辆的车道变换；基于识别出的相邻车辆的车道变换来控制车辆。识别位于对应于车辆的行驶方向的感兴趣区域中的投射信息可以包括：当向车辆的右侧车道的车道变换被请求时，将感兴趣区域设置在车辆的右侧车道中；基于位于感兴趣区域中的投射信息来识别相邻车辆的车道变换；基于识别出的相邻车辆的车道变换来控制车辆。识别位于对应于车辆的行驶方向的感兴趣区域中的投射信息可以包括：当车辆被请求以车辆的向前方向行驶时，将感兴趣区域设置在车辆的向前行驶车道中；在感兴趣区域中识别指示存在行人的投射信息；基于识别出的存在行人来控制车辆。识别位于对应于车辆的行驶方向的感兴趣区域中的投射信息可以包括：当车辆被请求以车辆的向前方向行驶时，将感兴趣区域设置在车辆的向前行驶车道中；在感兴趣区域中识别指示停车的投射信息；基于ROI中识别出的停车来控制车辆。可以基于第二CNN来对位于路面上的投射信息进行分类。所述基于人工神经网络的投射信息识别方法可以进一步包括：通过对象检测装置对图像中的对象进行学习；通过投射信息分类装置对位于路面上的投射信息进行学习。对位于路面上的投射信息进行学习可以包括：对投射在路面上的投射信息与绘制在路面上的标记进行区分。通过本文提供的说明，其它应用领域将变得明显。应当理解的是，本说明书和具体示例仅旨在用于说明的目的，而并不旨在限制本专利技术的范围。附图说明为了可以更好地理解本专利技术，现在将参考附图来描述以示例的方式给出的本专利技术的各种实施方案，在附图中：图1为基于人工神经网络的投射信息识别装置的配置示意图；图2为示出通过基于人工神经网络的投射信息识别装置所包括的图像输入装置输入的车辆的前方图像的示例的示意图；图3A为示出通过基于人工神经网络的投射信息识别装置所包括的图像输入装置输入的车辆的前方图像的示例的示意图；图3B为示出基于人工神经网络的投射信息识别装置所包括的骨干网络的示本文档来自技高网...

【技术保护点】
1.一种基于人工神经网络的投射信息识别装置，其包括：/n对象检测装置，其配置为基于第一卷积神经网络来检测图像中的对象；/n投射信息分类装置，其配置为对所述对象检测装置检测到的对象中位于路面上的投射信息进行分类；以及/n控制器，其配置为基于由所述投射信息分类装置分类的投射信息来识别位于对应于车辆的行驶方向的感兴趣区域中的投射信息。/n

【技术特征摘要】
20190521 KR 10-2019-00592071.一种基于人工神经网络的投射信息识别装置，其包括：
对象检测装置，其配置为基于第一卷积神经网络来检测图像中的对象；
投射信息分类装置，其配置为对所述对象检测装置检测到的对象中位于路面上的投射信息进行分类；以及
控制器，其配置为基于由所述投射信息分类装置分类的投射信息来识别位于对应于车辆的行驶方向的感兴趣区域中的投射信息。


2.根据权利要求1所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当向车辆的左侧车道的车道变换被请求时，将感兴趣区域设置在车辆的左侧车道中。


3.根据权利要求2所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当指示相邻车辆的车道变换的投射信息位于感兴趣区域中时，在尝试车道变换之前延迟车道变换的时间或者降低车辆的速度。


4.根据权利要求1所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当向车辆的右侧车道的车道变换被请求时，将感兴趣区域设置在车辆的右侧车道中。


5.根据权利要求4所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当指示相邻车辆的车道变换的投射信息位于感兴趣区域中时，在尝试车道变换之前延迟车道变换的时间或者降低车辆的速度。


6.根据权利要求1所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当车辆被请求以车辆的向前方向行驶时，将感兴趣区域设置在车辆的向前行驶车道中。


7.根据权利要求6所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当指示存在行人的投射信息位于感兴趣区域中时，降低车辆的速度。


8.根据权利要求6所述的基于人工神经网络的投射信息识别装置，其中，所述控制器配置为：当指示停车的投射信息位于感兴趣区域中时，降低车辆的速度。


9.根据权利要求1所述的基于人工神经网络的投射信息识别装置，其中，所述对象检测装置配置为对图像中的对象进行学习。


10.根据权利要求1所述的基于人工神经网络的投射信息识别装置，其中，所述投射信息分类装置配置为基于第二卷积神经网络对位于路面上的多条投射信息进行分类。


11.根据权利要求1所述的基于人工神经网络的投射信息识别...

【专利技术属性】
技术研发人员：金荣铉，
申请(专利权)人：现代自动车株式会社，起亚自动车株式会社，
类型：发明
国别省市：韩国;KR