一种交通环境元素视觉感知方法及装置制造方法及图纸

本发明专利技术提供一种交通环境元素视觉感知方法及装置，其中，该装置包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；图像处理模块用于获取交通环境的原始图像，将原始图像进行降分辨率处理得到交通环境图像；多任务网络用于根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象；小目标图像提取模块用于根据定位结果提取原始图像中与定位结果相对应的目标图像；小目标分类网络用于根据目标图像获取目标对象的分类结果。该装置不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量，更快的得到在图像中占比较小的目标图像的分类结果。

【技术实现步骤摘要】
一种交通环境元素视觉感知方法及装置
本专利技术涉及数据处理领域，具体涉及一种交通环境元素视觉感知方法及装置。
技术介绍
近年来，随着自动驾驶技术的发展，基于视觉的交通环境元素感知技术逐渐成为该领域的研究热点。交通环境元素视觉感知的主要过程是首先使用相机捕获交通环境图像，然后采取卷积神经网络处理图像信息，最终实现交通环境元素在图像上精准地定位与分类，需要感知的交通环境元素主要包括障碍物、车道线、交通灯、交通标志等。但这些研究都集中在单个交通环境元素感知任务上，并没有考虑如何准确高效地感知所有交通环境元素。虽然随着基于卷积神经网络交通环境元素感知技术的发展，任一环境元素都能做到实时准确地感知。但对于自动驾驶来说，单一环境元素无法覆盖复杂场景下的感知需求。而多种环境元素感知任务中，例如交通灯与交通标志等环境元素的实际物理尺寸较小，导致这些目标在图像中的占比较小，可用的图像像素有限，现有技术很难实现准确的识别。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中的无法同时感知多种环境元素的缺陷，从而提供一种交通环境元素视觉感知方法及装置。本专利技术第一方面提供了一种交通环境元素视觉感知装置，包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；图像处理模块用于获取交通环境的原始图像，将原始图像进行降分辨率处理得到交通环境图像；多任务网络用于根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象；小目标图像提取模块用于根据定位结果提取原始图像中与定位结果相对应的目标图像；小目标分类网络用于根据目标图像获取目标对象的分类结果。可选地，多任务网络包括：共享特征提取网络、小目标定位分支网络、感知任务分支网络；共享特征提取网络用于根据交通环境图像获取共享特征，并将共享特征输入小目标定位分支网络和感知任务分支网络；小目标定位分支网络用于根据共享特征获取目标对象在交通环境图像中的定位结果；感知任务分支网络用于根据共享特征获取交通环境元素的预测结果。可选地，小目标定位分支网络包括第一特征层、第一输出层；第一特征层用于根据共享特征提取第一特征；第一输出层用于根据第一特征输出目标对象在交通环境图像中的定位结果。可选地，感知任务分支网络包括第二特征层、第二输出层；第二特征层用于根据共享特征提取第二特征；第二输出层用于根据第二特征输出交通环境元素的预测结果。本专利技术第二方面提供了一种交通环境元素视觉感知方法，包括：获取交通环境的原始图像，并将原始图像进行降分辨率处理得到交通环境图像；根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果，交通环境元素不包含目标对象；根据定位结果提取原始图像中与定位结果相对应的目标图像；根据目标图像获取目标对象的分类结果。可选地，根据交通环境图像获取目标对象在交通环境图像中的定位结果及交通环境图像中的交通环境元素的预测结果的步骤，包括：根据交通环境图像获取共享特征；根据共享特征获取目标对象在交通环境图像中的定位结果及交通环境元素的预测结果。可选地，本专利技术提供的交通环境元素视觉感知方法通过如下步骤获取目标对象在交通环境图像中的定位结果：根据共享特征提取第一特征；根据第一特征获得目标对象在交通环境图像中的定位结果。可选地，本专利技术提供的交通环境元素视觉感知方法通过如下步骤获取交通环境元素的预测结果：根据共享特征提取第二特征；根据第二特征获得交通环境元素的预测结果。本专利技术第三方面提供一种计算机设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，从而执行如本专利技术第二方面提供的交通环境元素视觉感知方法。本专利技术第四方面提供一种计算机可读存储介质，计算机可读存储介质存储有计算机指令，计算机指令用于使计算机执行如本专利技术第二方面提供的交通环境元素视觉感知方法。本专利技术技术方案，具有如下优点：1.本专利技术提供的交通环境元素视觉感知装置，可以通过多任务网络获取除目标对象外的多种交通环境元素的预测结果，对于交通环境图像中占比较小、无法准确识别的目标对象，先通过多任务网络获取目标对象在交通环境图像中的定位结果，然后小目标图像提取模块根据定位结果提取原始图像中与定位结果相对应的目标图像，将目标图像输入小目标分类网络得到目标对象的分类结果，一方面，相较于通过降分辨率后的交通环境图像对图像中占比较小的目标图像进行分类，本专利技术提供的交通环境元素视觉感知装置得到的目标图像的分类结果更为准确可靠，另一方面，相较于直接将原始图像输入神经网络中进行目标对象的分类，本专利技术提供的交通环境元素视觉感知装置只将从原始图像中截取的有效的目标图像输入小目标分类网络得到目标对象的分类结果，计算量更小，计算效率更高。综上所述，本专利技术提供的交通环境元素视觉感知装置不仅可以获取多种交通环境元素的预测结果，且可以通过更小的计算量更快的得到在图像中占比较小的目标图像的分类结果。2.本专利技术提供的交通环境元素视觉感知装置，多任务网络包括共享特征提取网络、小目标定位分支网络、感知任务分支网络，通过共享特征提取网络获取用于各小目标定位分支网络和感知任务分支网络的共享特征，各小目标定位分支网络和感知任务分支网络在进一步计算定位结果和预测结果时，只需基于该共享特征进一步进行计算即可，而传统的多任务神经网络只是将多个不同任务的神经网络进行简单堆叠，实际执行不同任务时，各神经网络之间无法实现特征共享，每个神经网络都需完整计算所有特征，导致结构臃肿、计算开销冗余，无法满足实时计算的需求，因此本申请提供的交通环境元素视觉感知装置相较于现有的多任务神经网络结构简单、计算效率高，可以满足实时计算的需求。3.本专利技术提供的交通环境元素视觉感知装置，小目标定位分支网络包括第一特征层和第一输出层，第一特征层只需在已有的共享特征计算与该小目标分支网络的定位任务相关的更深层次的特征即可，减少了小目标定位分支网络的计算开销。4.本专利技术提供的交通环境元素视觉感知装置，感知任务分支网络包括第二特征层和第二输出层，第二特征层只需在已有的共享特征计算与感知任务分支网络的预测任务相关的更深层次的特征即可，减少了感知任务分支网络的计算开销。5.本专利技术提供的交通环境元素视觉感知方法，可以同时获取除目标对象外的多种交通环境元素的预测结果，对于交通环境图像中占比较小、无法准确识别的目标对象，先获取目标对象在交通环境图像中的定位结果，然后根据定位结果提取原始图像中与定位结果相对应的目标图像，根据目标图像得到目标对象的分类结果，一方面，相较于通过降分辨率后的交通环境图像对图像中占比较小的目标图像进行分类，本专利技术提供的交通环境元素视觉感知方法得到的目标图像的分类结果更为准确可靠，另一方面，相较于直接根据原始图像进行目标对象的分类，本专利技术提供的交通环境元素视觉感知方法只根据从原始图像中截取的有效的目标图像进行计算得到目标对象的分类本文档来自技高网...

【技术保护点】
1.一种交通环境元素视觉感知装置，其特征在于，包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；/n所述图像处理模块用于获取交通环境的原始图像，将所述原始图像进行降分辨率处理得到交通环境图像；/n所述多任务网络用于根据交通环境图像获取目标对象在所述交通环境图像中的定位结果及所述交通环境图像中的交通环境元素的预测结果，所述交通环境元素不包含所述目标对象；/n所述小目标图像提取模块用于根据所述定位结果提取原始图像中与所述定位结果相对应的目标图像；/n所述小目标分类网络用于根据所述目标图像获取所述目标对象的分类结果。/n

【技术特征摘要】
1.一种交通环境元素视觉感知装置，其特征在于，包括：图像处理模块、多任务网络、小目标图像提取模块、小目标分类网络；
所述图像处理模块用于获取交通环境的原始图像，将所述原始图像进行降分辨率处理得到交通环境图像；
所述多任务网络用于根据交通环境图像获取目标对象在所述交通环境图像中的定位结果及所述交通环境图像中的交通环境元素的预测结果，所述交通环境元素不包含所述目标对象；
所述小目标图像提取模块用于根据所述定位结果提取原始图像中与所述定位结果相对应的目标图像；
所述小目标分类网络用于根据所述目标图像获取所述目标对象的分类结果。


2.根据权利要求1所述的交通环境元素视觉感知装置，其特征在于，所述多任务网络包括：共享特征提取网络、小目标定位分支网络、感知任务分支网络；
所述共享特征提取网络用于根据交通环境图像获取共享特征，并将所述共享特征输入所述小目标定位分支网络和感知任务分支网络；
所述小目标定位分支网络用于根据所述共享特征获取所述目标对象在所述交通环境图像中的定位结果；
所述感知任务分支网络用于根据所述共享特征获取所述交通环境元素的预测结果。


3.根据权利要求2所述的交通环境元素视觉感知装置，其特征在于，所述小目标定位分支网络包括第一特征层、第一输出层；
所述第一特征层用于根据所述共享特征提取第一特征；
所述第一输出层用于根据所述第一特征输出所述目标对象在所述交通环境图像中的定位结果。


4.根据权利要求2所述的交通环境元素视觉感知装置，其特征在于，所述感知任务分支网络包括第二特征层、第二输出层；
所述第二特征层用于根据所述共享特征提取第二特征；
所述第二输出层用于根据所述第二特征输出所述交通环境元素的预测结果。


5.一种交通环境元素视觉感知方法，其特征在于，包括：
获取...

【专利技术属性】
技术研发人员：王冬生，林昱，管越，李军，褚文博，张庆，黄冠富，
申请(专利权)人：国汽北京智能网联汽车研究院有限公司，
类型：发明
国别省市：北京;11