一种图像处理系统、方法以及包括该系统的自动驾驶车辆技术方案

本申请涉及人工智能领域，公开了一种图像处理系统、方法以及包括该系统的自动驾驶车辆，本申请的图像处理系统采用Triplet架构，对一帧图像而言，本申请的图像处理系统/方法可以同时提取包括图像特征、图像中的对象特征以及对象的位置信息特征，并基于这些特征信息获取特征向量，基于对特征向量的聚类和分析即可获得关键帧图像。本申请的系统/方法，对于所处理的图像集没有时间上连续或者空间上关联的要求，即本申请的系统/方法可以对任意的图像集进行处理并获取其中的关键帧，降低了处理的冗余度，提升了关键帧获取的效率；另一方面，本申请在特征提取的过程中充分考虑了对象在图像中的位置信息，因此提升了关键帧获取的准确度。度。度。

【技术实现步骤摘要】
【国外来华专利技术】一种图像处理系统、方法以及包括该系统的自动驾驶车辆


[0001]本申请涉及人工智能领域，特别地，涉及一种图像处理系统、方法以及包括该系统的自动驾驶车辆。

技术介绍

[0002]随着5G通信和车联网技术的快速发展，自动驾驶技术已经成为研究热点。自动驾驶领域核心技术包括智能环境感知、自动导航定位、驾驶行为决策和智能路径规划控制等。在自动驾驶技术中，对道路信息进行对象检测(例如检测道路上的标识、行人等)是进行驾驶行为决策的先决条件，从图像处理的角度来看看，对象检测需要分析和确定图像中的各个对象的类别信息和位置信息。
[0003]目前，一般使用基于神经网络的机器学习方法来进行对象检测，用于对象检测的神经网络在使用前需要进行训练；目前一般采用基于自动驾驶车辆摄像装置获取的图像(集)进行训练。在这些图像(集)中可能存在多次通过同一地点拍摄的图像，或者连续拍摄的图像(即时间或空间上存在关联的图像)，因此图像之间存在很大的相似性，就是存在于训练样本中的冗余数据。由于冗余数据的存在，增加了训练的所需的时长，而且相同/相似样本的过多，影响了训练对其它样本的处理，可能造成过拟合。实际上，在对目标检测的神经网络进行训练的过程中，只需要少量的关键帧即可达到较好的训练效果，一般而言，关键帧描述了对象动作的转折时点，或者场景的切换时点，包含了较丰富的信息。因此如何获取关键帧对于自动驾驶而言是一个亟待解决的问题。
[0004]现有技术一般需要利用连续帧图像(即时间和空间上存在关联的图像)之间的关联关系进行关键帧获取，这样不仅在处理上冗余度较高，也限缩了关键帧获取的可选择图像集范围；另一方面，现有技术在进行关键帧获取的时候没有考虑对象的位置信息，因此不能选择出对待检测对象位置信息的预测合适的关键帧。

技术实现思路

[0005]为了解决相关技术问题，本申请实施例提供了一种图像处理系统、方法以及包括该系统的自动驾驶车辆。
[0006]作为本申请的一方面，提供一种图像处理系统，包括三重架构(Triplet)的卷积神经网络(包括第一卷积神经网络、第二卷积神经网络和第三卷积神经网络)和通道拼接部。对一帧图像而言，三重架构的卷积神经网络配置为获取图像、图像中的对象、图像中的对象的位置这“三种”信息并对这三种信息进行特征提取，获取后的特征经由通道拼接部生成图像矩阵，图像矩阵中包括了图像、图像中的对象、对象的位置信息，基于对图像矩阵的特征提取可以获得特征向量，再根据特征向量的聚类和分析可以获取关键帧。本申请的图像处理系统可以对无序图像(即在时间和/或空间上没有关联性的图像)进行处理并获取关键帧，从而解决了现有技术中关键帧获取过程中冗余信息过多的问题，提升了关键帧获取的效率和普适性。另一方面，本申请在特征提取的过程中充分考虑了对象在图像中的位置信
息，因此提升了关键帧获取的准确度。
[0007]结合第一方面的一种可能实现方式，可以在通道拼接部后设置隐层对图像矩阵进行特征提取以获取特征向量，隐层可以使用神经元层来实现，隐层的输入层和通道拼接部逻辑连接。
[0008]结合第一方面的一种可能实施方式，可以在通道拼接部后设置第四卷积神经网络对图像矩阵进行特征提取以获取特征向量，卷积神经网络的输入层和通道拼接部逻辑连接。
[0009]第一方面的图像处理系统在使用之前需要经过训练，在一种可能实施方式中，采用类似于自编码器的架构进行训练，自编码器是一种能够通过无监督学习，学到输入数据高效表示的人工神经网络。本申请中的自编码器还包括：与隐层或者第四卷积神经网络的输出层逻辑连接的通道分离部，通道分离部配置为将隐层或者卷积神经网络的输出进行通道分离，通道分离包括：图像通道、对象通道和对象位置信息通道。上述图像通道、对象通道和对象位置信息通道分别和第五卷积神经网络、第六卷积神经网络和第七卷积神经网络的输入逻辑连接，第五、第六、第七卷积神经网络分别用于提取图像特征、对象特征以及对象位置信息特征并利用这些特征重建图像、图像中的对象、对象的位置信息。上述第一、第二、第三卷积神经网络属于自编码器的编码端，而上述第五、第六、第七卷积神经网络属于自编码器的解码端。
[0010]结合第一方面的一种可能实施方式，第一卷积神经网络、第二卷积神经网络、第三卷积神经网络可以包括降采样层。降采样层可以减少数据处理所需的计算量，并且防止过拟合现象。可以通过例如池化层(包括最大值采样、最小值采样、平均值采样)来实现降采样。在编码端使用了降采样层的情况下，解码端的第五卷积神经网络、第六卷积神经网络、第七卷积神经网络可以包括升采样层，升采样可以恢复数据维度以实现对输入信息的重建。
[0011]结合第一方面的一种可能实施方式，隐层可以包括偶数层神经元层，由于编码端和解码端是对称的结构，使用偶数层的隐层可以更有利于实现在编码端和解码端的(神经元)权重一致。因此，可以使用例如两层或者四层神经元层的隐层。
[0012]结合第一方面的一种可能实施方式，可以使用卷积神经网络来替换隐层，卷积神经网络可以采用通用的架构，基于和上述偶数层隐层的选择相类似的理由，卷积神经网络可以包括偶数层的卷积层，例如可以使用两层或者四层卷积层的卷积神经网络。
[0013]第二方面，本申请还提供一种图像处理方法，可以由例如但不限于训练好的第一方面的图像处理系统来执行，对待处理的图像，获取图像特征、图像中的对象特征、对象的位置信息特征；并融合所述图像特征、所述对象特征和所述对象的位置信息特征以得到图像矩阵。从图像矩阵中获取包括所述图像特征、所述对象特征和所述对象的位置信息特征的特征向量。
[0014]结合第二方面的一种可能实施方式，对特征向量进行聚类以得到聚类结果。可以使用例如包括K均值聚类(K
‑
means)和质心最小化簇中点聚类。依据所述聚类结果得到多个聚类类别，多个聚类类别中的每一个包括至少一个图像，对多个聚类类别按照设定规则进行排序，对多个聚类类别中的每一个选取排序完成后的第一个图像作为关键帧，关键帧作为对象识别算法的训练材料。
[0015]第三方面，提供一种自动驾驶车辆，其包括前述第一方面的图像处理系统。
[0016]第四方面，提供一种自动驾驶车辆，其其配置为与云端通信连接，在云端设置有前述第一方面的图像处理系统，自动驾驶车辆获取的图像被传输至云端的图像处理系统，图像处理系统对图像进行处理以获取其中的关键帧。
[0017]第五方面，提供一种自动驾驶辅助系统，其包括前述第一方面的图像处理系统。
[0018]第六方面，提供一种自动驾驶辅助系统，其其配置为与云端通信连接，在云端设置有前述第一方面的图像处理系统，自动驾驶辅助系统获取的图像被传输至云端图像处理系统，图像处理系统对图像进行处理以获取其中的关键帧。
[0019]第七方面，提供一种神经网络处理器，神经网络处理器配置为前述第二方面的图像处理方法。
[0020]第八方面，提供一种自编码器，包括：编码端、解码端、设置在编码端和解码端之间的隐层，编码端包括：第一本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理系统，包括：第一卷积神经网络，第二卷积神经网络，第三卷积神经网络和通道拼接部，所述通道拼接部与所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络的输出层逻辑连接；所述第一卷积神经网络配置为：获取图像并对所述图像进行特征提取；所述第二卷积神经网络配置为：获取所述图像中的对象并对所述图像中的对象进行特征提取；所述第三卷积神经网络配置为：获取所述图像中的对象的位置信息并对所述图像中的对象的位置信息进行特征提取；通道拼接部，所述通道拼接部与所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络的输出层相连接逻辑连接，所述通道拼接部配置为接收所述第一卷积神经网络、所述第二卷积神经网络、所述第三卷积神经网络的输出并基于接收的输出生成图像矩阵。2.根据权利要求1所述的图像处理系统，还包括：隐层，所述隐层包括至少一个神经元层，所述隐层的输入层和所述通道拼接部逻辑连接，所述隐层配置为对所述图像矩阵进行特征提取。3.根据权利要求2所述的图像处理系统，其中：所述隐层包括偶数个全连接的神经元层。4.根据权利要求1所述的图像处理系统，还包括：第四卷积神经网络，所述第四卷积神经网络的输入层和所述通道拼接部逻辑连接，所述第四卷积神经网络配置为对所述图像矩阵进行特征提取。5.根据权利要求4所述的图像处理系统，其中：所述第四卷积神经网络包括偶数个卷积层。6.根据权利要求3所述的图像处理系统，还包括：通道分离部，所述通道分离部与所述隐层的输出层逻辑连接，所述通道分离部配置为将所述隐层的输出特征进行通道分离，所述通道分离包括：图像通道、对象通道和对象位置信息通道。7.根据权利要求5所述的图像处理系统，还包括：通道分离部，所述通道分离部与所述第四卷积神经网络的输出层逻辑连接，所述通道分离部配置为将所述第四神经网络的输出进行通道分离，所述通道分离包括：图像通道、对象通道和对象位置信息通道。8.根据权利要求6
‑
7任一所述的图像处理系统，还包括：第五卷积神经网络，所述第五卷积神经网络配置为与所述图像通道逻辑连接并提取图像特征；第六卷积神经网络，所述第六卷积神经网络配置为与所述对象通道逻辑连接并提取待检测对象特征；第七卷积神经网络，所述第七卷积神经网络配置为与所述对象位置信息通道逻辑连接并提取待检测对象位置信息特征。9.根据权利要求8所述的图像处理系统，其中：所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络包括降采样层。
10.根据权利要求9所述的图像处理系统，其中：所述降采样层为池化层，所述池化层包括最大值池化、最小值池化或者平均值池化中的至少一种。11.根据权利要求10所述的图像处理系统，其中：所述降采样层配置为以大于1的步数执行卷积操作以实现降采样。12.根据权利要求11所述的图像处理系统，其中：所述第五卷积神经网络、第六卷积神经网络、第七卷积神经网络均包括升采样层。13.根据权利要求12所述的图像处理系统，其中：所述升采样层配置为执行双线性插值以实现升采样。14.根据权利要求13所述的图像处理系统，其中：所述第一卷积神经网络、第二卷积神经网络和第三卷积神经网络之间共享权值。15.根据权利要求14所述的图像处理系统，其中：所述第五卷积神经网络、第六卷积神经网络和第七卷积神经网络之间共享权值。16.一种图像处理方法，包括：提取图像特征；提取所述图像中的对象特征；提取所述图像中的对象的位置信息特征；...

【专利技术属性】
技术研发人员：晋周南，王旭东，曹结松，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：