联合感知模型训练、联合感知方法、装置、设备和介质制造方法及图纸

本公开提供了一种联合感知模型训练、联合感知方法、装置、设备和介质，涉及人工智能技术领域，尤其涉及计算机视觉、图像识别和深度学习技术。具体实现方案为：获取样本图像和样本图像的感知标签；获取预设的联合感知模型；联合感知模型包括特征提取网络和联合感知网络；通过特征提取网络对样本图像进行特征提取，得到目标样本特征；通过联合感知网络根据目标样本特征进行联合感知，得到感知预测结果；根据感知预测结果和感知标签，对预设的联合感知模型进行训练；其中，联合感知包括执行至少两种感知任务。根据本公开的技术，减少了联合感知过程的数据运算量，提高了计算效率。提高了计算效率。提高了计算效率。

【技术实现步骤摘要】
联合感知模型训练、联合感知方法、装置、设备和介质
[0001]本公开是申请号为202210218587.8的专利技术专利申请的分案申请。


[0002]本公开涉及人工智能
，尤其涉及计算机视觉、图像识别和深度学习技术，具体涉及一种联合感知模型训练、联合感知方法、装置、设备和介质。

技术介绍

[0003]随着计算机科学的不断发展，人工智能技术应运而生。人工智能作为研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。
[0004]基于人工智能技术对图像进行处理，为智慧交通、智慧安防和智慧城市等的构建，具备重要意义。

技术实现思路

[0005]本公开提供了一种联合感知模型训练、联合感知方法、装置、设备和介质。
[0006]根据本公开的一方面，提供了一种联合感知模型训练方法，包括：
[0007]获取样本图像和样本图像的感知标签；
[0008]获取预设的联合感知模型；联合感知模型包括特征提取网络和联合感知网络；
[0009]通过特征提取网络对样本图像进行特征提取，得到目标样本特征；
[0010]通过联合感知网络根据目标样本特征进行联合感知，得到感知预测结果；
[0011]根据感知预测结果和感知标签，对预设的联合感知模型进行训练；其中，联合感知包括执行至少两种感知任务。
[0012]根据本公开的另一方面，还提供了一种联合感知方法，包括：
[0013]获取预测图像；
[0014]将预测图像输入至目标联合感知模型，得到感知预测结果；
[0015]其中，目标联合感知模型基于本公开实施例提供的任意一种联合感知模型训练方法训练所得的初始联合感知模型得到。
[0016]根据本公开的另一方面，还提供了一种电子设备，包括：
[0017]至少一个处理器；以及
[0018]与至少一个处理器通信连接的存储器；其中，
[0019]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开实施例提供的任意一种联合感知模型训练方法，和/或，本公开实施例提供的任意一种联合感知方法。
[0020]根据本公开的另一方面，还提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开实施例提供的任意一种联合感知模型训练方法，和/或本公开实施例提供的任意一种联合感知方法。
[0021]根据本公开的技术，减少了联合感知过程的数据运算量，提高了计算效率。
[0022]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0023]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0024]图1是本公开实施例提供的一种联合感知模型训练方法的流程图；
[0025]图2是本公开实施例提供的一种联合感知模型的结构示意图；
[0026]图3A是本公开实施例提供的一种特征提取网络的结构示意图；
[0027]图3B是本公开实施例提供的一种第一多路模块的结构示意图；
[0028]图3C是本公开实施例提供的一种第一特征提取子网络的结构示意图；
[0029]图3D是本公开实施例提供的一种第一特征提取子网络的结构示意图；
[0030]图4A是本公开实施例提供的一种联合感知网络的结构示意图；
[0031]图4B是本公开实施例提供的一种检测头模块的结构示意图；
[0032]图4C是本公开实施例提供的一种第二多路模块的结构示意图；
[0033]图4D是本公开实施例提供的一种第二特征提取子网络的结构示意图；
[0034]图4E是本公开实施例提供的一种第二特征提取子网络的结构示意图；
[0035]图5是本公开实施例提供的一种联合感知方法的流程图；
[0036]图6A是本公开实施例提供的重参数化后的第一特征提取子网络的结构图；
[0037]图6B是本公开实施例提供的重参数化后的第二特征提取子网络的结构图；
[0038]图7是本公开实施例提供的一种联合感知模型训练装置的结构图；
[0039]图8是本公开实施例提供的一种联合感知装置的结构图；
[0040]图9是用来实现本公开实施例的联合感知模型训练方法和/或联合感知方法的电子设备的框图。
具体实施方式
[0041]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0042]本公开实施例适用于对图像在至少一个类别目标下进行多任务联合感知的情况，为智慧城市、智慧交通和智慧安防等的构建，提供了技术支撑。所谓多任务联合感知可以包括对目标检测任务、对目标的属性识别任务、和对目标的搜索特征提取任务等中的至少两种的执行。其中，目标即为图像中的待标注对象，通过对该待标注对象进行目标检测、属性识别或搜索特征提取等。
[0043]需要说明的是，由于对图像的联合感知过程需要基于联合感知模型实现，为了便于理解，首先对联合感知模型的训练过程进行详细说明。
[0044]图1是本公开实施例提供的一种联合感知模型训练方法的流程图，适用于对具备多任务联合感知功能的联合感知模型进行训练的应用场景。本公开实施例所提供的联合感知模型训练方法，可以由联合感知模型训练装置执行，该装置可以采用软件和/或硬件实
现，并具体配置于电子设备中。
[0045]如图1所示的一种联合感知模型训练方法，包括：
[0046]S101、获取样本图像和样本图像的感知标签。
[0047]其中，样本图像即为在模型训练过程中所使用的图像。样本图像的感知标签用于表征对样本图像进行联合感知后的理论结果，可以包括不同感知任务对应的标准感知结果。其中，联合感知可以包括目标检测、目标属性识别和目标搜索特征提取中的至少两种感知任务。
[0048]示例性地，目标检测任务对应的标准感知结果可以包括待标注对象的标注框的位置，例如可以包括标注框的坐标、大小、尺度和置信度等中的至少一种；属性识别任务对应的标准感知结果可以包括待标注对象的至少一个属性类别，例如车辆可以包括车辆颜色、车辆类型等，人脸可以包括性别等，人体可以包括服饰颜色等；搜索特征提取任务对应的标准感知结果可以包括用于图像检索的特征向量等。
[0049]在一个可选实施例中，样本图像可以是对视频流数据进行抽帧处理后的图片帧。
[0050]为了减少样本差异对模型训练过程的影响，在一个可选实施例中，还可以对不同样本图像统一进行预处理。
[0051]示例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种联合感知模型训练方法，包括：获取样本图像和所述样本图像的感知标签；获取预设的联合感知模型；所述联合感知模型包括特征提取网络和联合感知网络；通过所述特征提取网络对所述样本图像进行特征提取，得到目标样本特征；通过所述联合感知网络根据所述目标样本特征进行联合感知，得到感知预测结果；根据所述感知预测结果和所述感知标签，对预设的联合感知模型进行训练；其中，所述联合感知包括执行至少两种感知任务；其中，所述联合感知网络包括检测头模块；所述检测头模块包括第二多路模块和至少两个任务感知分支；所述通过所述联合感知网络根据所述目标样本特征进行联合感知，得到感知预测结果，包括：通过所述第二多路模块对所述目标样本特征进行相同类别目标在不同感知任务下的特征提取，得到感知样本特征；通过各任务感知分支分别根据所述感知样本特征，确定相应感知任务下的感知预测结果。2.根据权利要求1所述的方法，其中，所述特征提取网络包括基座模块和至少两个第一多路模块；所述通过所述特征提取网络对所述样本图像进行特征提取，得到目标样本特征，包括：通过所述基座模块对所述样本图像进行降采样，得到不同尺度的初始样本特征；通过所述第一多路模块对所述初始样本特征进行不同感知任务的特征提取，得到所述初始样本特征相应尺度下的目标样本特征。3.根据权利要求2所述的方法，其中，所述第一多路模块包括第一拆分子网络、第一特征提取子网络和第一融合子网络；通过所述第一多路模块对所述初始样本特征进行不同感知任务的特征提取，得到所述初始样本特征相应尺度下的目标样本特征，包括：通过所述第一拆分子网络按照通道维度对所述初始样本特征进行拆分，得到第一待融合样本特征和第一待处理样本特征；通过所述第一特征提取子网络对所述第一待处理样本特征进行特征提取，得到第一目标中间样本特征；通过所述第一融合子网络将所述第一待融合样本特征和所述第一目标中间样本特征进行特征融合，得到所述初始样本特征相应尺度下的目标样本特征。4.根据权利要求3所述的方法，其中，所述第一特征提取子网络包括第一全局感知模块、第一局部感知模块和第一感知融合模块；所述通过所述第一特征提取子网络对所述第一待处理样本特征进行特征提取，得到第一目标中间样本特征，包括：通过所述第一全局感知模块对所述第一待处理样本特征进行全局特征提取，得到第一全局中间样本特征；通过所述第一局部感知模块对所述第一待处理样本特征进行局部特征提取，得到第一局部中间样本特征；
通过所述第一感知融合模块对所述第一全局中间样本特征和所述第一局部中间样本特征进行特征融合，得到所述第一目标中间样本特征。5.根据权利要求4所述的方法，其中，所述第一局部感知模块包括至少两个第一局部感知分支；所述通过所述第一局部感知模块对所述第一待处理样本特征进行局部特征提取，得到第一局部中间样本特征，包括：通过不同第一局部感知分支对所述第一待处理样本特征在不同感受野下进行局部特征提取，得到相应感受野下的第一局部中间样本特征。6.根据权利要求5所述的方法，其中，所述第一局部感知模块还包括第一旁路分支；所述通过所述第一局部感知模块对所述第一待处理样本特征进行局部特征提取，得到第一局部中间样本特征，还包括：若所述第一旁路分支为直连结构，则直接将所述第一待处理样本特征作为相应的第一局部中间样本特征；或者，若所述第一旁路分支中包括第一批处理模块，则通过所述第一批处理模块对所述第一待处理样本特征进行归一化处理，得到相应的第一局部中间样本特征。7.根据权利要求1所述的方法，其中，所述第二多路模块包括第二拆分子网络、第二特征提取子网络和第二融合子网络；所述通过所述第二多路模块对所述目标样本特征进行相同类别目标在不同感知任务下的特征提取，得到感知样本特征，包括：通过所述第二拆分子网络按照通道维度对所述目标样本特征进行拆分，得到第二待融合样本特征和第二待处理样本特征；通过所述第二特征提取子网络对所述第二待处理样本特征进行特征提取，得到第二目标中间样本特征；通过所述第二融合子网络将所述第二待融合样本特征和所述第二目标中间样本特征进行特征融合，得到所述感知样本特征。8.根据权利要求7所述的方法，其中，所述第二特征提取子网络包括第二全局感知模块、第二局部感知模块和第二感知融合模块；所述通过所述第二特征提取子网络对所述第二待处理样本特征进行特征提取，得到第二目标中间样本特征，包括：通过所述第二全局感知模块对所述第二待处理样本特征进行全局特征提取，得到第二全局中间样本特征；通过所述第二局部感知模块对所述第二待处理样本特征进行局部特征提取，得到第二局部中间样本特征；通过所述第二感知融合模块对所述第二全局中间样本特征和所述第二局部中间样本特征进行特征融合，得到所述第二目标中间样本特征。9.根据权利要求8所述的方法，其中，所述第二局部感知模块包括至少两个第二局部感知分支；所述通过所述第二局部感知模块对所述第二待处理样本特征进行局部特征提取，得到第二局部中间样本特征，包括：
通过不同第二局部感知分支对所述第二待处理样本特征在不同感受野下进行局部特征提取，得到相应感受野下的第二局部中间样本特征。10.根据权利要求9所述的方法，其中，所述第二局部感知模块还包括第二旁路分支；所述通过所述第二局部感知模块对所述第二待处理样本特征进行局部特征提取，得到第二局部中间样本特征，还包括：若所述第二旁路分支为直连结构，则直接将所述第二待处理样本特征作为相应的第二局部中间样本特征；或者，若所述第二旁路分支中包括第二批处理模块，则通过所述第二批处理模块对所述第二待处理样本特征进行归一化处理，得到相应的第二局部中间样本特征。11.根据权利要求1所述的方法，其中，所述检测头模块的数量为至少两个；不同检测头模块对不同类别目标进行联合感知。12.一种联合感知方法，包括：获取预测图像；将所述预测图像输入至目标联合感知模型，得到感知预测结果；其中，所述目标联合感知模型基于权利要求1
‑
11任一项所述的联合感知模型训练方法训练所得的初始联合感知模型得到。13.根据权利要求12所述的方法，其中，所述目标联合感知模型基于对所述初始联合感知模型的网络参数进行整形量化处理得到。14.根据权利要求12或13所述的方法，其中，所述初始联合感知模型包括第一多路模块，所述第一多路模块包括至少两个第一局部感知分支；所述目标联合感知模型基于对至少两个所述第一局部感知分支进行重参数化得到；和/或，所述初始联合感知模型包括第二多路模块，所述第二多路模块包括至少两个第二局部感知分支；所述目标联合感知模型基于对至少两个所述第二局部感知分支进行重参数化得到。15.一种联合感知模型训练装置，包括：样本数据获取模块，用于获取样本图像和所述样本图...

【专利技术属性】
技术研发人员：王健，苏翔博，吴其蔓，王之港，孙昊，丁二锐，王井东，吴甜，王海峰，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：