【技术实现步骤摘要】
本申请涉及计算机视觉和图像特征提取领域，尤其涉及一种场景感知方法、场景感知系统、电子设备和非暂存性计算机可读存储介质。
技术介绍
1、智能化交通系统、智能监控系统、军事目标检测及智能医学系统等，通过传感器获取场景中的感知数据，如激光雷达感知周围环境的点云数据，摄像头感知周围环境的图像数据，再利用算法对感知数据中的目标特征进行提取，为感知数据赋予语义信息，实现对系统周围的场景的感知，用于系统决策。随着机器学习技术的发展和计算机视觉技术的广泛应用，利用带有机器学习功能的图像特征提取技术对传感器获得的环境感知数据进行特征的实时提取的研究应用具有越来越广泛的应用价值。作为计算机视觉领域的基本任务之一，图像特征提取一般是指从图像中提取出目标物体的特征，如类别和位置等信息，再对这类信息进行处理以达到对目标物体的跟踪，监控或定位等效果。为了达到上述目的，通常采用卷积神经网络(cnn，即convolutional neural network)对图像进行全局分割和处理，再对分割处理后的结果进行整合，进而提取出目标物体的特征。卷积神经网络通常具有机器学习功能，能够利用来源于外部的或者检测环境自反馈的训练用信息自行进行学习，从而提高自身的包括处理速度和精度在内的性能。
2、然而，由于卷积神经网络的全局处理方式，导致其在图像局部区域中的特征提取能力受到局限，如与不同图像区域之间的相对关系和信息交互能力，以及在整个图像区域内的信息捕捉丰富度等都受到了限制。
3、自注意力神经网络的整个网络结构是由self-attention机制组
4、在对环境感知数据的处理中，如何提升图像特征提取能力，并且同时兼顾系统计算量，实现更优的场景感知效果，是亟需解决的问题。
技术实现思路
1、本申请提供的场景感知方法、场景感知系统和电子设备，克服了卷积神经网络在图像局部区域提取局限特征的能力受限问题，同时提升了在图像全局区域特征提取和局部区域特征提取的性能。
2、第一方面，本申请提供了一种场景感知方法，包括：获取目标场景的感知数据；以及将所述感知数据输入预设场景感知模型，并输出所述目标场景对应的感知结果；其中，所述预设场景感知模型包括依次连接的柱特征提取模块、主干特征提取模块和检测模块，所述主干特征提取模块包括至少一个卷积神经网络和至少一个自注意力神经网络。
3、根据本申请中的一些实施例，所述将所述感知数据输入预设场景感知模型，并输出所述目标场景对应的感知结果进一步包括：通过所述柱特征提取模块生成所述感知数据对应的伪图像；通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图，其中处理所述伪图像包括对所述伪图像进行至少一次的卷积神经网络处理和至少一次的自注意力神经网络处理；以及通过所述检测模块对所述深层特征图进行检测，输出所述感知结果。
4、根据本申请中的一些实施例，在所述输出所述感知结果之前、之后或同时：提供训练用信息，所述训练用信息在对所述伪图像进行处理和/或对所述深层特征图进行检测的过程中得到。
5、根据本申请中的一些实施例，所述通过所述柱特征提取模块生成所述感知数据对应的伪图像进一步包括，接收所述训练用信息，并根据所述训练用信息进行机器学习类训练；和/或所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图进一步包括，接收所述训练用信息，并根据所述训练用信息进行机器学习类训练。
6、根据本申请中的一些实施例，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：通过所述卷积神经网络对所述伪图像进行至少一级的编码操作，生成至少一级的特征图；以及通过所述自注意力神经网络对最后一级所述编码操作输出的特征图进行至少一级的解码操作，并最终输出所述深层特征图。
7、根据本申请中的一些实施例，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：通过连接网络将各级所述特征图进行处理后输出至对应层级的所述自注意力神经网络。
8、根据本申请中的一些实施例，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：在所述编码操作中对上一级所述卷积神经网络处理后的特征图进行第一下采样处理；以及在所述解码操作中对同级所述自注意力神经网络处理后的特征图进行第一上采样处理，其中最后一级所述自注意力神经网络直接输出所述深层特征图。
9、根据本申请中的一些实施例，所述通过连接网络将各级所述特征图进行处理后输出至对应层级的自注意力神经网络包括：在所述连接网络中对输入的各级所述特征图进行第二下采样处理。
10、根据本申请中的一些实施例，所述第一下采样处理的方法包括正卷积处理，所述第一上采样处理的方法包括反卷积处理。
11、根据本申请中的一些实施例，所述第二下采样处理的方法包括正卷积处理。
12、根据本申请中的一些实施例，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图进一步包括：对所述伪图像进行编码，包括对所述伪图像进行至少一级的卷积编码，生成至少一级卷积编码特征图；对最后一级所述卷积编码生成的卷积编码特征图进行至少一级的自注意力编码，生成至少一级自注意力编码特征图；以及整合编码特征图，包括：对所述至少一级所述卷积编码特征图进行第二上采样处理，对所述至少一级所述自注意力编码特征图进行第三上采样处理，以及将上采样处理后的卷积编码特征图和自注意力编码特征图进行整合，得到所述深层特征图。
13、根据本申请中的一些实施例，在进行每一级所述卷积编码前进行第三下采样处理；在进行每一级所述自注意力编码前进行第四下采样处理。
14、根据本申请中的一些实施例，所述第三下采样处理的方法、所述第四下采样处理的方法包括正卷积法，所述第二上采样处理的方法、所述第三上采样处理的方法包括反卷积法。
15、根据本申请中的一些实施例，在所述将上采样处理后的卷积编码特征图和自注意力编码特征图进行整合，得到所述深层特征图之后，对所述深层特征图进行一次或多次卷积操作，得到处理后的深层特征图；并将处理后的深层特征图输出至所述检测模块。
16、另一方面，本申请还提供了一种场景感知系统，包括：获取单元，被配置为获取目标场景的感知数据；以及检测单元，被配置为将所述感知数据输入预设场景感知模型，并输出所述目标场景对应的感知结果；其中，所述预设场景感知模型包括依次连接的柱特征提取模块、主干特征提取模块和检测模块，所述主干特征提取模块包括至少一个卷积神经网络和至少一个自注意力神经网络。
17、根据本申请中的一些实施例，所述柱特征提取模块，配置为接收所述感知本文档来自技高网...
【技术保护点】
1.一种场景感知方法，其特征在于，包括：
2.如权利要求1所述的场景感知方法，其特征在于，所述将所述感知数据输入预设场景感知模型，并输出所述目标场景对应的感知结果进一步包括：
3.如权利要求2所述的场景感知方法，其特征在于，进一步包括，在所述输出所述感知结果之前、之后或同时：
4.如权利要求3所述的场景感知方法，其特征在于，
5.如权利要求2所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：
6.如权利要求5所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：
7.如权利要求5或6所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：
8.如权利要求6所述的场景感知方法，其特征在于，所述通过连接网络将各级所述特征图进行处理后输出至对应层级的自注意力神经网络包括：
9.如权利要求7所述的场景感知方法，其特
10.如权利要求8所述的场景感知方法，其特征在于，
11.如权利要求2所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图进一步包括：
12.如权利要求11所述的场景感知方法，其特征在于，
13.如权利要求10或11所述的场景感知方法，其特征在于，
14.如权利要求11所述的场景感知方法，其特征在于，在所述将上采样处理后的卷积编码特征图和自注意力编码特征图进行整合，得到所述深层特征图之后，
15.一种场景感知系统，用于检测目标，其特征在于，包括：
16.如权利要求15所述的场景感知系统，其特征在于，
17.如权利要求15或16所述的场景感知系统，其特征在于，
18.如权利要求15或16所述的场景感知系统，其特征在于，
19.如权利要求15所述的场景感知系统，其特征在于，所述检测模块被进一步配置为：
20.如权利要求19所述的场景感知系统，其特征在于，
21.如权利要求16所述的场景感知系统，其特征在于，所述主干特征提取模块为U型结构，包括：
22.如权利要求21所述的场景感知系统，其特征在于，所述主干特征提取模块进一步包括：
23.如权利要求22所述的场景感知系统，其特征在于，其中
24.如权利要求23所述的场景感知系统，其特征在于，
25.如权利要求16所述的场景感知系统，其特征在于，所述主干特征提取模块为金字塔型结构，包括：
26.如权利要求25所述的场景感知系统，其特征在于，其中
27.如权利要求26所述的场景感知系统，其特征在于，其中
28.如权利要求27所述的场景感知系统，其特征在于，
29.如权利要求25所述的场景感知系统，其特征在于，
30.一种电子设备，包括：
31.一种非暂存性计算机可读存储介质，存储有计算机指令，其特征在于，所述计算机指令用于指示所述计算机执行如权利要求1-14中任意一项所述的场景感知方法。
...【技术特征摘要】
1.一种场景感知方法，其特征在于，包括：
2.如权利要求1所述的场景感知方法，其特征在于，所述将所述感知数据输入预设场景感知模型，并输出所述目标场景对应的感知结果进一步包括：
3.如权利要求2所述的场景感知方法，其特征在于，进一步包括，在所述输出所述感知结果之前、之后或同时：
4.如权利要求3所述的场景感知方法，其特征在于，
5.如权利要求2所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：
6.如权利要求5所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：
7.如权利要求5或6所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图包括：
8.如权利要求6所述的场景感知方法，其特征在于，所述通过连接网络将各级所述特征图进行处理后输出至对应层级的自注意力神经网络包括：
9.如权利要求7所述的场景感知方法，其特征在于，
10.如权利要求8所述的场景感知方法，其特征在于，
11.如权利要求2所述的场景感知方法，其特征在于，所述通过所述主干特征提取模块处理所述伪图像，得到所述目标场景对应的深层特征图进一步包括：
12.如权利要求11所述的场景感知方法，其特征在于，
13.如权利要求10或11所述的场景感知方法，其特征在于，
14.如权利要求11所述的场景感知方法，其特征在于，在所述将上采样处...
【专利技术属性】
技术研发人员：欧阳文涛，李泽嵩，向少卿，
申请(专利权)人：上海禾赛科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。