场景信息的检测方法和装置、电子设备制造方法及图纸

本公开实施例提供一种场景信息的检测方法和装置、电子设备，其中，该方法可以包括：根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的特征维度是Cy*1的汇聚特征，其中，Cy是汇聚特征的通道维度，且Cy与目标节点的节点特征的通道维度相同；其中，场景异构图包括至少两种异质节点：辅助节点以及基于场景图像得到的目标节点；基于汇聚特征更新目标节点的节点特征；根据更新后的目标节点的节点特征，获得场景图像的场景信息。

【技术实现步骤摘要】
场景信息的检测方法和装置、电子设备
本公开涉及计算机视觉技术，具体涉及一种场景信息的检测方法和装置、电子设备。
技术介绍
随着深度学习技术的不断发展，场景理解算法可以获取场景图像中包含的场景信息，例如，该场景信息可以是场景图像中包含哪些物体，或者场景图像中的各个物体之间具有怎样的关系，即理解这个场景图像中正在发生什么事件。而由于场景图像中包含的信息复杂多样，出于计算量大等多种因素的考虑，现有的场景理解算法往往只能利用场景图像中的一种类型的信息来辅助场景的理解，使得最终获得的场景信息的检测精度有待提高。
技术实现思路
有鉴于此，本公开实施例至少提供一种场景信息的检测方法和装置、电子设备。第一方面，提供一种场景信息的检测方法，所述方法包括：根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，所述汇聚特征的特征维度是Cy*1，其中，所述Cy是所述汇聚特征的通道维度，且所述Cy与目标节点的节点特征的通道维度相同；其中，所述场景异构图包括至少两种异质节点，所述至少两种异质节点包括：所述辅助节点以及基于所述场景图像得到的所述目标节点；基于所述汇聚特征，更新所述目标节点的节点特征；根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息。在一些实施例中，所述基于所述汇聚特征，更新所述目标节点的节点特征，包括：根据所述汇聚特征的每个通道的通道特征，对所述目标节点的节点特征中对应所述每个通道的所有特征位置利用所述通道特征进行特征更新处理。>在一些实施例中，所述根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，包括：根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到重加权向量和残差向量中的至少一种作为所述汇聚特征；所述基于所述汇聚特征，更新所述目标节点的节点特征，包括：基于所述重加权向量对目标节点的节点特征的各通道进行相乘处理，和/或，通过所述残差向量对目标节点的节点特征的各通道进行相加处理。在一些实施例中，所述得到重加权向量和残差向量中的至少一种作为所述汇聚特征，包括：通过激活函数、以及所述目标节点的节点特征的标准差，将所述残差向量的取值映射到预定的数值区间作为所述汇聚特征。在一些实施例中，所述目标节点包括：对象组节点，所述对象组包括所述场景图像中的两个对象；所述根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息，包括：根据更新后的对象组节点的节点特征，得到所述对象组节点中两个对象之间关系的预测结果。在一些实施例中，所述场景异构图中包括：以其中一个对象组节点作为终点的信息传输链，所述信息传输链包括至少两个有向边组，每个有向边组包括由多个起点指向同一终点的多个有向边；所述信息传输链中的各个起点和终点中包括至少两种所述异质节点；所述根据与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，基于所述汇聚特征，更新所述目标节点的节点特征，包括：对于所述至少两个有向边组中的第一有向边组，以所述第一有向边组指向的同一个第一终点作为所述目标节点，根据连接所述第一终点的各个起点的节点特征得到汇聚特征，基于所述汇聚特征更新所述第一终点的节点特征；所述第一终点同时作为所述至少两个有向边组中的第二有向边组的其中一个起点；对于所述第二有向边组，以所述第二有向边组指向的同一个第二终点作为所述目标节点，根据连接所述第二终点的各个起点的节点特征得到汇聚特征，基于所述汇聚特征更新所述第二终点的节点特征。在一些实施例中，所述至少两个有向边组的一个所述有向边组的起点和终点，包括如下其中一项：所述起点包括：由所述场景图像提取特征得到的各个像素节点，所述终点是由所述场景图像提取到的物体节点；或者，所述起点和终点均包括：由所述场景图像提取到的物体节点；或者，所述起点包括由所述场景图像提取到的物体节点，所述终点包括所述对象组节点；或者，所述起点包括所述对象组节点，所述终点包括所述物体节点。在一些实施例中，所述各辅助节点包括：多个像素节点；所述方法还包括：根据所述场景图像进行特征提取，得到多个特征图，所述多个特征图分别具有不同尺寸；将所述多个特征图缩放到同一尺寸后进行融合，得到融合特征图；根据所述融合特征图，得到多个所述像素节点的节点特征。在一些实施例中，所述根据更新后的对象组节点的节点特征，得到所述对象组节点中两个对象之间关系的预测结果，包括：根据所述对象组节点的节点特征，得到预测的初始分类置信度，所述初始分类置信度中包括：所述对象组节点对应各个预定关系类别的初始分类置信度；根据所述对象组节点在所述各个预定关系类别中的其中一种目标预定关系类别对应的初始分类置信度、以及所述对象组节点中两个对象分别对应的对象检测置信度，得到所述对象组节点中的两个对象对应所述目标预定关系类别的置信度；若所述置信度大于或等于预设的置信度阈值，则确认所述对象组节点中的两个对象之间的关系的预测结果是所述目标预定关系类别。第二方面，提供一种场景信息的检测方法，所述方法由图像处理设备执行；所述方法包括：获取图像采集设备采集到的场景图像；根据本公开任一实施例提供的检测方法，对所述场景图像进行处理，输出所述场景图像中的场景信息。第三方面，提供一种场景信息的检测装置，所述装置包括：特征处理模块，用于根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，所述汇聚特征的特征维度是Cy*1，其中，所述Cy是所述汇聚特征的通道维度，且所述Cy与目标节点的节点特征的通道维度相同；其中，所述场景异构图包括至少两种异质节点，所述至少两种异质节点包括：所述辅助节点以及基于所述场景图像得到的所述目标节点；特征更新模块，用于基于所述汇聚特征，更新所述目标节点的节点特征；信息确定模块，用于根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息。在一些实施例中，所述特征更新模块，在用于基于所述汇聚特征更新所述目标节点的节点特征时，包括：根据所述汇聚特征的每个通道的通道特征，对所述目标节点的节点特征中对应每个通道的所有特征位置利用所述通道特征进行特征更新处理。在一些实施例中，所述特征处理模块，具体用于根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到重加权向量和残差向量中的至少一种作为所述汇聚特征；所述特征更新模块，具体用于基于所述重加权向量对目标节点的节点特征的各通道进行相乘处理，和/或，通过所述残差向量对目标节点的节点特征的各通道进行相加处理。在一些实施例中，所述特征处理模块，在用于得到重加权向量和残差向量中的至少一种作为所述汇聚特征时，包括：通过激活函数、以及所述目标节点的节点特征的标准差，将所述残差向量的取值映射到预定的数值区间作为所述汇聚特征。在一些实施例中，所述目标节点包括：对象组节点，所述对象组包括所述场景图像中的两个对象；所述信息确定模块，具体用于根据更新后的对象组节点的节点特征，得到所述对象组节点中两个对象之间关系的预测结果。...

【技术保护点】
1.一种场景信息的检测方法，其特征在于，所述方法包括：/n根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，所述汇聚特征的特征维度是Cy*1，其中，所述Cy是所述汇聚特征的通道维度，且所述Cy与目标节点的节点特征的通道维度相同；其中，所述场景异构图包括至少两种异质节点，所述至少两种异质节点包括：所述辅助节点以及基于所述场景图像得到的所述目标节点；/n基于所述汇聚特征，更新所述目标节点的节点特征；/n根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息。/n

【技术特征摘要】
1.一种场景信息的检测方法，其特征在于，所述方法包括：
根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，所述汇聚特征的特征维度是Cy*1，其中，所述Cy是所述汇聚特征的通道维度，且所述Cy与目标节点的节点特征的通道维度相同；其中，所述场景异构图包括至少两种异质节点，所述至少两种异质节点包括：所述辅助节点以及基于所述场景图像得到的所述目标节点；
基于所述汇聚特征，更新所述目标节点的节点特征；
根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息。


2.根据权利要求1所述的方法，其特征在于，所述基于所述汇聚特征，更新所述目标节点的节点特征，包括：
根据所述汇聚特征的每个通道的通道特征，对所述目标节点的节点特征中对应所述每个通道的所有特征位置利用所述通道特征进行特征更新处理。


3.根据权利要求1所述的方法，其特征在于，所述根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，包括：
根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到重加权向量和残差向量中的至少一种作为所述汇聚特征；
所述基于所述汇聚特征，更新所述目标节点的节点特征，包括：基于所述重加权向量对目标节点的节点特征的各通道进行相乘处理，和/或，通过所述残差向量对目标节点的节点特征的各通道进行相加处理。


4.根据权利要求3所述的方法，其特征在于，所述得到重加权向量和残差向量中的至少一种作为所述汇聚特征，包括：
通过激活函数、以及所述目标节点的节点特征的标准差，将所述残差向量的取值映射到预定的数值区间作为所述汇聚特征。


5.根据权利要求1～4任一所述的方法，其特征在于，所述目标节点包括：对象组节点，所述对象组包括所述场景图像中的两个对象；
所述根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息，包括：根据更新后的对象组节点的节点特征，得到所述对象组节点中两个对象之间关系的预测结果。


6.根据权利要求5所述的方法，其特征在于，所述场景异构图中包括：以其中一个对象组节点作为终点的信息传输链，所述信息传输链包括至少两个有向边组，每个有向边组包括由多个起点指向同一终点的多个有向边；所述信息传输链中的各个起点和终点中包括至少两种所述异质节点；
所述根据与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，基于所述汇聚特征，更新所述目标节点的节点特征，包括：
对于所述至少两个有向边组中的第一有向边组，以所述第一有向边组指向的同一个第一终点作为所述目标节点，根据连接所述第一终点的各个起点的节点特征得到汇聚特征，基于所述汇聚特征更新所述第一终点的节点特征；所述第一终点同时作为所述至少两个有向边组中的第二有向边组的其中一个起点；
对于所述第二有向边组，以所述第二有向边组指向的同一个第二终点作为所述目标节点，根据连接所述第二终点的各个起点的节点特征得到汇聚特征，基于所述汇聚特征更新所述第二终点的节点特征。


7.根据权利要求6所述的方法，其特征在于，所述至少两个有向边组的一个所述有向边组的起点和终点，包括如下其中一项：
所述...

【专利技术属性】
技术研发人员：张明远，吴金易，金代圣，赵海宇，伊帅，
申请(专利权)人：商汤国际私人有限公司，
类型：发明
国别省市：新加坡;SG