基于多模态事件的感知方法技术

本申请提供了一种基于多模态事件的感知方法

【技术实现步骤摘要】
基于多模态事件的感知方法、系统以及机器人


[0001]本申请涉及人工智能
，特别地，涉及一种基于多模态事件的感知方法
、
系统以及机器人
。

技术介绍

[0002]目前主流的机器人感知与交互技术普遍采用传统数据流形式，依赖于此形式下的传输方法和传感器设计具有诸多弊端，例如，较高的数据量
、
低时间分辨率以及高延迟等，这极大地限制了机器人自主能力的提升和产业化应用的发展
。
[0003]此外，随着人们对机器人感知交互能力的要求不断提高，单一模态下的数据处理与信息识别已不能满足社会发展的需要，具有多模态感知能力机器人的研究成为未来技术的前进方向
。
[0004]应当理解，该
技术介绍
部分描述的内容仅用于帮助理解本申请公开的技术方案，而并非一定属于本申请的申请日之前的现有技术
。

技术实现思路

[0005]本申请一方面提供了一种基于多模态事件的感知方法，包括：采用事件传感器进行数据采集获得第一事件流；基于事件特征的提取方法对多通道事件传感层采集的数据进行统一化处理获得第二事件流；采用注意力机制对所述第一事件流和所述第二事件流进行交叉融合获得交叉事件流；以及训练结合后的图经网络和脉冲神经网络形成神经网络混合模型，并基于所述神经网络混合模型对所述交叉事件流进行分析处理，以实现对目标的跟踪
、
检测和感知定位中的至少一种
。
[0006]在一个实施方式中，所述多通道事件传感层包括深度传感器
、
嗅觉传感器以及音频传感器中的至少一种
。
[0007]在一个实施方式中，所述神经网络混合模型满足：，其中，
AGG
为所述图神经网络采用的聚合函数，为所述脉冲神经网络采用的函数，为节点
v
在
t
时刻第
k
层输出的表征向量，
W
为学习权重矩阵，为节点
v
在
t
时刻采样的邻居集合
。
[0008]在一个实施方式中，所述多通道事件传感层包括所述深度传感器，以及经由所述统一化处理获得所述第二事件流的方法包括：将与所述深度传感器对应的点云数据进行预处理操作以提高所述点云数据质量及减少噪声；提取所述预处理操作后的点云数据中的第一特征；使用聚类和
/
或分割算法将所述第一特征分割成独立的部分；根据所需的特定事件定义，设计相应的算法以检测所述特定事件的发生；以及对检测到的所述特定事件进行分类
、
跟踪和时序建模
。
[0009]在一个实施方式中，所述多通道事件传感层包括所述嗅觉传感器，以及经由所述统一化处理获得所述第二事件流的方法包括：从所述嗅觉传感器采集的数字信号中提取出
电压变化信息；以及对所述电压变化信息进行事件流化分析和处理，其中，所述嗅觉传感器包括敏感元件，所述敏感元件与目标气体发生氧化或还原反应以使其电阻值改变，并引起电压值变化
。
[0010]在一个实施方式中，所述第二事件流包括多个不同的事件流，所述第一事件流和所述第二事件流的交叉融合包括：采用注意力机制衡量所述第一事件流和所述多个不同的事件流的重要程度，并依据所述重要程度对所述第一事件流和所述多个不同的事件流分配权重，以实现自适应的模式识别和情感分类
。
[0011]本申请另一方面提供了一种基于多模态事件的感知系统，包括：事件传感器，用于数据采集以获得第一事件流；多通道事件传感层，包括多个采集通道，并通过所述采集通道获取相应的数据；处理模块，用于对所述多通道事件传感层采集的数据进行统一化处理获得第二事件流，其中，所述多通道事件传感层采集的数据基于事件特征的提取方法获取；融合模块，基于注意力机制对所述第一事件流和所述第二事件流进行交叉融合获得交叉事件流；以及神经网络混合模型，用于分析处理所述交叉事件流，以实现对目标的跟踪
、
检测
、
感知定位中的至少一种，其中，所述神经网络混合模型由结合后的图经网络和脉冲神经网络经过训练形成
。
[0012]在一个实施方式中，所述多通道事件传感层包括深度传感器
、
嗅觉传感器以及音频传感器中的至少一种
。
[0013]本申请再一方面提供了一种基于多模态事件感知的机器人，包括：如上述任一所述的感知系统；以及机器人本体，其中，所述事件传感器和所述多通道事件传感层安装于所述机器人本体上
。
[0014]在一个实施方式中，所述事件传感器以及所述多通道事件传感层的数量均包括多个，多个所述事件传感器和多个所述多通道事件传感层分别安装在所述机器人本体的不同位置，用于获取所述不同位置处的对应数据，并经由所述处理模块
、
所述融合模块
、
所述神经网络混合模型的处理，以实现不同模态下的不同传感策略
。
[0015]本申请提供的基于多模态事件的感知方法可具有以下至少一个有益效果：根据本申请的一些实施方式中的感知方法，可在多种任务场景下，基于事件传感器及多通道事件传感层的结合实现多模态的数据采集与存储方法，提高数据采集的效率和精度，并通过事件流的形式大幅减小冗余的数据量和功耗
。
[0016]根据本申请的一些实施方式中的感知方法，可通过基于事件的传感器可以异步地感知环境中的变化，实现低延迟
、
低功耗
、
高动态范围的数据采集
。
[0017]根据本申请的一些实施方式中的感知方法，能够利用时空信息和图结构的新型神经网络模型，尝试将脉冲神经元的特性和图神经网络进行结合，搭建混合模型
。
可以在不同层次上对多模态事件流进行编码
、
解码和融合，从而可实现对目标的精准跟踪
、
检测以及定位，并可用于运动感知
、
人机互动
、
自主移动等
。
附图说明
[0018]结合附图，通过以下非限制性实施方式的详细描述，本申请的其它特征
、
目的和优点将变得更加明显
。
在附图中：图1是根据本申请实施方式的基于多模态事件的感知方法的流程图；
图2是根据本申请示例性实施方式的基于多模态事件的感知方法中各模块的功能示意图；以及图3是根据本申请示例性实施方式的基于多模态事件感知的机器人的模块示意图
。
具体实施方式
[0019]为了更好地理解本申请，将参考附图对本申请的各个方面做出更详细的说明
。
应当理解的是，这些详细说明只是对本申请的示例性实施方式的描述，而非以任何方式限制本申请的范围
。
在说明书全文中，相同的附图标号指代相同的元件
。
表述“和
/
或”包括相关联的所列项目中的一个或多个的任何和全部组合...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态事件的感知方法，其特征在于，所述方法包括：采用事件传感器进行数据采集获得第一事件流；基于事件特征的提取方法对多通道事件传感层采集的数据进行统一化处理获得第二事件流；采用注意力机制对所述第一事件流和所述第二事件流进行交叉融合获得交叉事件流；以及训练结合后的图经网络和脉冲神经网络形成神经网络混合模型，并基于所述神经网络混合模型对所述交叉事件流进行分析处理，以实现对目标的跟踪
、
检测和感知定位中的至少一种
。2.
根据权利要求1所述的感知方法，其特征在于，所述多通道事件传感层包括深度传感器
、
嗅觉传感器以及音频传感器中的至少一种
。3.
根据权利要求1所述的感知方法，其特征在于，所述神经网络混合模型满足：，其中，
AGG
为所述图神经网络采用的聚合函数，为所述脉冲神经网络采用的函数，为节点
v
在
t
时刻第
k
层输出的表征向量，
W
为学习权重矩阵，为节点
v
在
t
时刻采样的邻居集合
。4.
根据权利要求2所述的感知方法，其特征在于，所述多通道事件传感层包括所述深度传感器，以及经由所述统一化处理获得所述第二事件流的方法包括：将与所述深度传感器对应的点云数据进行预处理操作以提高所述点云数据质量及减少噪声；提取所述预处理操作后的点云数据中的第一特征；使用聚类和
/
或分割算法将所述第一特征分割成独立的部分；根据所需的特定事件定义，设计相应的算法以检测所述特定事件的发生；以及对检测到的所述特定事件进行分类
、
跟踪和时序建模
。5.
根据权利要求2所述的感知方法，其特征在于，所述多通道事件传感层包括所述嗅觉传感器，以及经由所述统一化处理获得所述第二事件流的方法包括：从所述嗅觉传感器采集的数字信号中提取出电压变化信息；以及对所述电压变化信息进行事件流化分析和处理，其中，所...

【专利技术属性】
技术研发人员：陈震，叶鲁斌，
申请(专利权)人：享刻智能技术北京有限公司，
类型：发明
国别省市：