一种基于多模态感知的巡逻方法技术

本发明专利技术公开了一种基于多模态感知的巡逻方法

【技术实现步骤摘要】
一种基于多模态感知的巡逻方法、系统及储存介质


[0001]本专利技术涉及人工智能
，特别是一种基于多模态感知的巡逻方法
、
系统及储存介质
。

技术介绍

[0002]随着人工智能的发展，现代社会逐步迈入智能化，而机器人就是现代社会智能化的产物，巡逻机器人可以代替安保，可以在全程无人环境下自主巡检，在减少人工的同时大大提高运维的内容和频率检测，改变传统检测方式，实现智能化检测，帮助维护安全，减少事故发生的可能性
。
现有的巡逻机器系统或巡逻机器人，一般采用图像识别的方法来进行巡逻，即在机器人的身体上安装摄像头，通过摄像头获取实时图像，从而使得使用人员控制或者自动控制，而更进一步的巡逻机器人，是在图像识别的基础上，添加了语音交互的功能，即控制人员可以通过语音来控制巡逻机器人，但是在这种多中感知的机器人中，由于其使用的方法比较简单，即简单的图像识别和语音交互，并不能应用于复杂环境，无法在在复杂环境下进行精准的数据收集，也就不能进行控制，不适用于复杂环境
。
[0003]公开日为
2019
年
07
月
05
日，公开号为
CN109976327A
的中国专利文献公开了一种巡逻机器人包括机器人本体和移动平台，机器人本体安装在移动平台上
。
机器人本体内部设置机器人控制器
、
网络模块
、
电机驱动模块
、
导航模块
、
视觉控制器
、
避障模块
、
图像采集模块
、
电源管理模块，机器人控制器分别与网络模块
、
电机驱动模块
、
导航模块
、
视觉控制器
、
避障模块
、
电源管理模块相连，在用户进行路径规划后，无需改变现有环境即可直接使用，可在无人看守条件下持久工作；该机器人还具有图像采集功能，可实时传送巡逻情况视频；同时该机器人还具车牌识别
、
人脸识别
、
行为识别等相关智能功能；该机器人应用的户外导航技术可以大大提高机器人在户外定位的精度，提供精准巡逻服务
。
[0004]上述巡逻机器人的缺点是：对路线的设置是预设的，在遇到其他情况时简单使用图像采集模块进行图像采集，通过图像识别进行信息的收集，无法面对复杂情况，在复杂环境中不能进行数据收集，难以应用于复杂环境
。

技术实现思路

[0005]本专利技术的目的是为解决现有的巡逻系统和巡逻方法的无法在复杂环境下进行精准的数据收集的问题，提供一种基于多模态感知的巡逻方法
、
系统及储存介质，从多模态获取数据信息，然后将物理量转换为可以被计算机处理的电信号，从而进行巡逻，具有可精准收集数据
、
可以应对复杂环境的优点
。
[0006]本专利技术为解决上述技术问题所采用的技术方案是，第一方面：一种基于多模态感知的巡逻方法，包括：获取场景中的模态数据信息；对模态数据信息进行预处理；提取每种模态信息的特征向量；将特征向量进行特征融合；通过多模融合特征得到当前环境的环境表示；根据当前场景的环境表示进行巡逻
。
[0007]使用上述第一方面的技术方案，从多方面获取场景中的模态数据信息，然后进行
预处理消除模态信息中的噪声，然后提取每种模态信息的特征向量进行融和，得到多模态的环境状态表示，再根据此环境状态表示进行巡逻，由于环境表示基于多模态，所以可以对复杂情况进行分析
。
[0008]在第一方面中，作为优选，提取每种模态信息的特征向量包括：确定预测前最佳采样频率；建立采样率选择模型；建立传感器噪声模型；时序同步计算；提取特征向量
。
具体的，确定预测前最佳采样频率包括根据对应模型的需求和信号特性进行初始采样，建立采样率选择模型包括建立一个采样率模型优化获取的采样频率，时序同步计算包括找到不同传感器数据中的相同模式，然后根据这个模式对齐数据
。
这样，提取特征向量前还进行了优化数据，使得数据更易提取特征向量，使特征向量的提取更加快速准确，提高了本方法的实用性以及准确性
。
[0009]在第一方面中，作为优选，对模态数据信息进行预处理包括：建立采样模型对采样频率分析；选择合适的采集频率
。
具体的，建立采样模型对采样频率分析需要对信号进行低通滤波处理，消除噪声，选择合适的采集频率包括对数据进行平稳性检验和白噪声检验，要求序列的均值和方差在时间上使恒定的
。
这样，在提取每种模态信息的特征向量前，先消除了噪声，使得特征向量更加方便，提高了本方法的准确性
。
[0010]在第一方面中，作为优选，特征向量包括图片信息向量
、
语音信息向量以及环境信息向量；其中环境信息向量为文本数据
。
这样，对于图片信息向量
、
语音信息向量以及环境信息向量都提取了特征向量，从多模态获取特征向量，可以对复杂情况进行分析
。
[0011]在第一方面中，作为优选，进行特征融合和的通过该多模融合特征得到当前环境的环境表示过程通过机器学习方法融和；其中，特征融合从图片信息向量
、
语音信息向量和环境信息向量中选择代表点，使这些点能够代表各自模态的关键特性
。
具体的，特征融合包括：从
CNN
提取的某一层特征或频谱分析的结果
。
这样，特征融和的过程整合成一个新的特征空间，使用新的融合特征来评估有效性，可以对复杂情况进行分析
。
[0012]在第一方面中，作为优选，通过该多模融合特征得到当前环境的环境表示使用随机森林计算特征重要性
。
具体的，判断每个特征在随机森林中的每棵树上做了多大的贡献，然后取个平均值，最后比一比特征之间的贡献大小
。
这样，可以有效得到当前环境的环境表示，结果准确而且速度快，提高了本方法的实用性以及准确性
。
[0013]在第一方面中，作为优选，提取特征向量对每种不同的向量使用不同的提取方法
。
具体的，图片信息向量通过图像识别，语音信息向量通过梅尔频率倒谱系数和时频图，而环境信息向量包括检测环境信息并且转化为文字信息
。
这样，对于图片信息向量
、
语音信息向量以及环境信息向量分别使用不同方法处理，从多模态获取特征向量，可以对复杂情况进行分析
。
[0014]第二方面：一种基于多模态感知的巡逻系统，应用上述第一方面中的基于多模态感知的巡逻方法，包括：数据感知模块，用于获取场景中的数据；预处理模块，用于对数据感知模块获取的数据进行预处理；特征提取模块，用于将预处理过后的数据进行特征提取；特征融合模块，用于对特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于多模态感知的巡逻方法，其特征在于，包括：获取场景中的模态数据信息；对模态数据信息进行预处理；提取每种模态信息的特征向量；将特征向量进行特征融合；通过多模融合特征得到当前环境的环境表示；根据当前场景的环境表示进行巡逻
。2.
根据权利要求1所述的巡逻方法，其特征在于，所述提取每种模态信息的特征向量包括：确定预测前最佳采样频率；建立采样率选择模型；建立传感器噪声模型；时序同步计算；提取特征向量
。3.
根据权利要求1所述的巡逻方法，其特征在于，所述对模态数据信息进行预处理包括：建立采样模型对采样频率分析；选择合适的采集频率
。4.
根据权利要求1所述的巡逻方法，其特征在于，所述特征向量包括图片信息向量
、
语音信息向量以及环境信息向量；其中所述环境信息向量为文本数据
。5.
根据权利要求1或4所述的巡逻方法，其特征在于，所述进行特征融合和的通过该多模融合特征得到当前环境的环境表示过程通过机器学习方法融和；其中，特征融合从图片信息向量
、
语音信息向量和环境信息向量中选择代表点，使这些点能够代表各自模态的关键特性

【专利技术属性】
技术研发人员：江驰，方甫兵，戴悦，
申请(专利权)人：浙江建设职业技术学院，
类型：发明
国别省市：