AI眼镜的多模态交互和图像处理方法、电子设备和存储介质技术

技术编号:44926145 阅读:34 留言:0更新日期:2025-04-08 19:05
本发明专利技术提供了一种AI眼镜的多模态交互和图像处理方法、电子设备和存储介质,包括:基于时空注意力机制对AI眼镜实时采集的原始图像进行预处理,得到预处理图像;对用户通过AI眼镜输入的语音指令进行语音识别与语义解析,得到文本指令;将文本指令与预设的图像处理指令模板库进行关键词匹配,确定对应的图像处理策略;若图像处理策略为动态追踪,利用卡尔曼滤波算法预测预处理图像中的目标在下一帧的位置,利用孪生网络在预测的位置周边搜索,定位所述目标;基于孪生网络实时学习更新目标的外观特征,实现对目标的稳定追踪并输出追踪目标图像序列。在本发明专利技术中,克服了当前无法预测目标的后续出现位置,以及无法稳定追踪目标的缺陷。

【技术实现步骤摘要】

本专利技术涉及图像处理的,特别涉及一种ai眼镜的多模态交互和图像处理方法、电子设备和存储介质。


技术介绍

1、ai眼镜融入日常生活与诸多专业领域。日常生活里,用户希望用它便捷识别感兴趣物体、追踪行进标识、社交时优化捕捉的图像。

2、但传统图像追踪技术有缺陷,常侧重单模态或仅依赖图像静态特征,没顾及实际场景动态变化与多模态融合优势。目前的图像追踪,在目标突然加速、转向、被遮挡,就容易丢目标,无法预测目标的后续出现位置,因此无法稳定追踪目标。


技术实现思路

1、本专利技术的主要目的为提供一种ai眼镜的多模态交互和图像处理方法、电子设备和存储介质,旨在克服当前无法预测目标的后续出现位置,以及无法稳定追踪目标的缺陷。

2、为实现上述目的,本专利技术提供了一种ai眼镜的多模态交互和图像处理方法,包括以下步骤:

3、基于时空注意力机制对ai眼镜实时采集的原始图像进行预处理,得到预处理图像;对用户通过ai眼镜输入的语音指令进行语音识别与语义解析,得到文本指令;

4、将所述文本本文档来自技高网...

【技术保护点】

1.一种AI眼镜的多模态交互和图像处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的AI眼镜的多模态交互和图像处理方法,其特征在于,其中,所述卡尔曼滤波算法根据目标运动的历史加速度、角速度动态调整卡尔曼滤波算法中预测模型的噪声协方差矩阵,以提升预测精度。

3.根据权利要求1所述的AI眼镜的多模态交互和图像处理方法,其特征在于,实现对目标的稳定追踪并输出追踪目标图像序列之后,还包括:

4.根据权利要求1所述的AI眼镜的多模态交互和图像处理方法,其特征在于,基于时空注意力机制对AI眼镜实时采集的原始图像进行预处理,得到预处理图像,包括:

...

【技术特征摘要】

1.一种ai眼镜的多模态交互和图像处理方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的ai眼镜的多模态交互和图像处理方法,其特征在于,其中,所述卡尔曼滤波算法根据目标运动的历史加速度、角速度动态调整卡尔曼滤波算法中预测模型的噪声协方差矩阵,以提升预测精度。

3.根据权利要求1所述的ai眼镜的多模态交互和图像处理方法,其特征在于,实现对目标的稳定追踪并输出追踪目标图像序列之后,还包括:

4.根据权利要求1所述的ai眼镜的多模态交互和图像处理方法,其特征在于,基于时空注意力机制对ai眼镜实时采集的原始图像进行预处理,得到预处理图像,包括:

5.根据权利要求1所述的ai眼镜的多模态交互和图像处理方法,其特征在于,基于所述孪生网络实时学习...

【专利技术属性】
技术研发人员:车建波
申请(专利权)人:深圳市贝铂智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1